Novo Mecanismo Facilita Bloqueio de Raspagem de Conteúdo
A Cloudflare, uma das maiores empresas globais de entrega de conteúdo e segurança na web, acaba de anunciar uma solução inovadora para enfrentar bots de inteligência artificial que coletam dados sem autorização. O novo recurso, apelidado de “Easy Button”, promete simplificar o bloqueio de raspagem de conteúdo, permitindo que usuários protejam seus sites com apenas um clique.
Disponível para todos os clientes, inclusive na modalidade gratuita, a novidade surge diante de um cenário preocupante: cerca de 39% dos maiores sites atendidos pela Cloudflare são alvos de bots de IA, mas somente 2,98% deles têm medidas de bloqueio ativas. O “Easy Button” aparece no painel de controle como uma chave batizada de “AI Scrapers and Crawlers”, facilitando a ativação da proteção.
Foco no Bloqueio dos Principais Bots de IA
Com a crescente demanda por dados para treinar modelos de IA, a raspagem de conteúdo nunca foi tão intensa. Segundo a própria Cloudflare, a maioria desses bots pertence às maiores desenvolvedoras de IA do mundo. Há dois anos, a empresa lançou ferramentas detalhadas para identificar e reagir individualmente a bots, permitindo até mesmo tolerar os que respeitam as regras do arquivo “robots.txt”. No entanto, dados recentes revelam que 85,2% dos clientes preferem bloquear totalmente até mesmo os chamados “bons” bots, enquanto 4,4% impõem algum desafio, e só cerca de 10% permitem o acesso sem restrições.
O endurecimento de políticas por parte de grandes fontes de dados, como o Reddit, levou alguns bots de IA a adotarem estratégias mais agressivas. Entre os mais ativos, destacam-se Bytespider (ByteDance), Amazonbot (Amazon), ClaudeBot (Anthropic) e GPTBot (OpenAI).
Combate a Atividades Maliciosas e Avanço da Inteligência Artificial Defensiva
A Cloudflare também identificou que atores mal-intencionados, que ignoram as normas de uso e acordos sobre raspagem de conteúdo, recorrem repetidamente às mesmas ferramentas, tornando possível rastrear e bloquear essas práticas. Isso permitiu à empresa aprimorar seus próprios modelos de IA para reconhecer e marcar automaticamente o tráfego suspeito, além de reagir rapidamente à chegada de novas ferramentas de raspagem.
Mais Transparência e Controle para Donos de Sites
Agora, proprietários de sites têm mais autonomia para decidir se querem permitir o acesso de bots de IA e para quais finalidades, como treinamento, pesquisa ou inferência. As empresas de IA também são incentivadas a declarar claramente o objetivo de seus rastreadores, ajudando os administradores dos sites a tomar decisões informadas. Essa nova abordagem padrão da Cloudflare é vista como um passo importante para equilibrar interesses de criadores de conteúdo e inovadores em IA.
O Futuro da Internet e o Impacto da IA
Historicamente, a internet funcionou com base em um ciclo de troca: mecanismos de busca indexam conteúdos e geram tráfego para os sites originais, recompensando criadores com visibilidade e receita. Porém, esse modelo está sendo ameaçado pelos bots de IA, que coletam textos, artigos e imagens para gerar respostas sem redirecionar visitantes ou reconhecer a autoria, minando o incentivo para a produção de conteúdo original.
Matthew Prince, cofundador e CEO da Cloudflare, reforça a importância de devolver o controle aos criadores e construir um novo modelo econômico digital: “O conteúdo original é o que faz da internet uma das maiores invenções do último século. Precisamos garantir que os criadores continuem sendo valorizados, enquanto as empresas de IA podem seguir inovando. Proteger a internet livre e dinâmica depende desse novo equilíbrio.”
Um Novo Padrão para Respeito ao Conteúdo Online
A iniciativa da Cloudflare estabelece um novo patamar para a proteção de conteúdo na era da inteligência artificial, beneficiando não apenas criadores e consumidores, mas também promovendo a sustentabilidade da própria web. Ao impedir o acesso irrestrito de bots de IA, abre-se caminho para parcerias mais justas e para a continuidade da inovação responsável no ambiente digital.
