Cloudflare bloqueia inteligência artificial de fazer varredura em sites

A empresa de infraestrutura digital Cloudflare, que processa cerca de 16% do tráfego global da internet, vai adotar bloqueio automático contra robôs de inteligência artificial que acessem conteúdo sem permissão ou compensação financeira, em uma prática apelidada de scraping. A mudança inclui um novo modelo de “pague por rastreamento”, permitindo que sites cobrem por acesso.

“Os rastreadores de IA vêm coletando conteúdo sem limites. Queremos devolver o poder aos criadores, sem impedir a inovação”, disse o CEO Matthew Prince, destacando que a medida visa preservar uma internet livre e sustentável.

A partir de agora, o padrão para novos domínios na plataforma será recusar o acesso a crawlers de IA que não tenham autorização ou não ofereçam compensação financeira. Os proprietários de sites poderão, então, liberar seletivamente quais robôs podem rastrear seu conteúdo – por exemplo, permitindo apenas o GPTBot da OpenAI, caso tenham um acordo com a empresa, ou bloqueando tudo se não virem benefício na coleta de dados.

Os AI crawlers (como GPTBot da OpenAI e ClaudeBot da Anthropic) varrem a web para alimentar modelos de linguagem, mas desviam tráfego dos sites originais. Um exemplo: quando um chatbot resume uma notícia, o leitor não visita o portal que produziu a matéria – o que reduz receitas com anúncios e assinaturas.

A Cloudflare já permitia o bloqueio manual desde setembro/2023 (usado por 1 milhão de clientes), mas agora a restrição será automática para novos domínios. A empresa também testa um sistema onde crawlers poderão ser cobrados por acesso, com valores fixos por requisição.