Cloudflare passa a bloquear e cobrar acessos de crawlers de IA

A Cloudflare começou a oferecer uma nova camada de proteção para sites, mirando os rastreadores de inteligência artificial, os famosos crawlers. Desde a última terça-feira, administradores de sites hospedados pela empresa passaram a ver um aviso importante. Esse aviso pergunta se eles querem ou não permitir que bots automatizados que buscam conteúdo na web acessem seus domínios.

O objetivo principal é dar mais autonomia aos donos de sites. Assim, eles podem impedir que seus conteúdos sejam usados para treinar modelos de IA generativos sem a devida autorização. Uma novidade interessante é a opção de monetização, o chamado pay per crawl, onde cada acesso de um bot pode render uma compensação financeira para o site.

Entenda os Bots e o Bloqueio de crawlers de IA

Os crawlers, também conhecidos como bots ou spiders, são programas automáticos que navegam pela internet. Eles vasculham e organizam conteúdos, agindo como verdadeiros robôs coletores de dados. Gigantes como Google e Bing utilizam esses mecanismos para alimentar seus sistemas de busca, e eles acessam os sites sem pedir permissão.

Além de indexar informações para buscas tradicionais, esses crawlers também são muito usados para coletar dados que servem de base para os modelos de inteligência artificial. É por causa deles que muitos chatbots e assistentes virtuais conseguem gerar respostas com base em textos encontrados e extraídos de toda a internet. Essa coleta de dados é essencial para o desenvolvimento de sistemas mais complexos e inteligentes, que dependem de um vasto volume de informações para aprender e funcionar.

A Cloudflare, sendo uma das maiores redes de distribuição de conteúdo do mundo, tem uma presença significativa na internet. Cerca de 16% do tráfego global passa por seus servidores, conforme um relatório de 2023. Isso significa que, quando a empresa enfrenta problemas, uma grande parte da web pode sentir o impacto, como já aconteceu em outras ocasiões. Por exemplo, a Cloudflare já demonstrou sua robustez ao bloquear um ataque DDoS de 5,6 Tbps.

O sistema de bloqueio de crawlers de IA faz parte de uma campanha que a Cloudflare lançou nesta terça-feira, conhecida como “Dia da Independência do Conteúdo”. Essa iniciativa busca reforçar o controle dos criadores de conteúdo sobre como seus dados são acessados e utilizados na internet. A proposta é uma resposta direta à crescente demanda por transparência no uso de informações online.

Pagamento por Acesso para Treinar IA

A Cloudflare já oferecia opções de bloqueio desde 2024, mas agora o controle ficou ainda mais detalhado. Com o modelo pay per crawl, os criadores de conteúdo têm a chance de monetizar os acessos automatizados ao seu material. Essa é uma forma de equilibrar o avanço da inteligência artificial com os direitos de quem produz.

“Crawlers de IA coletam o conteúdo da internet sem limites. Nosso objetivo é devolver o poder aos criadores, ao mesmo tempo em que ajudamos as empresas de IA a inovar”, disse Matthew Prince, cofundador e CEO da Cloudflare, em um comunicado para a imprensa. Essa medida visa um cenário mais justo para todos os envolvidos no ecossistema digital.

A discussão sobre o uso de dados para IA ganhou força com o surgimento dos grandes modelos de linguagem, os LLMs, que consomem enormes volumes de informação. Empresas de tecnologia estão atentas a essa realidade. Inclusive, a confiabilidade na IA autônoma é uma prioridade, exigindo uma infraestrutura de avaliação robusta.

Redes sociais também estão adotando medidas parecidas para se proteger, cobrando pelo acesso às suas APIs. Um exemplo disso foi o Reddit, que em 2023 enfrentou um apagão devido a protestos contra essas taxas. No caso específico do Pay per Crawl, a ferramenta será disponibilizada inicialmente para um pequeno número de sites, mas a Cloudflare planeja expandir essa função para mais clientes no futuro.

Diálogo Urgente para um Assunto Complexo

A falta de uma legislação clara sobre direitos autorais na era da IA cria um cenário incerto. Será que é justo usar conteúdo publicado online para treinar inteligência artificial? É correto que o trabalho de veículos jornalísticos seja resumido por robôs sem autorização? Essa é uma polêmica que está longe de ser resolvida, e o debate se intensifica. Há um Projeto de Lei que regulamenta a IA no Brasil aprovado no Senado, indicando que o tema está em pauta.

Enquanto a legislação se desenvolve, empresas de infraestrutura, como a Cloudflare, precisam atuar como intermediárias. Elas buscam equilibrar os interesses das grandes companhias de IA e os direitos dos criadores de conteúdo. É uma resposta ágil para um dilema que está longe de ser simples e exige constante adaptação. A discussão sobre o uso de dados por empresas de IA é cada vez mais relevante, e uma empresa de coleta de dados venceu processos contra Meta e Twitter, lançando uma plataforma de IA no Brasil.

A medida da Cloudflare adiciona uma camada de proteção importante em um momento em que o uso de dados por inteligências artificiais se intensifica. A iniciativa busca oferecer mais transparência e controle aos proprietários de sites, permitindo que eles decidam como seu conteúdo é acessado e usado. Essa é uma etapa significativa no desenvolvimento de um ambiente digital mais justo.