Bloquear crawlers de IA no robots.txt é uma decisão que depende do tipo de bot e do seu objetivo de negócio — e a resposta quase nunca é “bloqueie tudo” ou “libere tudo”. Dados da Cloudflare mostram que 89,4% do tráfego de crawlers de IA é destinado a treinamento de modelos, e apenas 8% a busca que pode gerar tráfego de referência de volta ao seu site. Na GeoStack, onde aplicamos Generative Engine Optimization (GEO) para marcas brasileiras, recomendamos uma abordagem cirúrgica: bloquear bots de treinamento que consomem seu conteúdo sem retorno, mas liberar bots de busca e citação que determinam se sua marca aparece nas respostas do ChatGPT, Gemini e Perplexity.

Quais são os crawlers de IA que acessam meu site?

Crawlers de IA são bots automatizados operados por empresas como OpenAI, Anthropic, Google, Meta e Perplexity que visitam seu site para coletar conteúdo. Diferentemente do Googlebot tradicional, que indexa páginas para exibir em resultados de busca, muitos desses bots existem para alimentar modelos de linguagem (LLMs) — e nem todos devolvem valor na forma de tráfego ou citação.

Existem três categorias fundamentais de crawlers de IA que todo profissional de marketing precisa distinguir:

Categoria	Função	Exemplos	Retorna tráfego?
Crawlers de treinamento	Coletam conteúdo para treinar modelos de IA. Seu texto é absorvido no modelo sem atribuição ou link de volta.	GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended, Meta-ExternalAgent, CCBot, Bytespider	Não
Crawlers de busca/indexação	Indexam conteúdo para respostas de busca em IA. Podem citar sua página e linkar de volta.	OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot	Sim, com citação
Crawlers de ação do usuário	Acessam páginas quando um usuário faz uma pergunta direta ao chatbot.	ChatGPT-User (OpenAI), Claude-User (Anthropic), Perplexity-User	Sim, em tempo real

Essa distinção é a base de qualquer decisão informada sobre robots.txt. Segundo dados da Cloudflare Radar, o segmento de “ação do usuário” cresceu 15 vezes ao longo de 2025, tornando-se o que mais cresce entre todas as categorias de crawling de IA — mesmo que ainda represente apenas 3,2% do volume total.

O problema do crawl-to-refer ratio: o que os dados da Cloudflare revelam

O desequilíbrio entre quanto conteúdo os crawlers de IA consomem e quanto tráfego devolvem é o ponto central do debate. A Cloudflare introduziu em 2025 a métrica crawl-to-refer ratio, que compara o número de páginas que um bot rastreia ao número de visitas que a plataforma devolve via referral.

Os números são impactantes. Em junho de 2025, segundo relatório oficial da Cloudflare, a OpenAI apresentou uma proporção de 1.700 páginas rastreadas para cada 1 referral. A Anthropic (Claude) atingiu 73.000:1. Para contextualizar: o Google rastreia cerca de 14 páginas para cada referral que devolve. Isso significa que plataformas de IA consomem conteúdo em uma escala ordens de magnitude maior do que devolvem em tráfego.

Até julho de 2025, os ratios se ajustaram levemente: a Anthropic caiu para 38.000:1 (uma redução de 87% ao longo do ano, após o lançamento de busca web no Claude), e a OpenAI ficou em 1.091:1. Mas o padrão permanece claro: crawlers de treinamento consomem em massa sem retorno, enquanto crawlers de busca e ação do usuário representam a parcela que pode gerar visibilidade e tráfego.

Na GeoStack, monitoramos como marcas brasileiras aparecem no ChatGPT, Gemini e Perplexity, e esses dados reforçam o que vemos no mercado: empresas que bloqueiam todos os crawlers de IA indiscriminadamente estão sacrificando visibilidade em um canal que cresce aceleradamente.

O que é o robots.txt e como ele funciona para crawlers de IA?

O robots.txt é um arquivo de texto hospedado na raiz do seu site (exemplo: seusite.com.br/robots.txt) que segue o Robots Exclusion Protocol (REP) e indica a crawlers automatizados quais partes do site eles podem ou não acessar. Ele é o mecanismo padrão para gerenciar o acesso de bots ao seu conteúdo.

Um ponto crítico que muitos profissionais de marketing não entendem: robots.txt é um pedido, não uma barreira técnica. Bots legítimos como GPTBot e ClaudeBot respeitam as diretivas. Bots mal-intencionados ou mal configurados podem ignorá-las. A documentação da Cloudflare é explícita sobre isso: “robots.txt files express your preferences. They do not prevent crawler operators from crawling your content at a technical level.”

Diagnóstico Gratuito

Sua marca aparece quando a IA responde?

Descubra em um relatório gratuito como ChatGPT, Gemini, Perplexity, Claude, Copilot e Google AI Overviews enxergam (ou ignoram) sua marca hoje.

Solicitar Auditoria Grátis Sem compromisso. Sem cartão. Só dados.

A sintaxe para bloquear um crawler específico é simples:

User-agent: GPTBot
Disallow: /

Isso diz ao GPTBot da OpenAI para não acessar nenhuma página do site. Mas o diabo está nos detalhes: bloquear o GPTBot (treinamento) é diferente de bloquear o OAI-SearchBot (busca) ou o ChatGPT-User (navegação do usuário). Cada user-agent tem uma função distinta, e a decisão de bloquear ou liberar cada um deve ser estratégica.

Quais crawlers de IA devo bloquear e quais devo liberar?

A estratégia recomendada pela GeoStack — e que se alinha com o padrão adotado pela maioria dos publishers sofisticados — é bloquear crawlers de treinamento e liberar crawlers de busca e ação do usuário. Essa é a abordagem que maximiza proteção de propriedade intelectual sem sacrificar visibilidade em IA.

Crawler	Empresa	Tipo	Recomendação GeoStack
GPTBot	OpenAI	Treinamento	Bloquear
OAI-SearchBot	OpenAI	Busca	Liberar
ChatGPT-User	OpenAI	Ação do usuário	Liberar
ClaudeBot	Anthropic	Treinamento	Bloquear
Claude-SearchBot	Anthropic	Busca	Liberar
Claude-User	Anthropic	Ação do usuário	Liberar
Google-Extended	Google	Treinamento IA	Bloquear
PerplexityBot	Perplexity	Indexação/busca	Liberar
Meta-ExternalAgent	Meta	Treinamento	Bloquear
Bytespider	ByteDance	Treinamento	Bloquear
CCBot	Common Crawl	Treinamento	Bloquear
Amazonbot	Amazon	Misto	Avaliar caso a caso
Applebot-Extended	Apple	Treinamento IA	Bloquear

Dados de análise da TechnologyChecker com base na rede Cloudflare (Q1 2026) confirmam que essa abordagem seletiva está se tornando o padrão: sites estão cada vez mais liberando OAI-SearchBot (presente em 4,22% das regras ALLOW) enquanto bloqueiam GPTBot, indicando uma separação deliberada entre treinamento e busca.

Se você quer entender como sua configuração de robots.txt está impactando a visibilidade da sua marca em motores generativos, a GeoStack oferece um diagnóstico de visibilidade em IA que inclui auditoria completa de acessibilidade para crawlers.

Bloquear crawlers de IA afeta meu SEO no Google?

Bloquear crawlers de IA como GPTBot, ClaudeBot ou Meta-ExternalAgent não afeta diretamente seu ranqueamento no Google Search. Esses crawlers não são usados pelo Google para indexação ou ranking nas SERPs tradicionais.

Porém, há nuances importantes. O Google opera dois user-agents distintos para IA: o Googlebot (que é essencial para SEO e nunca deve ser bloqueado) e o Google-Extended, que coleta dados para treinamento de modelos de IA como o Gemini. Bloquear o Google-Extended comunica ao Google que você não quer seu conteúdo usado para treinamento de IA, sem afetar sua indexação na busca tradicional — pelo menos segundo a documentação oficial do Google.

A grande questão que ainda não tem resposta definitiva é: bloquear o Google-Extended afeta sua presença nos AI Overviews e no AI Mode? O Google não confirmou isso explicitamente, mas a lógica do sistema sugere que conteúdo disponível para o ecossistema de IA do Google tem maior probabilidade de ser selecionado para respostas generativas. Com mais de 17 anos em SEO, a equipe da GeoStack recomenda cautela: se visibilidade em AI Overviews é estratégica para o seu negócio, liberar o Google-Extended pode ser o caminho mais prudente.

O impacto real de bloquear crawlers de IA na visibilidade em motores generativos

Bloquear crawlers de busca de IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot) tem consequência direta e mensurável: seu conteúdo deixa de aparecer nas respostas dessas plataformas. A Anthropic documentou em fevereiro de 2026 que bloquear o Claude-SearchBot “pode reduzir a visibilidade e a precisão do seu site nos resultados de busca dos usuários”. A OpenAI é mais direta: sites que bloqueiam o OAI-SearchBot não aparecerão nas respostas de busca do ChatGPT.

Segundo a pesquisa de Aggarwal et al. (2024) publicada no ACM SIGKDD, o framework de GEO (Generative Engine Optimization) demonstrou que técnicas de otimização podem aumentar a visibilidade em motores generativos em até 40%. Mas nenhuma técnica de otimização funciona se o crawler de busca sequer consegue acessar seu conteúdo.

Para marcas que dependem de visibilidade digital — o que inclui a maioria das empresas B2B, SaaS, e-commerce e serviços profissionais — bloquear crawlers de busca de IA é o equivalente a colocar um noindex no Google. É tecnicamente possível, mas estrategicamente prejudicial.

Na GeoStack, identificamos em levantamento interno que a maioria das marcas brasileiras que auditamos sequer tem diretivas específicas para crawlers de IA no robots.txt — nem para bloquear, nem para liberar. Dados da Cloudflare corroboram: apenas cerca de 37% dos top 10 mil domínios globais possuem um arquivo robots.txt configurado para a era de crawlers de IA.

Como configurar o robots.txt para maximizar visibilidade em IA

A configuração recomendada para empresas que querem visibilidade máxima em motores generativos enquanto protegem seu conteúdo de uso em treinamento de modelos é a seguinte:

# Crawlers de busca tradicionais — sempre liberar
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Treinamento de IA — bloquear
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# Busca e citação em IA — liberar
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Essa configuração segue a lógica que a Cloudflare documentou: bloqueia 89,4% do tráfego extrativista (treinamento) enquanto preserva os 10,6% que podem gerar citações e tráfego real.

André HP, fundador da GeoStack e um dos primeiros especialistas em GEO no Brasil, destaca: “Tratar todos os crawlers de IA como iguais é o erro mais comum que encontramos em auditorias de robots.txt. É como se, nos anos 2000, alguém bloqueasse o Googlebot porque não queria que sites copiassem seu conteúdo. A distinção entre treinamento e busca é o que separa proteção legítima de autossabotagem.”

O robots.txt é suficiente para proteger meu conteúdo de IA?

Não. O robots.txt é uma camada de proteção baseada em confiança — bots legítimos respeitam, mas não existe enforcement técnico. Dados da BuzzStream analisando os 100 maiores sites de notícias mostram que mesmo com robots.txt configurado, há evidências de que alguns crawlers contornam as diretivas. A Cloudflare revelou ter bloqueado 416 bilhões de requisições de bots de IA desde julho de 2025 usando métodos além do robots.txt.

Para proteção mais robusta, considere camadas complementares:

Meta tags robots: A tag <meta name="robots" content="noai, noimageai"> adiciona uma camada de instrução no nível da página, útil quando você quer que a página seja crawlada (para descoberta de links) mas não usada em outputs de IA.
Cloudflare AI Crawl Control: A Cloudflare oferece bloqueio ativo de bots de IA via WAF (Web Application Firewall), que funciona no nível de rede independente do robots.txt.
Bloqueio por IP e rate limiting: Bloquear ranges de IP publicados pelas empresas de IA ou limitar requisições por minuto/hora previne sobrecarga de servidor — um problema real, já que crawlers como GPTBot e ClaudeBot podem consumir até 30 TB de bandwidth em surtos.
Verificação de User-Agent: Use logs de servidor ou ferramentas como Cloudflare Radar para verificar se bots que declararam respeitar seu robots.txt estão de fato obedecendo.

79% dos sites de notícias bloqueiam bots de treinamento — e o que isso significa para marcas

Pesquisa da BuzzStream (fevereiro de 2026) analisando os robots.txt dos 100 maiores sites de notícias dos EUA e Reino Unido revelou que 79% bloqueiam bots de treinamento de IA. Ao mesmo tempo, 71% também bloqueiam bots de retrieval (busca). Apenas 14% adotam a abordagem nuclear de bloquear todos os bots de IA, enquanto 18% não bloqueiam nenhum.

Para marcas (não publishers), o cenário é diferente. A visibilidade em IA generativa, foco do trabalho da GeoStack, é uma oportunidade de ser recomendado em contextos de alta intenção de compra. Diferentemente de publishers que monetizam por pageview e anúncios, marcas monetizam por conversão e recomendação. Bloquear crawlers de busca de IA é perder o equivalente a ser retirado do Google Meu Negócio — seus concorrentes que estão lá serão recomendados no seu lugar.

Análise da Paul Calvano com dados do HTTP Archive (julho de 2025) mostra que cerca de 21% dos top 1.000 sites têm regras para GPTBot no robots.txt. Mas a tendência que observamos no mercado brasileiro — e que se reflete globalmente — é de diferenciação: sites estão cada vez mais bloqueando bots de treinamento enquanto liberam explicitamente bots de busca.

O tráfego de referência de IA vale a pena?

Sim, e os dados são cada vez mais convincentes. Embora o volume ainda seja pequeno comparado à busca tradicional (AI referrals representavam cerca de 0,15% do tráfego web total em 2025, versus 0,02% em 2024), a qualidade do tráfego é significativamente superior.

Dados da Microsoft Clarity citados pela Digiday mostram que visitantes vindos de LLMs convertem para cadastros a uma taxa de 1,66%, contra 0,15% da busca orgânica — uma diferença de 11 vezes. Para assinaturas, a taxa é de 1,34% via LLMs versus 0,55% via busca. Sessões de IA também geram 12% mais pageviews e duram 41% mais do que tráfego não-IA.

Referrals do ChatGPT para publishers cresceram de 435 mil visitas em agosto de 2024 para 3,5 milhões em janeiro de 2025. Tráfego referido pelo Gemini cresceu 388% entre setembro e novembro de 2025. São números que, embora representem uma fração do tráfego total, estão em trajetória exponencial.

Na GeoStack, acompanhamos estatísticas de GEO para o mercado brasileiro e observamos que marcas otimizadas para citação em IA estão capturando tráfego de referência com taxas de conversão consistentemente superiores ao orgânico tradicional.

O que acontece se eu já bloqueei crawlers de IA — posso reverter?

Sim, e a reversão funciona de forma diferente dependendo do tipo de crawler. Para bots de busca em tempo real (ChatGPT-User, PerplexityBot), a mudança é imediata: ao remover o Disallow do robots.txt, o bot volta a acessar seu conteúdo na próxima requisição.

Para bots de treinamento (GPTBot, ClaudeBot), o efeito é mais lento: o conteúdo precisa ser incluído em uma nova rodada de treinamento do modelo. Segundo especialistas do setor, isso pode levar de 3 a 12 meses para modelos baseados em treinamento periódico. Mas se o seu objetivo é visibilidade em busca generativa (não treinamento), desbloquear os crawlers de busca terá efeito quase imediato.

A documentação oficial da OpenAI confirma que publishers que permitem o OAI-SearchBot podem rastrear tráfego de referência do ChatGPT usando o parâmetro UTM utm_source=chatgpt.com, habilitando tracking claro no Google Analytics.

A evolução dos crawlers da Anthropic e OpenAI: por que seu robots.txt precisa ser atualizado

A Anthropic atualizou sua documentação de crawlers em fevereiro de 2026, separando formalmente três bots distintos: ClaudeBot (treinamento), Claude-User (navegação do usuário) e Claude-SearchBot (indexação para busca). Antes, apenas o ClaudeBot era documentado, e bloquear esse user-agent impedia todas as funções.

A OpenAI seguiu caminho similar em 2024, separando GPTBot (treinamento) de OAI-SearchBot (busca) e ChatGPT-User (navegação). Em dezembro de 2024, a OpenAI adicionou a informação de que GPTBot e OAI-SearchBot compartilham dados para evitar crawling duplicado quando ambos são permitidos.

Dados da Hostinger citados pelo Search Engine Journal mostram que a cobertura do crawler de busca da OpenAI cresceu de 4,7% para mais de 55% dos sites na sua amostra, enquanto a cobertura do crawler de treinamento caiu de 84% para 12%. Essa inversão reflete exatamente a abordagem seletiva que recomendamos.

Implicação prática: se seu robots.txt tem apenas uma diretiva genérica para “GPTBot” ou “ClaudeBot”, você pode estar bloqueando funções de busca sem perceber. Uma revisão técnica do arquivo é necessária para garantir que cada user-agent tenha tratamento adequado.

Cloudflare Content Signals e o futuro do controle de conteúdo para IA

A Cloudflare propôs em 2025 o Content Signals Policy, uma extensão ao Robots Exclusion Protocol que introduz a diretiva Content-Signal. Essa diretiva permite que publishers expressem preferências granulares sobre como seu conteúdo pode ser usado por sistemas de IA.

Além disso, a Cloudflare lançou o serviço pay-per-crawl em julho de 2025, que permite publishers cobrarem empresas de IA pelo acesso ao conteúdo via respostas HTTP 402 (Payment Required). Embora ainda em estágio inicial, isso sinaliza uma direção de mercado onde a relação entre produtores de conteúdo e plataformas de IA se torna transacional.

Para marcas cujo objetivo é visibilidade (não monetização direta de pageviews), essas ferramentas são menos relevantes no curto prazo. Mas na GeoStack, acompanhamos esses desenvolvimentos de perto porque eles moldarão o ecossistema de GEO nos próximos anos — e a estratégia de robots.txt de hoje precisa ser pensada com essa evolução em mente. Confira nossas análises nas páginas de estudos de GEO e ferramentas de GEO.

Bloquear crawlers de IA protege meu conteúdo de ser reproduzido?

Parcialmente. Bloquear crawlers de treinamento impede que seu conteúdo entre em futuras versões dos modelos. Mas há limitações importantes que você precisa entender.

Primeiro, se seu conteúdo já foi rastreado antes do bloqueio, ele pode já estar no knowledge paramétrico do modelo. Segundo dados sobre LLMs, 60% das consultas ao ChatGPT são respondidas apenas com conhecimento paramétrico, sem acionar busca web. Ou seja, mesmo que você bloqueie hoje, informações anteriormente coletadas podem continuar sendo usadas.

Segundo, alguns crawlers contornam o robots.txt. A Cloudflare identificou que nem todos os bots respeitam as diretivas, e que o ChatGPT Atlas (um crawler mais recente da OpenAI) usa user-agent string de navegador Chrome padrão, tornando-se indistinguível de tráfego humano normal para o robots.txt.

Terceiro, conteúdo indexado por terceiros (sites que citam ou republicam trechos do seu conteúdo) pode ser capturado por crawlers de IA mesmo que seu próprio site esteja bloqueado. A proteção efetiva exige múltiplas camadas, não apenas robots.txt.

Como o bloqueio de crawlers impacta a GEO da minha marca

GEO (Generative Engine Optimization) depende fundamentalmente de dois fatores: que o conteúdo da sua marca seja acessível para sistemas de retrieval de IA, e que esse conteúdo esteja estruturado para ser citável. Bloquear crawlers de busca elimina o primeiro fator, tornando qualquer esforço de otimização irrelevante.

Segundo pesquisa da GEO-SFE (Structural Feature Engineering for GEO), publicada em 2025, a estrutura do conteúdo é responsável por melhorias de 17,3% nas taxas de citação. Mas essas melhorias só se materializam se o crawler consegue acessar a página. É como otimizar uma vitrine que fica trancada: não importa quão bonita ela é se ninguém consegue ver.

A recomendação da GeoStack para qualquer marca que investe em GEO é: audite seu robots.txt antes de investir em otimização de conteúdo. Garantir acesso para crawlers de busca é o pré-requisito zero de qualquer estratégia de visibilidade em IA. Consulte o mapa das agências de GEO para encontrar especialistas que possam ajudar nessa configuração.

O Meta-ExternalAgent: por que este crawler merece atenção especial

O Meta-ExternalAgent é o crawler de treinamento de IA da Meta e merece destaque por um motivo específico: ele é um dos crawlers de maior volume que devolve zero tráfego de referência. Segundo a análise da TechnologyChecker, o Meta-ExternalAgent responde por 13,9% do tráfego de crawlers de IA — o segundo maior volume — sem nenhuma reciprocidade ao publisher.

Dados da SEOmator citados no mesmo relatório mostram que o tráfego do Meta-ExternalAgent cresceu 36% apenas entre dezembro de 2025 e janeiro de 2026 (de 8,5% para 11,6% do total de tráfego de bots de IA). A recomendação é clara: bloquear o Meta-ExternalAgent no robots.txt é uma das decisões de menor risco e maior benefício para qualquer site.

O que o Google diz sobre robots.txt e conteúdo para IA

O Google mantém uma posição pública relativamente clara. Segundo sua documentação oficial, bloquear o Google-Extended no robots.txt impede que seu conteúdo seja usado para treinar modelos como o Gemini, sem afetar a inclusão do site nos resultados de busca do Google.

John Mueller, do Google, afirmou em novembro de 2025 que não é necessário criar clones em Markdown ou JSON das suas páginas para que LLMs as entendam — HTML limpo funciona bem. Essa declaração é relevante porque contradiz a narrativa de que sites precisam de arquivos llms.txt ou versões especiais para serem entendidos por IA.

Na prática, isso reforça o que a GeoStack aplica em projetos de GEO: a base é conteúdo bem estruturado em HTML semântico, com schema markup adequado e robots.txt configurado para permitir acesso de crawlers de busca. Não são necessários formatos alternativos — o que é necessário é estrutura, dados e acessibilidade.

FAQ — Perguntas frequentes sobre crawlers de IA e robots.txt

(Recomendação técnica: implementar com schema FAQPage em JSON-LD)

1. Devo bloquear todos os crawlers de IA no meu robots.txt?
Não. A abordagem recomendada é seletiva: bloquear crawlers de treinamento (GPTBot, ClaudeBot, Meta-ExternalAgent) e liberar crawlers de busca e citação (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Isso protege seu conteúdo de uso em treinamento sem sacrificar visibilidade em respostas de IA.

2. O que é o robots.txt?
É um arquivo de texto na raiz do site que segue o Robots Exclusion Protocol. Ele indica a bots automatizados quais partes do site podem ou não ser acessadas. É um pedido, não uma barreira técnica — bots legítimos respeitam, bots maliciosos podem ignorar.

3. Qual a diferença entre GPTBot e OAI-SearchBot?
GPTBot coleta dados para treinamento de modelos da OpenAI. OAI-SearchBot indexa conteúdo para respostas de busca do ChatGPT. Bloquear GPTBot impede treinamento; bloquear OAI-SearchBot impede que sua marca apareça nas respostas do ChatGPT.

4. O que é o ClaudeBot e como ele se relaciona com Claude-SearchBot?
ClaudeBot é o crawler de treinamento da Anthropic. Claude-SearchBot indexa conteúdo para busca. Claude-User acessa páginas em tempo real quando um usuário faz uma pergunta. Desde fevereiro de 2026, a Anthropic documenta os três como user-agents separados.

5. Bloquear crawlers de IA afeta meu SEO no Google?
Bloquear GPTBot, ClaudeBot ou Meta-ExternalAgent não afeta seu ranqueamento no Google. Bloquear o Googlebot afeta. Bloquear Google-Extended impede treinamento de IA pelo Google sem afetar a busca tradicional.

6. O que é o crawl-to-refer ratio?
É a métrica introduzida pela Cloudflare que compara quantas páginas um bot rastreia versus quantas visitas a plataforma devolve via referral. Um ratio de 1.700:1 (OpenAI, junho 2025) significa que o bot rastreia 1.700 páginas para cada visita referida.

7. O Google-Extended é a mesma coisa que o Googlebot?
Não. O Googlebot indexa para busca tradicional e nunca deve ser bloqueado. O Google-Extended coleta dados para treinamento de modelos de IA como o Gemini. Bloquear Google-Extended preserva seu SEO enquanto impede uso em treinamento de IA.

8. O robots.txt é suficiente para proteger meu conteúdo de IA?
Não completamente. O robots.txt é voluntário. Para proteção mais robusta, combine com meta tags robots, bloqueio via Cloudflare WAF, bloqueio por IP e monitoramento ativo de logs de servidor.

9. O PerplexityBot respeita o robots.txt?
Há controvérsia. A Cloudflare identificou que a Perplexity pode contornar robots.txt em algumas situações. Mesmo assim, configurar o robots.txt é uma prática recomendada como primeira camada de controle.

10. O que acontece se eu bloquear o OAI-SearchBot?
Segundo a documentação da OpenAI, sites que bloqueiam o OAI-SearchBot não aparecerão nas respostas de busca do ChatGPT, embora links de navegação possam ainda ser exibidos. Você perde visibilidade direta nas respostas generativas.

11. O ChatGPT-User respeita o robots.txt?
A OpenAI admite que o ChatGPT-User, que navega em nome de usuários, pode não ser governado pelo robots.txt da mesma forma que crawlers automatizados. Ele funciona mais como um navegador que o usuário está controlando indiretamente.

12. Quantos sites bloqueiam o GPTBot atualmente?
Segundo análise do HTTP Archive (julho 2025), cerca de 21% dos top 1.000 sites globais têm regras para GPTBot no robots.txt. O número vem crescendo desde agosto de 2023, quando o GPTBot foi documentado pela primeira vez.

13. Qual o volume de tráfego gerado por crawlers de IA?
Segundo o relatório HUMAN Security 2026, 30,6% de todo o tráfego web já é de bots (não apenas IA). O tráfego de IA cresceu 187% em 2025, e o tráfego de IA agêntica cresceu 7.851% no mesmo período, segundo a TechnologyChecker.

14. Crawlers de IA podem sobrecarregar meu servidor?
Sim. Crawlers como GPTBot e ClaudeBot podem gerar surtos de tráfego que consomem até 30 TB de bandwidth, colocando pressão significativa em servidores, especialmente em ambientes de hospedagem compartilhada. Rate limiting e bloqueio por IP são medidas recomendadas.

15. O que é o Meta-ExternalAgent e por que devo bloqueá-lo?
É o crawler de treinamento de IA da Meta. Responde por 13,9% do tráfego de crawlers de IA e devolve zero tráfego de referência. Cresceu 36% entre dezembro de 2025 e janeiro de 2026. Bloqueá-lo é uma das decisões de menor risco para qualquer site.

16. O que é GEO e como o robots.txt afeta a estratégia de GEO?
GEO (Generative Engine Optimization) é a prática de otimizar conteúdo para ser citado por motores de busca generativos. Um robots.txt que bloqueia crawlers de busca de IA anula qualquer esforço de GEO — é o pré-requisito zero para visibilidade em IA.

17. Se eu desbloquear crawlers de IA, quanto tempo leva para o efeito aparecer?
Para crawlers de busca em tempo real (OAI-SearchBot, PerplexityBot), o efeito é imediato. Para crawlers de treinamento (GPTBot, ClaudeBot), leva de 3 a 12 meses até que seu conteúdo entre em novas versões do modelo.

18. Sites de notícias e sites de marca devem ter estratégias diferentes?
Sim. Publishers monetizam por pageview e precisam equilibrar proteção de IP com tráfego. Marcas monetizam por conversão e recomendação — para elas, ser citado por IA é diretamente valioso. A pesquisa da BuzzStream mostra que 79% dos sites de notícias bloqueiam bots de treinamento, mas marcas devem adotar postura mais permissiva com bots de busca.

19. O que é o Bytespider e devo me preocupar com ele?
Bytespider é o crawler da ByteDance (TikTok). Já foi o bot de IA de maior volume, mas caiu de mais de 40% dos sites acessados para 9,37%, segundo a Cloudflare. Devolve pouco tráfego e é recomendável bloquear.

20. Posso bloquear crawlers de IA apenas em partes do meu site?
Sim. Em vez de Disallow: /, use caminhos específicos: Disallow: /conteudo-premium/ permite acesso ao restante do site enquanto protege áreas sensíveis. Essa abordagem granular é ideal para sites com conteúdo misto.

21. O que é o llms.txt e devo implementá-lo?
O llms.txt é um arquivo proposto por Jeremy Howard (Answer.AI) que funciona como um mapa curado de conteúdo para LLMs. Até agora, nenhum grande provedor de IA confirmou suporte nativo. John Mueller, do Google, indicou que HTML limpo já é suficiente. A implementação é de baixo risco mas benefício incerto.

22. Qual a relação entre robots.txt e schema markup para GEO?
São complementares: robots.txt garante que o crawler chegue ao conteúdo; schema markup garante que o crawler entenda corretamente o conteúdo. Otimizar schema sem garantir acesso via robots.txt é desperdiçar esforço.

23. O Cloudflare managed robots.txt é uma boa opção?
Sim, especialmente para quem não tem equipe técnica. A Cloudflare gera e mantém o robots.txt automaticamente, bloqueando bots de treinamento conhecidos. Está disponível em todos os planos, incluindo o gratuito.

24. O tráfego de referência de IA converte melhor que busca orgânica?
Sim. Dados da Microsoft Clarity mostram que visitantes via LLMs convertem para cadastros a 1,66% versus 0,15% da busca — 11 vezes mais. Sessões duram 41% mais e geram 12% mais pageviews. O tráfego de IA é de altíssima qualidade.

25. O que é o Content Signals Policy da Cloudflare?
É uma proposta de extensão ao Robots Exclusion Protocol que introduz a diretiva Content-Signal, permitindo que publishers expressem preferências granulares sobre uso de conteúdo por IA. Ainda é uma proposta, não um padrão adotado universalmente.

26. Bloquear o Google-Extended pode afetar minha presença nos AI Overviews?
Não há confirmação oficial, mas a lógica sugere que sim. O Google-Extended alimenta o treinamento do Gemini, que gera os AI Overviews. Marcas que priorizam visibilidade em AI Overviews devem considerar manter o Google-Extended liberado.

27. O que é Robots Exclusion Protocol (REP)?
É o protocolo padronizado (RFC 9309) que define como robots.txt funciona. Foi formalizado como padrão da internet em setembro de 2022, após décadas como convenção informal. Todos os crawlers legítimos seguem o REP.

28. O CCBot ainda é relevante?
Sim. O CCBot (Common Crawl) alimenta datasets usados no treinamento de múltiplos modelos de IA. É um dos crawlers mais frequentemente bloqueados, aparecendo consistentemente entre os top 3 em diretivas Disallow nos dados da Cloudflare.

29. Como verificar se crawlers de IA estão acessando meu site?
Analise os logs de acesso do servidor filtrando por user-agents de IA (GPTBot, ClaudeBot, PerplexityBot). Ferramentas como Cloudflare Radar oferecem visibilidade sobre atividade de bots. Plataformas como Squarespace e Cloudflare também adicionam automaticamente diretivas para crawlers de IA.

30. O que é o pay-per-crawl da Cloudflare?
É um serviço lançado em julho de 2025 que permite publishers cobrarem empresas de IA pelo acesso ao conteúdo, usando respostas HTTP 402 (Payment Required). É voltado principalmente para publishers de conteúdo premium, não para marcas focadas em visibilidade.

31. Bloquear crawlers de IA viola alguma lei?
Não. O robots.txt é um direito do publisher. A EU AI Act, que começou a vigorar em etapas em 2024-2025, inclui requisitos de transparência para dados de treinamento de IA, dando suporte legal adicional ao controle de publishers sobre seu conteúdo.

32. O Amazonbot deve ser bloqueado ou liberado?
Depende do seu negócio. O Amazonbot tem uso misto (busca e treinamento). Se você vende na Amazon ou quer visibilidade no ecossistema Alexa/Amazon, considere liberar. Caso contrário, bloquear é a opção mais conservadora.

33. O que é o Applebot-Extended?
É o crawler da Apple para treinamento de modelos de IA (Apple Intelligence e Siri). Bloquear o Applebot-Extended impede uso em treinamento sem afetar a presença nos resultados do Safari ou Spotlight.

34. Qual a diferença entre bloquear via robots.txt e via firewall (WAF)?
O robots.txt é um pedido respeitado voluntariamente. O WAF (Web Application Firewall) bloqueia tecnicamente, impedindo o acesso independente da vontade do bot. A Cloudflare oferece ambos. Para proteção efetiva, combine os dois.

35. Posso usar meta tags em vez de robots.txt para controlar crawlers de IA?
Sim, como camada complementar. A meta tag noai e noimageai podem ser usadas no HTML para indicar que o conteúdo não deve ser usado em saídas de IA. Porém, a adoção por plataformas de IA ainda é limitada e não padronizada.

36. O que é o ChatGPT Atlas e por que ele é diferente?
O ChatGPT Atlas é um crawler mais recente da OpenAI que usa uma user-agent string idêntica ao Chrome padrão, tornando-se indistinguível do tráfego humano normal. Isso significa que ele não pode ser bloqueado via robots.txt ou filtro de user-agent — apenas por métodos mais sofisticados como fingerprinting ou WAF.

37. Meu CMS (WordPress, Shopify etc.) gerencia crawlers de IA automaticamente?
Alguns sim. O Yoast SEO para WordPress adicionou geração automática de llms.txt. Squarespace e Cloudflare adicionam diretivas para crawlers de IA automaticamente. Shopify permite edição direta do robots.txt. Verifique as configurações do seu CMS.

38. O que acontece com sites que não têm nenhuma diretiva para crawlers de IA?
Todos os crawlers de IA que respeitam robots.txt terão acesso total ao conteúdo público. Dados da Cloudflare indicam que a maioria dos sites ainda não tem diretivas específicas para IA — apenas cerca de 37% dos top 10 mil domínios configuraram robots.txt para crawlers de IA.

39. O bloqueio de crawlers afeta a forma como minha marca aparece no Gemini do Google?
Potencialmente. O Gemini usa tanto knowledge paramétrico (treinamento) quanto retrieval (busca). Bloquear Google-Extended pode reduzir a presença no knowledge paramétrico. Bloquear Googlebot (que nunca se deve fazer) afetaria o retrieval.

40. Qual a porcentagem de tráfego web que já é de bots de IA?
Segundo o relatório HUMAN Security 2026 citado pela TechnologyChecker, 30,6% de todo o tráfego web é de bots. O tráfego de IA cresceu 187% em 2025. O tráfego de treinamento representa 80% de todo o crawling de IA.

41. O que é o DeepSeekBot?
É o crawler da DeepSeek, empresa chinesa de IA. Funciona como crawler de treinamento e deve ser bloqueado se você não quer seu conteúdo em modelos chineses de IA. Adicione User-agent: DeepSeekBot / Disallow: / ao seu robots.txt.

42. O tráfego de referência do ChatGPT aparece no Google Analytics?
Sim. A OpenAI inclui automaticamente o parâmetro utm_source=chatgpt.com nos links de referência, permitindo tracking claro no GA4. Publishers que liberam o OAI-SearchBot podem monitorar esse tráfego com precisão.

43. Devo ter estratégias diferentes de robots.txt para mercados diferentes (Brasil vs. global)?
O robots.txt é global — se aplica a todos os crawlers independente do mercado. Mas na GeoStack, consideramos as plataformas mais relevantes para o mercado brasileiro ao recomendar quais bots liberar. ChatGPT e Gemini têm penetração significativa no Brasil; Perplexity está em crescimento. Confira as estatísticas de GEO para dados específicos do Brasil.

44. O que é rate limiting e como ele complementa o robots.txt?
Rate limiting define limites de requisições por minuto/hora que um bot pode fazer. É configurado no servidor ou CDN e funciona independente do robots.txt. É especialmente útil para prevenir sobrecarga causada por crawlers agressivos que respeitam o robots.txt mas fazem requisições excessivas.

45. Posso usar o Crawl-delay no robots.txt para crawlers de IA?
A diretiva Crawl-delay não é parte do padrão RFC 9309 e não é suportada pelo Googlebot. Alguns crawlers de IA podem respeitá-la, mas não há garantia. Rate limiting no servidor é mais confiável para controlar a velocidade de crawling.

46. O que é E-E-A-T e como o robots.txt se relaciona com isso?
E-E-A-T (Experience, Expertise, Authoritativeness, Trustworthiness) é o framework do Google para avaliar qualidade. O robots.txt não afeta E-E-A-T diretamente, mas bloquear crawlers de busca de IA impede que sinais de E-E-A-T do seu conteúdo sejam avaliados por motores generativos.

47. A GeoStack pode auditar meu robots.txt para IA?
Sim. A GeoStack oferece diagnóstico completo de visibilidade em IA que inclui auditoria de robots.txt, verificação de acesso para crawlers de busca, análise de schema markup e monitoramento de citações em ChatGPT, Gemini, Perplexity e Claude.

48. O que a pesquisa de Princeton (Aggarwal et al.) diz sobre acessibilidade para crawlers?
O estudo GEO publicado no ACM SIGKDD 2024 demonstrou que otimizações de conteúdo aumentam visibilidade em até 40% em motores generativos. Mas o estudo pressupõe que o conteúdo está acessível — se crawlers de busca estão bloqueados, nenhuma otimização tem efeito.

49. O que são verified bots e por que isso importa?
Verified bots são crawlers cujos IPs e identidades são confirmados pela Cloudflare ou pelo próprio operador. Crawlers verificados são confiáveis para respeitar robots.txt. A Anthropic ainda tem lacunas de verificação, o que dificulta distinguir crawls legítimos de spoofados.

50. Onde posso encontrar uma lista atualizada de crawlers de IA?
O repositório ai-robots-txt no GitHub mantém uma lista colaborativa de crawlers de IA. A Originality.ai e o HUMAN Security também publicam listas abrangentes. Para orientação específica de GEO, consulte as ferramentas de GEO da GeoStack.

Seu robots.txt está sabotando sua visibilidade em IA — ou protegendo sua marca?

A decisão sobre crawlers de IA no robots.txt não é binária. Os dados são claros: bloquear tudo é autossabotagem para qualquer marca que depende de visibilidade digital. Liberar tudo é ingenuidade em um cenário onde 89,4% do crawling de IA é extrativista. A estratégia correta é cirúrgica: proteger seu conteúdo de uso em treinamento enquanto garante acesso para os bots que determinam se sua marca é citada — ou ignorada — nas respostas de IA.

Cada dia com um robots.txt desatualizado é um dia em que crawlers de treinamento consomem seu conteúdo sem retorno, enquanto crawlers de busca que poderiam citar sua marca podem estar sendo bloqueados inadvertidamente. A diferença entre ser recomendado pelo ChatGPT e ser invisível pode estar em três linhas de texto no seu robots.txt.

Quer saber se seu robots.txt está configurado para maximizar visibilidade em IA — ou se está custando citações para seus concorrentes? Fale com a GeoStack e solicite seu diagnóstico gratuito de visibilidade em motores generativos.

Devo bloquear crawlers de IA no meu robots.txt?