Como aparecer nas respostas dos modelos de IA?
Esta é a página técnica. Sem definição de conceito, sem convencer ninguém de que o assunto importa. Aqui estão os agentes, as diretivas, as camadas em que a permissão morre e como validar tudo nos logs.
Escrita para quem já trabalha com busca e vai executar.
"Bloquear IA" ou "liberar IA" não é uma decisão. São mais de vinte decisões independentes, distribuídas em categorias que se comportam de formas diferentes e pertencem a fornecedores com políticas diferentes.
Categorias distintas de tráfego automatizado de IA, cada uma com regra própria de engajamento
No Hacks, abr/2026Agentes declarados que precisam de diretiva própria, porque bloquear um não bloqueia os outros
Documentação dos fornecedoresDos domínios têm arquivo llms.txt, e entre os 50 mais citados por IA, apenas um tinha
SE Ranking, 300 mil domíniosDe mais de 500 milhões de visitas de robôs de IA monitoradas em 90 dias buscaram o llms.txt
Limy, 2026Antes da tabela: existem cinco tipos de acesso, não um.
Tratar tudo como "robô de IA" é a origem de quase todo erro de configuração que auditamos. As categorias têm finalidades opostas, e o respeito ao robots.txt é propriedade do fornecedor, não da categoria.
Rastreadores de treinamento
Coletam conteúdo que pode alimentar o pré-treinamento dos modelos. Bloqueá-los é uma decisão sobre uso do seu conteúdo, e não afeta a sua presença nas respostas com busca.
GPTBot · ClaudeBot · CCBotRastreadores de busca
Indexam páginas para recuperação no momento da resposta. É a categoria que decide se você pode ser citado, e a que jamais deveria ser bloqueada por quem quer visibilidade.
OAI-SearchBot · Claude-SearchBot · PerplexityBot · bingbotBuscadores acionados por usuário
Abrem uma página porque alguém pediu. Aqui a política muda por fornecedor: OpenAI e Anthropic respeitam o robots.txt nessa função; alguns buscadores do Google não, o que é frequentemente reportado errado.
ChatGPT-User · Claude-User · Perplexity-UserTabela mestre: quem é quem e o que você perde ao bloquear.
Reunimos numa tabela só o que está espalhado pela documentação de cada fornecedor. As linhas em destaque são as que nunca deveriam ser bloqueadas por quem busca visibilidade.
| Agente | Operador | Função | Bloquear significa |
|---|---|---|---|
| OpenAI | |||
| GPTBot | OpenAI | Treinamento de modelos | Sai do treino futuro. Continua elegível na busca do ChatGPT. |
| OAI-SearchBot | OpenAI | Índice da busca do ChatGPT | Some das respostas com fonte. É o bloqueio mais caro do ecossistema. |
| ChatGPT-User | OpenAI | Acesso pedido por usuário | O usuário não consegue abrir sua página dentro do ChatGPT. |
| Googlebot | Índice da busca | Some do orgânico e de toda a camada de IA da busca. | |
| Google-Extended | Token de uso no Gemini e Vertex | Sai do Gemini. Não afeta ranking nem AI Overviews. | |
| Google-CloudVertexBot | Ancoragem em aplicações Vertex | Perde presença em respostas de aplicações corporativas. | |
| Anthropic | |||
| ClaudeBot | Anthropic | Treinamento de modelos | Conteúdo futuro fora dos conjuntos de treino. |
| Claude-SearchBot | Anthropic | Índice de busca do Claude | Reduz visibilidade e precisão nas respostas com busca. |
| Claude-User | Anthropic | Acesso pedido por usuário | Suas páginas não são recuperadas em perguntas de usuário. |
| Perplexity | |||
| PerplexityBot | Perplexity | Índice das respostas citadas | Desaparece por completo. Não há camada de memória para compensar. |
| Perplexity-User | Perplexity | Acesso pedido por usuário | Perde as consultas mais qualificadas do motor. |
| Microsoft | |||
| bingbot | Microsoft | Índice que serve Copilot e busca do ChatGPT | Some de dois motores de resposta ao mesmo tempo. |
| Demais operadores | |||
| xAI-Bot | xAI | Índice e pesquisa do Grok | Fica fora das respostas do Grok baseadas em web. |
| Applebot | Apple | Busca e recursos do sistema | Some da busca da Apple e dos recursos que a usam. |
| Applebot-Extended | Apple | Token de uso em IA | Opta por sair do treinamento, sem afetar a busca. |
| meta-externalagent | Meta | Coleta para produtos de IA | Conteúdo fora dos produtos de IA da Meta. |
| Amazonbot | Amazon | Busca e assistentes | Perde presença nos assistentes da Amazon. |
| CCBot | Common Crawl | Arquivo público usado em treinos | Sai de uma base usada por muitos modelos de uma vez. |
| Bytespider | ByteDance | Coleta para IA | Conteúdo fora dos modelos do grupo. |
| MistralAI-User | Mistral | Acesso pedido por usuário | Perde recuperação em tempo real nesse assistente. |
| DuckAssistBot | DuckDuckGo | Recurso de resposta assistida | Fica fora das respostas assistidas do buscador. |
Disallow: / genérico não fez essa escolha, apenas perdeu as duas. Segunda: a coluna da direita muda com o tempo, porque os fornecedores atualizam a documentação. Confirme os identificadores atuais antes de publicar qualquer regra, e trate esta tabela como ponto de partida, não como verdade permanente.
Nem tudo que está no robots.txt é um robô.
Google-Extended e Applebot-Extended não fazem requisição nenhuma. São tokens de controle sobre o uso do conteúdo que já foi rastreado por outro agente. A confusão entre token e rastreador é uma das mais repetidas em listas de SEO, e ela produz duas consequências práticas bem concretas.
"Vou procurar o Google-Extended nos logs para ver se ele passou aqui."
"Se eu bloquear o token, o Google para de rastrear meu site."
"Bloquear o token me tira das respostas de IA da busca."
"É um crawler novo, então vai aumentar meu consumo de servidor."
Ele nunca aparece nos logs. Não emite requisição HTTP.
Quem busca continua sendo o Googlebot, com o mesmo identificador de sempre.
Não tira. A camada de IA da busca depende do índice do Googlebot.
Zero impacto em carga. É uma permissão, não um visitante.
Um robots.txt de referência para visibilidade máxima.
Configuração para quem quer ser citado em todos os motores e ainda assim manter controle sobre o uso em treinamento. A regra mais específica vence, então cada agente precisa do próprio grupo: se o seu grupo curinga for restritivo, todos os não nomeados herdam o bloqueio.
# ---------- Índices de busca: liberar sempre ---------- User-agent: Googlebot Allow: / User-agent: bingbot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: PerplexityBot Allow: / # ---------- Acessos pedidos por usuários: liberar ---------- User-agent: ChatGPT-User Allow: / User-agent: Claude-User Allow: / User-agent: Perplexity-User Allow: / # ---------- Uso em IA: decisão estratégica, caso a caso ---------- User-agent: Google-Extended Allow: / User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / # ---------- Áreas privadas, para todos ---------- User-agent: * Disallow: /checkout/ Disallow: /conta/ Disallow: /admin/ Sitemap: https://seudominio.com.br/sitemap.xmlTrês avisos que evitam prejuízo. Um: cada subdomínio tem o próprio robots.txt, e a regra do domínio principal não vale para
blog., loja. ou docs. Dois: robots.txt é controle de acesso consultivo, não segurança. O que for realmente sensível precisa de autenticação, não de uma linha de Disallow. Três: confirme os identificadores atuais na documentação de cada fornecedor antes de publicar, porque essa é a camada que mais muda.
Você liberou. E o agente continua levando 403.
Este é o achado mais frequente das nossas auditorias técnicas, e o mais invisível: o arquivo está correto e a requisição nunca chega ao conteúdo. Quatro camadas costumam matar a permissão depois que ela foi concedida.
Perfil padrão de gestão de bots
Cloudflare, Akamai e Fastly frequentemente desafiam rastreadores de IA por não terem o histórico de reputação de crawlers antigos. O robots.txt libera, o firewall nega, e nenhum painel de marketing indica o problema. Pior: fornecedores reclassificam bots em atualizações de regra, sem aviso.
Limite de taxa devolvendo 429
O agente é tratado como tráfego suspeito e recebe 429 Too Many Requests. Ele desiste e descarta a página. Foi durante um bom tempo a causa mais comum de ausência de citação em sites com política de crawler aberta.
Bloqueio por faixa de IP
Vários operadores usam endereços de nuvem pública e não publicam faixas fixas. Bloquear por IP é pouco confiável e pode impedir a leitura do próprio robots.txt, produzindo comportamento imprevisível.
Muro de consentimento antes do conteúdo
Banner de cookies bloqueante, interstício ou modal cobrindo o texto. O que o agente lê é a barreira, não a sua resposta, e a página é registrada como sem conteúdo útil.
User-Agent: GPTBot e passar por OpenAI. Por isso a verificação correta é por origem, e não pelo texto do identificador: Cloudflare e Google mantêm registros de bots verificados que confirmam se o agente pertence mesmo ao operador declarado. Se você vê tráfego de um agente conhecido vindo de faixas que não são do operador, é falsificação, e aí o bloqueio por IP é a resposta certa. Na dúvida, limite a taxa em vez de bloquear: bloqueio equivocado custa citação de forma silenciosa.
Chegar na página não é o mesmo que conseguir ler.
Depois do acesso vem a extração. Aqui o critério muda: não basta o conteúdo existir, ele precisa estar no HTML entregue e ser recortável em blocos que façam sentido isolados.
Renderização no servidor
Buscadores acionados por usuário costumam não executar JavaScript complexo. Se o conteúdo só aparece depois do script, assuma que não será lido. Teste sempre com o JavaScript desligado, não com a ferramenta do desenvolvedor aberta.
Hierarquia semântica real
Um h1, h2 em ordem, listas em ul e tabelas em table. Título feito com div estilizada não é título para quem lê a marcação, e é assim que a estrutura de recorte é inferida.
Blocos autossuficientes
Cada seção deve responder sozinha, sem depender do parágrafo anterior. Pronome sem antecedente na mesma seção é o inimigo silencioso da citação: o trecho extraído fica ambíguo e é descartado.
Tabelas em vez de prosa comparativa
Comparação escrita em texto corrido obriga o sistema a reconstruir a relação entre os itens. Tabela entrega a relação pronta, e é o formato mais extraído em consultas de decisão.
Velocidade e códigos de resposta
Recuperação em tempo real trabalha com orçamento de tempo. Página lenta é despriorizada. Redirecionamentos encadeados, respostas parciais e erros intermitentes derrubam a página mesmo com tudo o mais correto.
Dados estruturados coerentes
Organization, Product, Service, FAQPage, HowTo, Article e BreadcrumbList descrevendo exatamente o que está visível na tela. Não existe schema exclusivo para IA, e marcação inflada compromete a confiança em todo o domínio.
llms.txt: o que a evidência mostra até aqui.
É a pergunta técnica mais frequente do tema e a que mais recebe resposta motivada por venda. Nossa posição é baseada no que existe de dado público, e ela pode mudar se o cenário mudar.
Que ele aumenta citação: 408 de mais de 500 milhões de visitas de robôs em 90 dias buscaram o arquivo.
Que os grandes motores o consomem: o Google declarou publicamente que não suporta e não pretende suportar.
Que virou padrão: adoção de cerca de 10% dos domínios, concentrada em sites técnicos.
Que os líderes usam: entre os 50 domínios mais citados por IA, apenas um tinha o arquivo.
Sites com documentação técnica consumida por agentes, e não por buscadores.
Redução de custo de leitura ao servir Markdown em vez de HTML pesado para agentes.
Custo de implantação próximo de zero quando gerado pelo próprio pipeline.
Um operador declarou recuperar o arquivo para priorizar leitura, então o cenário pode mudar.
Três fontes de dado, em ordem de confiabilidade.
Log de servidor prova que o agente chegou. Analytics prova que gerou visita. Relatório do fornecedor prova que gerou citação. As três respondem perguntas diferentes e nenhuma substitui a outra.
# Padrão de busca que captura os agentes declarados grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User" access.log grep -Ei "ClaudeBot|Claude-SearchBot|Claude-User" access.log grep -Ei "PerplexityBot|Perplexity-User" access.log grep -Ei "bingbot|Googlebot|Amazonbot|Applebot" access.log grep -Ei "CCBot|meta-externalagent|MistralAI-User|DuckAssistBot" access.log # O que importa não é a visita, é o código de resposta: # 200 = leu · 403 = firewall barrou · 429 = limite de taxa # 3xx encadeado = provavelmente desistiu no meio do caminhoEsse padrão captura os agentes que se declaram. Não captura tráfego não identificado, que é uma categoria própria e exige verificação de origem. Para confiança maior, compare o endereço de origem com as faixas publicadas pelo operador, ou use os registros de bots verificados mantidos por Cloudflare e Google.
2. Analytics segmentado
Isole as origens de IA em vez de deixá-las cair em "direto" e "referência". Inclua os parâmetros de campanha que alguns motores adicionam aos links. É comum descobrir aqui que já existia tráfego de IA há meses, sem nenhuma atribuição.
3. Relatório do fornecedor
Um único ecossistema oferece relatório oficial de citações, mostrando com que frequência seu conteúdo foi usado e quais consultas levaram o sistema até ele. É o único dado de primeira parte disponível hoje, e vale abrir a conta só por ele.
4. Amostragem de prompts
Para os demais motores, não há relatório. A saída é conjunto fixo de perguntas executado em intervalos definidos, medindo em que percentual das execuções você aparece, em que posição e com qual tom.
5. Separação robô e humano
Com o crescimento de agentes e navegadores de IA, o volume automatizado subiu. Sem separar as duas coisas nos relatórios, alguém vai comemorar ou entrar em pânico pelo motivo errado.
Checklist técnico de LLM SEO.
Na ordem em que executamos. Os quatro primeiros itens resolvem a maior parte dos casos e podem ser feitos em uma semana. Não pule para conteúdo antes de fechar o acesso.
01. Auditar o grupo curinga do robots.txt
Se User-agent: * for restritivo, todos os agentes não nomeados herdam o bloqueio. É o bloqueio acidental mais comum, e ninguém no time lembra de tê-lo criado.
02. Nomear cada agente em grupo próprio
Índices de busca e acessos de usuário liberados; robôs de treinamento por decisão consciente. Repetir em cada subdomínio, porque a regra não é herdada.
03. Criar regra explícita no WAF e no CDN
Liberar os agentes verificados no perfil de gestão de bots e revisar após cada atualização de regras do fornecedor, que reclassifica sem avisar.
04. Confirmar 200 nos logs, agente por agente
Sem essa validação, tudo o que veio antes é suposição. Procure especialmente por 403 e 429, que são as assinaturas de bloqueio silencioso.
05. Verificar indexação nos dois grandes índices
Google e Bing têm coberturas diferentes. É comum um site saudável no Google ter metade do catálogo fora do outro, o que o exclui de dois motores de resposta ao mesmo tempo.
06. Testar a página com JavaScript desligado
Se o conteúdo principal sumir, ele não existe para boa parte dos agentes. Preço, comparativo e diferencial são as vítimas mais frequentes.
07. Auditar diretivas de trecho
Procurar nosnippet e limites de max-snippet herdados de configuração antiga de CMS. Eles cortam a elegibilidade em respostas de IA e a descrição no orgânico ao mesmo tempo.
08. Revisar dados estruturados quanto à coerência
Não é sobre adicionar mais tipos, é sobre garantir que o que está marcado corresponde ao que está visível. Marcação inflada custa confiança no domínio inteiro.
09. Reestruturar as páginas centrais para extração
Resposta no topo, subtítulos como perguntas, blocos autossuficientes, tabelas no lugar de prosa comparativa e datas de publicação e revisão visíveis.
10. Instrumentar a medição antes de produzir conteúdo
Segmentação de origem no analytics, separação de robô e humano, linha de base de citação por motor. Sem ponto de partida medido, não existe melhora comprovável depois.
Dúvidas técnicas sobre LLM SEO
LLM SEO é o rótulo de mercado para a otimização voltada a aparecer nas saídas de modelos de linguagem, incluindo conversas que começam fora de um buscador. Na prática, o trabalho se sobrepõe quase inteiramente ao que se chama de AEO e de GEO: os três descrevem a mesma disciplina com ênfases diferentes. A distinção que importa não é de vocabulário, é de motor, porque as regras de seleção de fontes variam bastante entre plataformas.
Em três camadas, nesta ordem. Acesso: liberar os rastreadores de busca de cada operador no robots.txt, no firewall e no CDN, e confirmar nos logs que eles chegam e recebem 200. Extração: entregar o conteúdo no HTML sem depender de JavaScript, em blocos autossuficientes com a resposta no topo. Seleção: dar ao sistema evidência verificável, entidade consistente e confirmação em fontes independentes. Pular a primeira camada invalida as outras duas.
Não. O GPTBot coleta conteúdo para treinamento; quem determina a elegibilidade nas respostas com busca é o OAI-SearchBot. São diretivas independentes no robots.txt. Dá para recusar o uso do seu conteúdo em treinamento e continuar sendo citado nas respostas. O erro caro é o bloqueio genérico, que derruba os dois de uma vez sem que a decisão tenha sido tomada de forma consciente.
Porque ele não é um rastreador. Google-Extended e Applebot-Extended são tokens de controle sobre o uso de conteúdo já rastreado, e não emitem requisição HTTP nenhuma. Quem busca as páginas continua sendo o crawler padrão de cada empresa, com o identificador de sempre. A confusão entre token e rastreador é uma das mais repetidas em listas de SEO, e a consequência prática é simples: tokens se auditam lendo o arquivo, não o log.
Os logs, sempre. Procure pelo identificador do agente e olhe o código de resposta: 403 indica bloqueio de firewall, 429 indica limite de taxa, e uma sequência de redirecionamentos costuma indicar que o agente desistiu no meio do caminho. Perfis padrão de gestão de bots em CDNs desafiam rastreadores de IA por falta de histórico de reputação, e esse bloqueio não aparece em nenhum relatório de marketing.
Se o custo for próximo de zero e o arquivo for gerado automaticamente, não há motivo para não ter. Mas não conte com ele no plano de visibilidade. O Google declarou publicamente que não suporta o formato, monitoramentos de larga escala mostram interesse desprezível dos robôs de busca pelo arquivo, a adoção está em torno de um décimo dos domínios e, entre os sites mais citados por IA, praticamente nenhum o utiliza. Nenhuma linha desse arquivo compensa um rastreador de busca bloqueado.
Os grandes operadores publicam identificadores e seguem as diretivas na prática, ainda que não haja obrigação legal. Mas a conformidade é propriedade do fornecedor, não da categoria: entre os buscadores acionados por usuário, alguns respeitam o arquivo e outros declaradamente não. Além disso, existe tráfego que simplesmente não se identifica ou que falsifica o identificador de um agente conhecido, e nenhuma diretiva controla isso.
Pelo endereço de origem, nunca pelo texto do identificador, que qualquer raspador pode declarar. Compare o IP com as faixas publicadas pelo operador ou use os registros de bots verificados mantidos por provedores de infraestrutura, que confirmam se o agente pertence mesmo a quem diz pertencer. Tráfego que diz ser de um grande operador e vem de faixa que não é dele é falsificação, e aí bloquear por IP é a resposta certa.
Sim. Cada subdomínio tem o próprio robots.txt e a regra do domínio principal não se aplica a ele. É comum encontrar o site institucional perfeitamente configurado e o blog, a loja ou a central de documentação bloqueados por herança de uma instalação antiga. Como a documentação técnica costuma ser justamente o conteúdo mais recuperado por agentes, esse esquecimento é caro.
É um dos maiores. Buscadores acionados por usuário costumam não executar JavaScript complexo, então conteúdo que só aparece depois do script pode simplesmente não existir para eles. O teste correto é abrir a página com o JavaScript desligado e verificar se a informação central continua lá. Preço, comparativo, especificação e diferencial são as vítimas mais frequentes, justamente o que mais influencia citação em consultas de decisão.
Não existe tipo exclusivo, e a documentação do Google afirma que não há requisitos adicionais de dados estruturados para as suas experiências de IA. O que existe é uma exigência maior de coerência: a marcação precisa descrever exatamente o que está visível na página. Os tipos que mais rendem são os de sempre, Organization, Product, Service, FAQPage, HowTo, Article e BreadcrumbList. Marcar o que não existe não gera vantagem e compromete a confiança no domínio inteiro.
Com três fontes que respondem perguntas diferentes. O log de servidor prova que o agente chegou e mostra o código de resposta que recebeu. O analytics segmentado prova que a citação virou visita, desde que as origens de IA sejam isoladas em vez de caírem em direto e referência. E um dos ecossistemas oferece relatório oficial de citações, com as consultas que levaram o sistema até o seu conteúdo. Para os demais motores, resta amostragem de prompts.
Preocupe-se em separar, não em bloquear. O volume de acesso automatizado cresceu bastante com a expansão de agentes e navegadores de IA, e isso é esperado em quem liberou o acesso. O que não pode acontecer é esse tráfego se misturar às sessões humanas nos relatórios, porque aí alguém vai interpretar variação de robô como variação de audiência. Se o custo de infraestrutura virar problema real, o caminho é limitar taxa de forma calibrada, nunca bloquear em massa.
Pelos quatro primeiros itens do checklist, que cabem em uma semana e resolvem a maior parte dos casos: auditar o grupo curinga do robots.txt, nomear cada agente em grupo próprio, criar regra explícita no firewall e no CDN, e confirmar nos logs que cada agente chegou e recebeu 200. É a única etapa em que o retorno independe de vencer alguém em autoridade. Conteúdo vem depois, e rende muito mais com a porta aberta.
Quer saber quais agentes estão sendo bloqueados no seu site?
Auditamos robots.txt, firewall, CDN, renderização e cobertura de índice, agente por agente, e confirmamos nos logs quem chega e o que recebe. Em um relatório gratuito, você vê exatamente onde a permissão está morrendo.
Solicitar auditoria técnica Sem compromisso. Sem cartão. Só dados.De onde vêm os dados desta página
Documentação de fornecedor primeiro, levantamentos com metodologia declarada depois. Onde os dados divergem, dizemos que divergem.
Função de GPTBot, OAI-SearchBot e ChatGPT-User, controle independente via robots.txt e o aviso de que sites que optam por sair do robô de busca não são exibidos nas respostas de busca do ChatGPT.
platform.openai.com/docs/botsReferência que organiza o tráfego automatizado em cinco categorias, esclarece que tokens de exclusão não são rastreadores e não aparecem nos logs, e fornece o padrão de busca para identificar agentes declarados.
nohacks.co/blog/ai-user-agents-landscape-2026Panorama dos identificadores publicados pelos principais operadores, a diferença entre robôs de treinamento e de busca, e o funcionamento dos programas de verificação de bots contra falsificação de identificador.
glasp.co/articles/llms-txt-ai-crawler-controlCobertura da documentação que separa ClaudeBot, Claude-User e Claude-SearchBot, com a explicação do que se perde ao bloquear cada um.
searchenginejournal.com/anthropics-claude-bots-make-robots-txt-decisions-more-granularNecessidade de diretiva por subdomínio e a razão pela qual o bloqueio por faixa de IP é pouco confiável, já que os agentes usam endereços de nuvem pública.
searchengineland.com/anthropic-claude-bots-470171Monitoramento de mais de 500 milhões de visitas de robôs de IA em 90 dias, com o número de requisições que efetivamente buscaram o arquivo, e o registro da posição pública do Google sobre o formato.
limy.ai/blog/llms.txt-in-2026-the-full-guideDados de adoção a partir de estudo com 300 mil domínios, incluindo a constatação de que entre os cinquenta domínios mais citados por IA apenas um mantinha o arquivo.
derivatex.agency/blog/llms-txt-guideDocumentação oficial com a afirmação de que não há requisitos adicionais de dados estruturados nem otimizações especiais para as experiências de IA da busca, e os controles de exibição de trecho.
developers.google.com/search/docs/appearance/ai-featuresRegra de precedência do robots.txt, o problema do bloqueio herdado do grupo curinga e o alerta sobre perfis padrão de firewall que desafiam rastreadores de IA por falta de reputação.
menra.ai/guides/grok-crawler-guideIdentificação verificada de agentes, cadeia completa de identificador e volume de requisições, útil para confirmar se o tráfego observado nos logs é mesmo do operador declarado.
radar.cloudflare.com/bots/directory/oai-searchbot
