Uma empresa pode ter o melhor conteúdo do seu setor e, ainda assim, nunca ser citada por uma IA, simplesmente porque os robôs dessas plataformas não conseguem entrar no site ou não enxergam o texto quando entram. É um problema invisível: o site abre normalmente para qualquer pessoa, o dono não percebe nada de errado, e as IAs seguem usando os concorrentes como fonte.
Este artigo trata só do site em si: quem são os robôs de IA, como controlar o acesso deles, como garantir que o conteúdo seja legível e o que é o llms.txt. A redação do conteúdo e a reputação fora do site são assuntos de outros textos.
Os robôs de IA que visitam o seu site
Assim como o Google usa o Googlebot para ler as páginas, as empresas de IA usam robôs próprios, identificados por um nome (o “user agent”). Os mais relevantes hoje são:
| Robô | Empresa | Para que serve |
|---|---|---|
| GPTBot | OpenAI | Coleta de conteúdo que pode ser usado no treinamento de modelos |
| OAI-SearchBot | OpenAI | Indexação para a busca do ChatGPT |
| ChatGPT-User | OpenAI | Acessos feitos a partir de ações de usuários no ChatGPT |
| PerplexityBot | Perplexity | Indexação para as respostas da Perplexity |
| ClaudeBot | Anthropic | Coleta de conteúdo da web |
| Bingbot | Microsoft | Índice do Bing, usado pelo Copilot e, em parte, pela busca do ChatGPT |
| Google-Extended | Não é um robô separado: é uma instrução no robots.txt que controla o uso do conteúdo para treinar e alimentar modelos como o Gemini |
Essa lista muda com frequência. Antes de qualquer configuração, vale conferir a documentação oficial de cada empresa.
Um detalhe que costuma gerar confusão: bloquear o Google-Extended não tira o site da busca do Google, porque a indexação continua sendo feita pelo Googlebot. Do mesmo modo, os resumos de IA da busca do Google se apoiam no índice da busca, e não nessa instrução.
Treinamento e busca são decisões separadas
A principal decisão no robots.txt (o arquivo na raiz do site que diz aos robôs o que podem acessar) é diferenciar dois usos:
- Busca: permite que a plataforma encontre e cite o site nas respostas, com link. Para quem quer ser recomendado, bloquear esses robôs é contraproducente.
- Treinamento: permite que o conteúdo seja usado para treinar modelos futuros. Algumas empresas preferem bloquear, por questões de propriedade intelectual; outras liberam, por entender que isso aumenta a presença da marca no conhecimento dos modelos.
Um exemplo de configuração que libera a busca e bloqueia o treinamento da OpenAI:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: PerplexityBot
Allow: /
Não há resposta certa universal para o treinamento. O importante é que a decisão seja consciente, e não herdada de um plugin ou de um modelo de robots.txt copiado da internet.
Bloqueios que ninguém percebe
Muitos sites bloqueiam robôs de IA sem que o dono saiba. As causas mais comuns:
- CDN e firewall. Serviços de proteção e entrega de conteúdo oferecem opções de bloqueio de robôs de IA, às vezes com um clique. Uma configuração feita por alguém da equipe ou pela hospedagem pode estar barrando todos eles.
- Proteção contra excesso de acessos. Regras que bloqueiam visitantes que acessam muitas páginas em sequência podem afetar robôs legítimos.
- Conteúdo atrás de login ou de bloqueios de cookies que cobrem a página inteira.
- Bloqueio por país, que pode impedir robôs que acessam a partir de servidores no exterior.
Como verificar: olhe o robots.txt (digitando seudominio.com.br/robots.txt), revise as configurações de segurança da CDN ou da hospedagem e, se possível, peça ao responsável técnico para procurar os nomes dos robôs nos registros de acesso do servidor. Se eles nunca aparecem, ou aparecem sempre com erro, há algo bloqueando.
O conteúdo precisa estar no HTML
O Googlebot executa JavaScript para montar a página antes de ler. Nem todos os robôs fazem isso, ou fazem de forma limitada. Se o texto do site só aparece depois que um script roda no navegador, alguns robôs de IA podem enxergar uma página praticamente vazia.
Testes simples:
- Exibir código-fonte (Ctrl+U no navegador): procure no código um trecho do texto principal. Se ele não está lá, depende de JavaScript.
- Desativar o JavaScript no navegador e recarregar a página: o que sumir pode não ser lido por alguns robôs.
Outros pontos de atenção: preços e tabelas publicados como imagem, informações importantes só em PDF, textos escondidos em abas que carregam sob demanda e cardápios ou catálogos embutidos de outras plataformas.
Estrutura que facilita a leitura
Depois de garantir acesso e legibilidade, alguns cuidados ajudam o robô a entender a página:
- HTML semântico: títulos hierárquicos de verdade (não só texto grande), listas como listas e tabelas como tabelas.
- Respostas rápidas do servidor: robôs podem desistir de páginas lentas.
- Códigos de status corretos: páginas existentes respondendo normalmente, páginas removidas redirecionadas ou marcadas como inexistentes.
- Sitemap atualizado, informado nas ferramentas para webmasters do Google e do Bing. O cadastro no Bing e o protocolo IndexNow estão explicados em SEO para ChatGPT.
- Dados estruturados descrevendo a empresa, os serviços e as perguntas frequentes, como mostra o guia de dados estruturados para GEO.
llms.txt: o que é e por que tratar como experimento
O llms.txt é uma proposta, apresentada em 2024, de um arquivo em formato de texto simples na raiz do site, com um resumo da empresa e links para as páginas mais importantes, pensado para facilitar a leitura por modelos de linguagem.
O status atual é de experimento: até o momento, não há confirmação pública de que os principais mecanismos de IA usem esse arquivo para decidir o que citar. Criar um llms.txt é barato e não causa problemas, mas ele não deve tomar o lugar das prioridades acima. Um site bloqueado no firewall não passa a ser citado porque tem um llms.txt.
Por onde começar
Se você vai mexer em apenas três coisas, a ordem é: confirmar que os robôs de busca das IAs não estão bloqueados (robots.txt e CDN), confirmar que o texto principal está no HTML e cadastrar o site nas ferramentas do Google e do Bing. Para a lista completa de verificações, use o checklist para preparar o site para buscas com IA; para os fundamentos de rastreamento e indexação, o guia de SEO técnico.
Perguntas frequentes
Se eu bloquear o GPTBot, minha empresa some do ChatGPT?
Não necessariamente. O GPTBot está ligado à coleta para treinamento. A busca do ChatGPT usa o OAI-SearchBot e se apoia em parte no índice do Bing. São controles separados.
Meu site é em WordPress. Preciso de algum plugin específico para IA?
Na maioria dos casos, não. Os pontos principais (robots.txt, sitemap, dados estruturados e velocidade) já são tratados por plugins de SEO e configurações comuns. Vale revisar se algum plugin de segurança está bloqueando robôs. As correções práticas estão em otimização técnica de sites.
Os robôs de IA sempre respeitam o robots.txt?
As principais empresas declaram respeitar o arquivo, mas o robots.txt é uma convenção, não uma barreira técnica. Para impedir acesso de fato, é preciso bloquear no servidor ou na CDN.
Ter um sitemap ajuda as IAs a encontrarem o site?
Ajuda indiretamente: o sitemap facilita a indexação nos buscadores, e várias IAs se apoiam nesses índices. Ele não garante citação, mas evita que páginas importantes fiquem de fora.
Descubra se as IAs conseguem ler o seu site
No diagnóstico gratuito da GIGANTECOM, verificamos robots.txt, bloqueios de CDN, legibilidade do conteúdo e cadastro nas ferramentas de busca, e mostramos o que corrigir primeiro. Fale pelo WhatsApp (11) 94883-0691 ou pelo e-mail contato@gigantecom.com.br.