O ChatGPT lê um site por três robôs diferentes, cada um com uma finalidade: o GPTBot coleta páginas que podem treinar modelos futuros, o OAI-SearchBot indexa páginas para a busca do ChatGPT e o ChatGPT-User abre uma página na hora em que alguém faz a pergunta. Os três leem o HTML entregue pelo servidor, e o robots.txt controla os dois primeiros.
“As IAs não enxergam o seu site como um humano enxerga, leem estrutura e semântica. A transição da web visual para a web semântica significa que beleza visual não cita, dado estruturado e entidade clara é que colocam a sua marca na resposta.”
— Alexandre Caramaschi, Chief Strategy Officer da Nuvini (Nasdaq: NVNI), Founder da Brasil GEO, cofundador da NAIA, cofundador da AI Brasil e ex-CMO da Semantix (Nasdaq)
A mesma divisão vale para Anthropic, Google e Perplexity, e ela muda a decisão de quem cuida do site. Bloquear o robô de treino tira as páginas novas dos dados que alimentam modelos futuros; bloquear o robô de busca tira a marca das respostas com link que o assistente monta agora. São escolhas separadas, feitas linha a linha no robots.txt (o arquivo na raiz do domínio que diz a cada robô o que ele pode ler), e quase sempre o interesse comercial está em liberar a busca.
Como funciona o rastreamento generativo?
Resumo comparativo: as IAs não enxergam o site como um humano, e a transição da web visual para a web semântica muda o que efetivamente coloca a marca na resposta.
| Dimensão | Web visual (leitura humana) | Web semântica (leitura da IA) |
|---|---|---|
| O que é valorizado | Beleza visual | Estrutura e semântica |
| Como o conteúdo é consumido | Navegação e indexação de links | Ingestão de densidade informacional |
| Recursos que facilitam a leitura | Layout e design | Markdown, llms.txt e marcação JSON-LD |
| Função do dado estruturado | Secundária | Mapa direcional que elimina ambiguidades |
| O que coloca a marca na resposta | Aparência | Dado estruturado e entidade clara |
A leitura de um site por inteligências artificiais difere da indexação clássica. Agentes e crawlers de ChatGPT, Gemini, Perplexity e Claude buscam densidade informacional, clareza semântica e estruturação lógica. Arquivos em Markdown e o protocolo llms.txt facilitam a ingestão de páginas, e a marcação JSON-LD funciona como mapa direcional que elimina ambiguidades na decodificação.
O processo de leitura de um site por inteligências artificiais difere substancialmente da indexação clássica. Agentes autônomos e crawlers de plataformas como ChatGPT, Gemini, Perplexity e Claude buscam densidade informacional, clareza semântica e estruturação lógica de dados. Arquivos em formato Markdown e a implementação do protocolo llms.txt ganharam tração em 2026 como atalhos diretos para facilitar a ingestão de páginas corporativas e seções de perguntas frequentes por esses modelos. A presença de marcação de dados estruturados, como o JSON-LD, funciona como um mapa direcional que elimina ambiguidades durante a decodificação do texto pela máquina.
A maior parte dessas leituras alimenta o treino dos modelos. Segundo dados da Cloudflare de agosto de 2025, quase 80% do rastreamento feito por bots de IA tinha como finalidade o treinamento de modelos, e ações disparadas por usuários e finalidades não declaradas somavam menos de 5%. O que o crawler lê hoje pode reaparecer numa resposta muito depois, já incorporado ao modelo, e por isso um erro publicado no site tem vida longa.
Essa necessidade de precisão técnica afeta diretamente o posicionamento das marcas no ecossistema digital. Alexandre Caramaschi, fundador da Brasil GEO, Chief Strategy Officer da Nuvini (Nasdaq: NVNI) e ex-CMO da Semantix, aponta que a falta de clareza semântica gera falhas graves de interpretação nos algoritmos. O executivo relata que modelos como o Gemini frequentemente confundem a disciplina de Generative Engine Optimization com inteligência geográfica ou logística quando os sinais digitais da empresa são fracos. Para corrigir essas distorções, as organizações precisam auditar continuamente a forma como expõem suas entidades principais na rede.
Quais robôs de IA leem o seu site e para quê?
Cada empresa publica a lista dos seus robôs e diz o que cada um faz. A tabela abaixo reúne os nomes que aparecem no registro de acesso do servidor (o log, arquivo em que o servidor anota cada pedido de página com data, endereço e identificação do visitante) e o que a documentação oficial de cada empresa diz sobre eles, consultada em 10/10/2026.
| Robô (user-agent) | Empresa | Finalidade | Obedece ao robots.txt? | Documentação |
|---|---|---|---|---|
| GPTBot | OpenAI | Treino: coleta conteúdo que pode treinar modelos futuros | Sim | OpenAI, robôs |
| OAI-SearchBot | OpenAI | Busca: põe o site nas respostas com link da busca do ChatGPT | Sim | OpenAI, robôs |
| ChatGPT-User | OpenAI | Sob demanda: abre a página quando um usuário pergunta ou usa uma ação de GPT | Pode não se aplicar, segundo a OpenAI | OpenAI, robôs |
| ClaudeBot | Anthropic | Treino | Sim, inclusive Crawl-delay | Central de ajuda da Anthropic |
| Claude-SearchBot | Anthropic | Busca: indexa páginas para as respostas do Claude | Sim | Central de ajuda da Anthropic |
| Claude-User | Anthropic | Sob demanda, a partir da pergunta do usuário | Sim | Central de ajuda da Anthropic |
| PerplexityBot | Perplexity | Busca: mostra e cita sites nas respostas; a empresa diz que não o usa para treinar modelos | Sim | Perplexity, robôs |
| Perplexity-User | Perplexity | Sob demanda | Em geral ignora, por ser pedido do usuário | Perplexity, robôs |
| Google-Extended (só token) | Controla o uso do conteúdo no treino do Gemini e no grounding (a consulta ao índice na hora da resposta); não tem robô próprio | Sim; não afeta a Busca do Google | Google Search Central |
Dois detalhes da tabela pesam na prática. O Google-Extended não aparece no log, porque a leitura é feita pelos robôs comuns do Google e o token só registra a preferência do site; a Google afirma que ele não interfere na inclusão nem na posição na Busca. E os robôs sob demanda, que agem a pedido de uma pessoa, podem passar por cima do robots.txt, de modo que o arquivo serve para decidir sobre treino e indexação, e não garante que nenhuma IA jamais abra a página.
Como ver no log ou na Cloudflare quem leu o seu site?
A conferência leva menos de uma hora e responde se os robôs de busca das IAs estão chegando às páginas que importam. O roteiro abaixo serve para quem tem acesso ao servidor ou usa a Cloudflare na frente do site.
- Baixe o log de acesso de 7 a 30 dias. Em hospedagem com cPanel, ele fica em Métricas, Acesso bruto; em servidor próprio, costuma estar em
/var/log/nginx/access.logou no equivalente do Apache. - Filtre pelos nomes da tabela. No terminal,
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot" access.logsepara as linhas; uma planilha com o campo de user-agent faz o mesmo para quem não usa terminal. - Conte por robô e por página. O que interessa é saber se os robôs de busca chegam às páginas de produto, preço e perguntas frequentes, e não só à página inicial.
- Olhe o código de resposta. Muitos 403 (acesso negado) ou 429 (excesso de pedidos) indicam que o firewall ou a CDN estão barrando o robô que você queria liberar.
- Na Cloudflare, abra o AI Crawl Control. O painel agrupa os robôs por empresa e mostra as páginas mais pedidas, com filtros de período, robô e caminho; o total de visitas que voltam das IAs só aparece nos planos pagos, segundo a documentação da Cloudflare (consulta em 10/10/2026).
- Compare com o robots.txt. Se o arquivo libera o OAI-SearchBot e ele não aparece no log, a barreira está em outra camada, como regra de firewall ou página que só monta o texto por JavaScript.
Esse último ponto liga a leitura dos robôs ao desempenho técnico: página lenta ou que depende de script para mostrar o texto chega pela metade ao robô, como detalhamos no artigo sobre como a latência do site afeta a leitura por modelos de linguagem.
O rastreamento também não volta em visitas na mesma proporção. Na primeira semana de agosto de 2025, a Cloudflare mediu que a Anthropic fazia quase 50 mil requisições de rastreamento para cada visita que devolvia aos sites, contra 887 da OpenAI e 118 da Perplexity, de acordo com o blog técnico da empresa. Acompanhar a leitura por motor mostra onde o conteúdo é consumido sem gerar visita e onde a presença volta como tráfego.
Matthew Prince, CEO da Cloudflare, resumiu o que esses números descrevem: cada vez mais o leitor consome derivados, e não o original. Para o site, isso significa ser lido pela IA muito mais vezes do que é visitado, e medir as duas coisas separadamente.
“O motivo é simples: cada vez mais não consumimos originais, consumimos derivados.”
Matthew Prince, cofundador e CEO da Cloudflare, em Content Independence Day: no AI crawl without compensation! (Cloudflare Blog, 01/07/2025) (2025). Tradução livre.
O volume desse rastreamento já se compara ao do buscador tradicional. Segundo o Year in Review 2025 da Cloudflare, bots de IA responderam por 4,2% das requisições HTML observadas na rede da empresa ao longo de 2025, enquanto o Googlebot sozinho respondeu por 4,5% (Cloudflare, 2025). Na soma da rede, robôs de IA já leem a web em volume próximo ao do Google, o que coloca a estrutura exposta a eles no mesmo patamar de prioridade da indexação clássica.
Como a IA valida a reputação de uma marca fora do site oficial?
Os modelos não confiam apenas no conteúdo do domínio oficial: fazem uma triangulação para validar autoridade e veracidade antes de responder. Diretórios B2B como Clutch e G2 fornecem sinais de expertise, e o Reclame Aqui atua como termômetro de confiança no Brasil. Transcrições de vídeos no YouTube e discussões de mercado alimentam o conhecimento em tempo real dos motores generativos.
Os modelos de linguagem não confiam apenas no conteúdo publicado no domínio oficial de uma empresa. Eles realizam uma triangulação de dados para validar a autoridade e a veracidade das informações antes de formular uma resposta ao usuário. Diretórios de software B2B de alta autoridade, como Clutch e G2, fornecem os sinais de validação que as inteligências artificiais utilizam para classificar o nível de expertise de soluções corporativas. No mercado brasileiro, plataformas de defesa do consumidor como o Reclame Aqui atuam como um termômetro direto de confiança, impactando a forma como a IA descreve a reputação de uma marca.
A presença ativa em redes sociais dinâmicas também alimenta o conhecimento em tempo real dos motores generativos. Transcrições de vídeos no YouTube e discussões de mercado no X fornecem o contexto atualizado que os modelos processam para definir o chamado Share of Voice generativo. Uma empresa ausente dessas plataformas perde relevância nas respostas sintetizadas, permitindo que concorrentes ocupem o espaço narrativo. O monitoramento contínuo dessas fontes externas permite a detecção precoce de alucinações de IA, protegendo a imagem institucional contra afirmações falsas geradas por dados desatualizados.
Por isso a conferência do log responde só metade da pergunta. Ela mostra se o robô leu a página; a outra metade é saber se o que ele encontrou fora do site confirma o que a página diz, e isso se descobre fazendo ao assistente as perguntas que o cliente faria e anotando quais fontes aparecem citadas.
O que muda na transição para o Agentic Commerce?
O rastreamento de sites é apenas a primeira fase de uma transformação comercial profunda. O mercado avança para o Agentic Commerce, com transações intermediadas por agentes de IA. Nesse modelo B2A, a clareza com que o site expõe produtos e regras define se a máquina recomendará a solução, exigindo arquitetura de dados otimizada para o consumo algorítmico.
O rastreamento de sites por inteligências artificiais representa apenas a primeira fase de uma transformação comercial profunda. O mercado avança rapidamente para o Agentic Commerce, um cenário onde as transações e decisões de compra são intermediadas diretamente por agentes de IA. Nesse modelo B2A (Business-to-Agent), a clareza com que um site expõe seus produtos, especificações técnicas e regras de negócios define se a máquina recomendará a solução para o consumidor final.
O consumidor brasileiro está mais aberto a esse modelo que o americano. No Global Digital Shopping Index 2026 da Visa Acceptance Solutions, só 12% dos consumidores brasileiros disseram que nunca permitiriam compras autônomas por agentes de IA, contra 31% nos EUA (Visa Acceptance Solutions, 2026). Para marcas que vendem no Brasil, preparar o site para leitura por agentes significa atender um público menos resistente à delegação.
O primeiro passo concreto cabe numa semana. Defina no robots.txt o que fazer com cada robô de treino e libere os de busca; rode o filtro do log para confirmar que OAI-SearchBot, Claude-SearchBot e PerplexityBot chegam às páginas de produto e de preço; e corrija o que aparecer bloqueado ou lento antes de investir em conteúdo novo. Quem quiser acompanhar os testes que publicamos sobre leitura de sites por IA encontra as atualizações no Instagram da Brasil GEO.
Gostou? Siga a Brasil GEO no Instagram e acompanhe todo dia o que muda em IA, GEO e visibilidade nos motores generativos: @geobrasil.ai
Dado de referência: técnicas de Generative Engine Optimization podem aumentar a visibilidade de uma marca nas respostas de mecanismos generativos em até 40% (Aggarwal et al., GEO: Generative Engine Optimization, Princeton University, KDD 2024).
Leitura essencial sobre o tema no blog: 5 ferramentas essenciais para monitorar sua visibilidade em IAs generativas.
Leitura essencial sobre o tema no blog: Linguagem Natural e GEO: Como escrever conteúdos que as IAs amam citar..
