Como saber se os robôs de IA visitam o seu site

Tutoriais AEO medição robots.txt

Randal Maia, fundador da Phame 18 de julho de 2026 4 min

Resumo

Você olha os registros de acesso do servidor (os logs) e procura pelo nome dos robôs de IA no campo User-Agent. Os principais são GPTBot e OAI-SearchBot (OpenAI), ClaudeBot e Claude-SearchBot (Anthropic) e PerplexityBot (Perplexity). Se eles aparecem nos logs, a IA está conseguindo ler as suas páginas. Se não aparecem, cheque se o seu robots.txt não está bloqueando eles. Um aviso honesto: o Gemini coleta com o Googlebot comum, então não dá para separar 'visita do Gemini' de visita normal do Google pelo User-Agent. A Phame é transparente sobre esse limite e não promete o que a técnica não entrega.

Por que olhar quem visita o meu site importa para a IA?

Antes de a IA citar você, ela precisa ler você. Simples assim.

O ChatGPT, a Claude e a Perplexity mandam robôs (programas automáticos) para varrer a web e coletar o conteúdo das páginas. Se o robô consegue entrar no seu site, o seu conteúdo entra na conta da IA. Se o robô esbarra num bloqueio, você fica de fora, por melhor que seja o seu site.

Então checar se esses robôs visitam você é o exame de base. É o jeito de saber se a porta está aberta antes de reclamar que ninguém te cita.

Quais são os robôs de IA que eu procuro?

Cada IA assina a visita com um nome no campo User-Agent do acesso. Estes são os que importam hoje.

Da OpenAI (ChatGPT): GPTBot coleta conteúdo para treino, ChatGPT-User acessa uma página quando o usuário pede algo na conversa, e OAI-SearchBot indexa páginas para a busca do ChatGPT.

Da Anthropic (Claude): ClaudeBot faz a coleta principal, Claude-User acessa a pedido do usuário e Claude-SearchBot indexa para a busca. Nomes antigos como anthropic-ai e Claude-Web ainda podem aparecer.

Da Perplexity: PerplexityBot indexa as páginas e Perplexity-User acessa quando o usuário pede.

Do Google: Googlebot faz a coleta que alimenta a busca e também o Gemini. Guarde este ponto, porque ele muda tudo na próxima seção.

Onde eu vejo essas visitas?

Nos logs de acesso do servidor, o registro de tudo que bate no seu site.

Se o site está em hospedagem compartilhada, procure no painel por "logs de acesso" ou "estatísticas". Em servidor próprio, o arquivo costuma se chamar access.log. Em plataformas como a Vercel, os logs ficam no painel do projeto. Abra o registro e busque pelos nomes da seção anterior. Cada linha com PerplexityBot ou GPTBot, por exemplo, é uma visita real daquela IA.

Se você não sabe onde ficam os logs, peça ao seu desenvolvedor ou ao suporte da hospedagem. É um pedido simples e comum.

Por que o Gemini é quase invisível nessa conta?

Aqui vem a parte honesta, que quase ninguém conta.

O Google não usa um robô separado para o Gemini. A coleta que alimenta as respostas do Gemini é feita pelo Googlebot, o mesmo robô da busca de sempre. Existe o Google-Extended, mas ele não é um robô com nome próprio nos logs: é apenas um controle no robots.txt que diz ao Google se ele pode ou não usar o seu conteúdo em IA generativa.

Na prática, isso significa que você não consegue separar "visita do Gemini" de "visita normal do Google" só pelo User-Agent. Qualquer ferramenta que promete medir a visita do Gemini com precisão está exagerando. A leitura honesta é: você mede bem ChatGPT, Claude e Perplexity, e assume que o Google (e o Gemini junto) lê você quando o Googlebot aparece nos logs.

O robô não aparece nos meus logs. O que faço?

Primeiro, verifique se você não está barrando ele sem querer.

Abra o seu robots.txt (fica em seudominio.com.br/robots.txt) e procure por regras que bloqueiam esses robôs. Uma linha como User-agent: GPTBot seguida de Disallow: / fecha a porta para o ChatGPT. Se o seu objetivo é aparecer na IA, remova esses bloqueios. Confira também se o site não exige login para ver o conteúdo e se não há firewall barrando robôs por engano.

Depois de liberar, dê tempo. Os robôs passam em ritmo próprio, e pode levar dias ou semanas até a próxima visita. Volte aos logs depois de um tempo e cheque de novo.

A Phame monitora essas visitas e o estado do robots.txt sem parar, e é honesta sobre o limite do Gemini, em vez de vender um número que a técnica não permite medir.

Perguntas frequentes

Onde encontro os logs de acesso do meu site?

Depende da hospedagem. Em hospedagem compartilhada, procure por "logs de acesso" no painel. Em servidor próprio, ficam em arquivos como access.log. Na Vercel, no painel do projeto. Se não achar, peça ao suporte da hospedagem.

O robô da IA aparecer no log significa que vou ser citado?

Não, é só o primeiro passo. Ser lido é condição para ser citado, mas a IA lê milhões de páginas e cita poucas. Depois de confirmar a visita, o trabalho é deixar o conteúdo claro e confiável.

Devo bloquear os robôs de IA no robots.txt?

Se você quer aparecer nas respostas de IA, não bloqueie. Bloquear GPTBot ou ClaudeBot é pedir para sumir das respostas dessas IAs.

Por que não consigo medir a visita do Gemini direito?

Porque o Google não usa um robô separado para o Gemini: a coleta é feita pelo Googlebot. O Google-Extended é só um controle no robots.txt, não um robô com nome próprio nos logs.

Fontes

• Overview of OpenAI crawlers (OpenAI Platform)

  A OpenAI usa GPTBot (treino), ChatGPT-User (ações a pedido do usuário) e OAI-SearchBot (indexação para busca)

• Does Anthropic crawl data from the web? (Anthropic Support)

  A Anthropic usa ClaudeBot para coleta e permite que donos de site controlem o acesso pelo robots.txt

• Perplexity Crawlers (documentação oficial)

  A Perplexity usa o PerplexityBot para indexar e o Perplexity-User para acessos a pedido do usuário

• Google-Extended (Google Search Central)

  Google-Extended é um controle de robots.txt para uso em IA generativa, não um crawler com User-Agent próprio; a coleta é feita pelo Googlebot

Prefere que a Phame meça por você?

A gente mede toda semana e executa o que falta pra você aparecer.