Esta página aborda os robôs da Anthropic (rastreadores e buscadores). Para navegadores hospedados pela Anthropic que Claude usa para concluir tarefas para usuários, incluindo no Claude Duet (Claude-Agent), consulte Como os navegadores hospedados pela Anthropic se identificam quando navegam na web em nome de um usuário?
Bloquear ou limitar os bots da Anthropic
De acordo com o padrão da indústria, a Anthropic usa uma variedade de robôs para coletar dados da web pública para desenvolvimento de modelos, para pesquisar a web e para recuperar conteúdo da web por direção dos usuários. A Anthropic usa diferentes robôs para permitir transparência e escolha do proprietário do site. Abaixo está informação sobre os três robôs que a Anthropic usa e como definir suas preferências de site para permitir aqueles que você deseja que acessem seu conteúdo e limitar aqueles que você não deseja.
Bot | Uso | O que acontece quando você o desativa |
|
| Quando um site restringe o acesso de |
|
|
|
|
| Desativar |
Como parte de nossa missão de construir sistemas de fronteira seguros e confiáveis e avançar o campo do desenvolvimento responsável de IA, estamos compartilhando os princípios pelos quais coletamos dados, bem como instruções sobre como optar por não participar de nosso rastreamento no futuro:
Nossa coleta de dados deve ser transparente. A Anthropic usa os Bots descritos acima para acessar conteúdo da web.
Nosso rastreamento não deve ser intrusivo ou disruptivo. Buscamos mínima disrupção sendo cuidadosos sobre a rapidez com que rastreamos os mesmos domínios e respeitando Crawl-delay quando apropriado.
Os Bots da Anthropic respeitam sinais "não rastreie" honrando diretivas padrão da indústria em robots.txt.
Os Bots da Anthropic respeitam tecnologias anti-contorno (por exemplo, não tentaremos contornar CAPTCHAs para os sites que rastreamos.)
Para limitar a atividade de rastreamento, suportamos a extensão não padrão Crawl-delay para robots.txt. Um exemplo disso pode ser:
User-agent: ClaudeBot
Crawl-delay: 1
Para bloquear um Bot de todo o seu site, adicione isto ao arquivo robots.txt em seu diretório de nível superior. Por favor, faça isto para cada subdomínio do qual você deseja optar por não participar. Um exemplo disso é:
User-agent: ClaudeBot
Disallow: /
Optar por não ser rastreado pelos Bots da Anthropic requer modificar o arquivo robots.txt da maneira acima. Métodos alternativos como bloquear endereço(s) IP do(s) qual(is) os Bots da Anthropic operam podem não funcionar corretamente ou garantir persistentemente uma exclusão, pois fazer isso prejudica nossa capacidade de ler seu arquivo robots.txt. Se um rastreador tiver um endereço IP de origem em esta lista, isso indica que o rastreador vem da Anthropic.
Como a Anthropic honra as preferências do site para treinamento de IA
A partir de 30 de outubro de 2026, a Anthropic começou a reconhecer um sinal legível por máquina que permite que proprietários de sites expressem uma preferência sobre se seu conteúdo pode ser usado para treinar modelos de IA.
Este anúncio é um compromisso contínuo de respeitar robot.txt onde ClaudeBot é explicitamente nomeado. Agora estamos confirmando que honraremos um novo sinal de preferência que permite que proprietários de sites digam "sem treinamento de IA".
Estamos implementando isso em todos os nossos serviços ao longo do tempo e globalmente, e forneceremos atualizações sobre nosso progresso.
O sinal segue um rascunho baseado em trabalho realizado pelo IETF, o grupo que define muitos dos padrões técnicos da internet, em seu grupo de trabalho aipref. Como os padrões neste espaço ainda estão evoluindo, a forma como lemos e aplicamos essas configurações também pode mudar.
Como as regras de ClaudeBot têm prioridade
ClaudeBot é nosso rastreador de treinamento, e tratamos regras que o nomeiam diretamente como mais específicas do que o sinal geral. Na prática, para um determinado caminho:
Se seu arquivo robots.txt nomeia ClaudeBot, seguimos essa regra, mesmo que sua configuração geral diga algo diferente.
Se seu arquivo robots.txt não menciona ClaudeBot, seguimos a configuração geral descrita acima.
Você pode aprender mais sobre nossas práticas de tratamento de dados em nossa coleção Privacidade e legal. Se você tiver dúvidas ou acreditar que nossos rastreadores não estão funcionando conforme descrito, entre em contato com [email protected] a partir de um email que inclua o domínio sobre o qual você está perguntando.
Você pode ser notificado de mudanças substanciais neste artigo clicando aqui e preenchendo o formulário:
