De acordo com o padrão da indústria, a Anthropic usa uma variedade de robôs para coletar dados da web pública para desenvolvimento de modelos, para pesquisar a web e para recuperar conteúdo da web conforme direcionado pelos usuários. A Anthropic usa diferentes robôs para permitir transparência e escolha dos proprietários de sites. Abaixo está informação sobre os três robôs que a Anthropic usa e como definir suas preferências de site para permitir aqueles que você deseja que acessem seu conteúdo e limitar aqueles que você não deseja.
Robô | Uso | O que acontece quando você o desativa |
ClaudeBot | O ClaudeBot ajuda a melhorar a utilidade e segurança de nossos modelos de IA generativa coletando conteúdo da web que poderia potencialmente contribuir para seu treinamento. | Quando um site restringe o acesso do ClaudeBot, isso sinaliza que os materiais futuros do site devem ser excluídos de nossos conjuntos de dados de treinamento de modelos de IA. |
Claude-User | Claude-User oferece suporte aos usuários do Claude AI. Quando indivíduos fazem perguntas ao Claude, ele pode acessar sites usando um agente Claude-User. | Claude-User permite que proprietários de sites controlem quais sites podem ser acessados por meio dessas solicitações iniciadas pelo usuário. Desativar Claude-User em seu site impede que nosso sistema recupere seu conteúdo em resposta a uma consulta do usuário, o que pode reduzir a visibilidade do seu site para pesquisa na web direcionada pelo usuário. |
Claude-SearchBot | Claude-SearchBot navega pela web para melhorar a qualidade dos resultados de pesquisa para os usuários. Ele analisa conteúdo online especificamente para aprimorar a relevância e precisão das respostas de pesquisa. | Desativar Claude-SearchBot em seu site impede que nosso sistema indexe seu conteúdo para otimização de pesquisa, o que pode reduzir a visibilidade e precisão do seu site nos resultados de pesquisa do usuário. |
Como parte de nossa missão de construir sistemas de fronteira seguros e confiáveis e avançar no campo do desenvolvimento responsável de IA, estamos compartilhando os princípios pelos quais coletamos dados, bem como instruções sobre como optar por não participar de nosso rastreamento no futuro:
Nossa coleta de dados deve ser transparente. A Anthropic usa os Robôs descritos acima para acessar conteúdo da web.
Nosso rastreamento não deve ser intrusivo ou disruptivo. Buscamos mínima disrupção sendo cuidadosos sobre a rapidez com que rastreamos os mesmos domínios e respeitando Crawl-delay quando apropriado.
Os Robôs da Anthropic respeitam sinais de "não rastrear" honrando diretivas padrão da indústria em robots.txt.
Os Robôs da Anthropic respeitam tecnologias anti-contorno (por exemplo, não tentaremos contornar CAPTCHAs nos sites que rastreamos.)
Para limitar a atividade de rastreamento, oferecemos suporte à extensão não padrão Crawl-delay para robots.txt. Um exemplo disso pode ser:
User-agent: ClaudeBot
Crawl-delay: 1
Para bloquear um Robô de todo o seu site, adicione isto ao arquivo robots.txt em seu diretório de nível superior. Faça isso para cada subdomínio do qual você deseja optar por não participar. Um exemplo disso é:
User-agent: ClaudeBot
Disallow: /
Optar por não ser rastreado pelos Robôs da Anthropic requer modificar o arquivo robots.txt da maneira acima. Métodos alternativos como bloquear endereço(s) IP de onde os Robôs da Anthropic operam podem não funcionar corretamente ou garantir persistentemente uma exclusão, pois isso prejudica nossa capacidade de ler seu arquivo robots.txt. Se um rastreador tiver um endereço IP de origem em esta lista, isso indica que o rastreador vem da Anthropic.
Você pode aprender mais sobre nossas práticas de tratamento de dados e compromissos em nosso Centro de Ajuda. Se você tiver outras dúvidas ou acreditar que nossos Robôs possam estar com mau funcionamento, entre em contato com [email protected]. Entre em contato a partir de um email que inclua o domínio sobre o qual você está nos contatando, pois caso contrário é difícil verificar relatórios.
Você pode ser notificado sobre mudanças substanciais neste artigo clicando aqui e preenchendo o formulário: