Cette page couvre les robots d'Anthropic (explorateurs et récupérateurs). Pour les navigateurs hébergés par Anthropic qu'utilise Claude pour accomplir des tâches pour les utilisateurs, notamment dans Claude Duet (Claude-Agent), consultez Comment les navigateurs hébergés par Anthropic s'identifient-ils lorsqu'ils naviguent sur le web au nom d'un utilisateur ?
Bloquer ou limiter les bots d'Anthropic
Conformément aux normes de l'industrie, Anthropic utilise une variété de robots pour collecter des données du web public pour le développement de modèles, pour rechercher le web et pour récupérer du contenu web à la demande des utilisateurs. Anthropic utilise différents robots pour assurer la transparence et le choix des propriétaires de sites. Voici des informations sur les trois robots qu'Anthropic utilise et comment configurer vos préférences de site pour permettre à ceux que vous souhaitez d'accéder à votre contenu et limiter ceux que vous ne souhaitez pas.
Bot | Utilisation | Ce qui se passe lorsque vous le désactivez |
|
| Lorsqu'un site restreint l'accès à |
|
|
|
|
| La désactivation de |
Dans le cadre de notre mission de construire des systèmes frontières sûrs et fiables et d'avancer dans le domaine du développement responsable de l'IA, nous partageons les principes selon lesquels nous collectons les données ainsi que les instructions sur la façon de refuser notre exploration à l'avenir :
Notre collecte de données doit être transparente. Anthropic utilise les Bots décrits ci-dessus pour accéder au contenu web.
Notre exploration ne doit pas être intrusive ou perturbatrice. Nous visons une perturbation minimale en étant réfléchis sur la rapidité avec laquelle nous explorons les mêmes domaines et en respectant le délai d'exploration le cas échéant.
Les Bots d'Anthropic respectent les signaux « ne pas explorer » en honorant les directives standard de l'industrie dans robots.txt.
Les Bots d'Anthropic respectent les technologies anti-contournement (par exemple, nous ne tenterons pas de contourner les CAPTCHA pour les sites que nous explorons.)
Pour limiter l'activité d'exploration, nous prenons en charge l'extension non standard Crawl-delay pour robots.txt. Un exemple de ceci pourrait être :
User-agent: ClaudeBot
Crawl-delay: 1
Pour bloquer un Bot de votre site web entier, ajoutez ceci au fichier robots.txt dans votre répertoire de niveau supérieur. Veuillez le faire pour chaque sous-domaine dont vous souhaitez refuser l'accès. Un exemple de ceci est :
User-agent: ClaudeBot
Disallow: /
Refuser d'être exploré par les Bots d'Anthropic nécessite de modifier le fichier robots.txt de la manière décrite ci-dessus. Les méthodes alternatives comme le blocage de l'adresse IP (des adresses IP) à partir de laquelle les Bots d'Anthropic opèrent peuvent ne pas fonctionner correctement ou garantir de manière persistante un refus, car cela entrave notre capacité à lire votre fichier robots.txt. Si un explorateur a une adresse IP source sur cette liste, cela indique que l'explorateur provient d'Anthropic.
Comment Anthropic honore les préférences des sites web pour l'entraînement de l'IA
À partir du 30 octobre 2026, Anthropic a commencé à reconnaître un signal lisible par machine qui permet aux propriétaires de sites web d'exprimer une préférence quant à savoir si leur contenu peut être utilisé pour entraîner des modèles d'IA.
Cette annonce est un engagement continu à respecter robot.txt où ClaudeBot est explicitement nommé. Nous confirmons maintenant que nous honorerons un nouveau signal de préférence qui permet aux propriétaires de sites web de dire « pas d'entraînement d'IA ».
Nous déployons cela dans tous nos services au fil du temps et mondialement, et fournirons des mises à jour sur nos progrès.
Le signal suit un brouillon basé sur le travail effectué par l'IETF, le groupe qui établit de nombreuses normes techniques d'Internet, dans son groupe de travail aipref. Parce que les normes dans ce domaine évoluent encore, la façon dont nous lisons et appliquons ces paramètres peut également changer.
Comment les règles de ClaudeBot prennent priorité
ClaudeBot est notre explorateur d'entraînement, et nous traitons les règles qui le nomment directement comme plus spécifiques que le signal général. En pratique, pour un chemin donné :
Si votre fichier robots.txt nomme ClaudeBot, nous suivons cette règle, même si votre paramètre général dit quelque chose de différent.
Si votre fichier robots.txt ne mentionne pas ClaudeBot, nous suivons le paramètre général décrit ci-dessus.
Vous pouvez en savoir plus sur nos pratiques de traitement des données dans notre collection Confidentialité et informations juridiques. Si vous avez des questions ou si vous pensez que nos explorateurs ne fonctionnent pas comme décrit, contactez [email protected] à partir d'un e-mail qui inclut le domaine dont vous posez la question.
Vous pouvez être notifié des changements substantiels à cet article en cliquant ici et en remplissant le formulaire :