Anthropicはウェブからデータをクロールしていますか？また、サイト所有者はクローラーをブロックできますか？

このページでは、Anthropicのロボット（クローラーとフェッチャー）について説明しています。ClaudeがClaude-Agentを含むClaude Duetでユーザーのタスク完了に使用するAnthropicがホストするブラウザについては、Anthropicがホストするブラウザはユーザーに代わってウェブを閲覧する際、どのように自分自身を識別しますか？を参照してください。

業界標準に従い、Anthropicはモデル開発のためにパブリックウェブからデータを収集し、ウェブを検索し、ユーザーの指示に従ってウェブコンテンツを取得するために、さまざまなロボットを使用しています。Anthropicは、ウェブサイト所有者の透明性と選択肢を実現するために、異なるロボットを使用しています。以下は、Anthropicが使用する3つのロボットに関する情報と、アクセスを許可するロボットと制限するロボットを設定する方法です。

安全で信頼性の高いフロンティアシステムを構築し、責任あるAI開発の分野を進める使命の一環として、データ収集の原則と今後のクローリングからのオプトアウト方法に関する指示を共有しています。

クローリング活動を制限するために、robots.txtへの非標準クロール遅延拡張をサポートしています。例えば、以下のようなものです。

ボットをウェブサイト全体からブロックするには、トップレベルディレクトリのrobots.txtファイルに以下を追加してください。オプトアウトしたいすべてのサブドメインについてこれを実行してください。例は以下の通りです。

Anthropicボットによるクローリングからのオプトアウトには、上記の方法でrobots.txtファイルを変更する必要があります。Anthropicボットが動作するIPアドレスをブロックするなどの代替方法は、robots.txtファイルを読み取る能力を妨げるため、正しく機能しない場合や、オプトアウトを確実に保証しない場合があります。クローラーのソースIPアドレスがこのリストにある場合、クローラーがAnthropicから来ていることを示しています。

2026年10月30日現在、Anthropicはウェブサイト所有者がそのコンテンツをAIモデルのトレーニングに使用できるかどうかについての設定を表現できるマシン可読シグナルの認識を開始しました。

このお知らせは、ClaudeBotが明示的に名前が付けられているrobot.txtを尊重するという継続的なコミットメントです。ウェブサイト所有者が「AIトレーニングなし」と言うことができる新しい設定シグナルを尊重することを確認しています。

すべてのサービスにわたって時間をかけてグローバルにこれをロールアウトしており、進捗状況について更新を提供します。

このシグナルは、インターネットの多くの技術標準を設定するグループであるIETFのaiprefワーキンググループで行われた作業に基づくドラフトに従っています。この分野の標準はまだ進化しているため、これらの設定を読み取り、適用する方法も変わる可能性があります。

ClaudeBottはトレーニングクローラーであり、それを直接名前で指定する規則を一般的なシグナルより具体的なものとして扱います。実際には、特定のパスについて：

データ処理慣行の詳細については、プライバシーと法律コレクションで詳しく知ることができます。ご質問がある場合、またはクローラーが説明通りに機能していないと思われる場合は、お客様のドメインを含むメールアドレスから[email protected]にお問い合わせください。