Halaman ini mencakup robot Anthropic (crawler dan fetcher). Untuk browser yang dihosting oleh Anthropic yang digunakan Claude untuk menyelesaikan tugas bagi pengguna, termasuk di Claude Duet (Claude-Agent), lihat Bagaimana browser yang dihosting Anthropic mengidentifikasi diri mereka saat menjelajahi web atas nama pengguna?
Blokir atau batasi bot Anthropic
Sesuai standar industri, Anthropic menggunakan berbagai robot untuk mengumpulkan data dari web publik untuk pengembangan model, untuk mencari web, dan untuk mengambil konten web sesuai arahan pengguna. Anthropic menggunakan robot yang berbeda untuk memungkinkan transparansi dan pilihan pemilik situs. Di bawah ini adalah informasi tentang tiga robot yang digunakan Anthropic dan cara mengatur preferensi situs Anda untuk memungkinkan akses yang Anda inginkan dan membatasi yang tidak Anda inginkan.
Bot | Penggunaan | Apa yang terjadi saat Anda menonaktifkannya |
|
| Ketika situs membatasi akses |
|
|
|
|
| Menonaktifkan |
Sebagai bagian dari misi kami untuk membangun sistem perbatasan yang aman dan andal serta memajukan bidang pengembangan AI yang bertanggung jawab, kami berbagi prinsip-prinsip yang kami gunakan untuk mengumpulkan data serta instruksi tentang cara menolak crawling kami ke depannya:
Pengumpulan data kami harus transparan. Anthropic menggunakan Bot yang dijelaskan di atas untuk mengakses konten web.
Crawling kami tidak boleh mengganggu atau merusak. Kami bertujuan untuk gangguan minimal dengan berpikir matang tentang seberapa cepat kami merayapi domain yang sama dan menghormati Crawl-delay jika sesuai.
Bot Anthropic menghormati sinyal "jangan crawl" dengan menghormati direktif standar industri di robots.txt.
Bot Anthropic menghormati teknologi anti-circumvention (misalnya, kami tidak akan mencoba melewati CAPTCHA untuk situs yang kami crawl.)
Untuk membatasi aktivitas crawling, kami mendukung ekstensi Crawl-delay non-standar ke robots.txt. Contoh ini mungkin:
User-agent: ClaudeBot
Crawl-delay: 1
Untuk memblokir Bot dari seluruh situs web Anda, tambahkan ini ke file robots.txt di direktori tingkat atas Anda. Harap lakukan ini untuk setiap subdomain yang ingin Anda tolak. Contohnya adalah:
User-agent: ClaudeBot
Disallow: /
Menolak untuk dicrawl oleh Bot Anthropic memerlukan modifikasi file robots.txt dengan cara di atas. Metode alternatif seperti memblokir alamat IP dari mana Bot Anthropic beroperasi mungkin tidak berfungsi dengan benar atau secara konsisten menjamin penolakan, karena hal ini menghambat kemampuan kami untuk membaca file robots.txt Anda. Jika crawler memiliki alamat IP sumber di daftar ini, ini menunjukkan bahwa crawler berasal dari Anthropic.
Bagaimana Anthropic menghormati preferensi situs untuk pelatihan AI
Mulai 30 Oktober 2026, Anthropic telah mulai mengenali sinyal yang dapat dibaca mesin yang memungkinkan pemilik situs mengekspresikan preferensi tentang apakah konten mereka dapat digunakan untuk melatih model AI.
Pengumuman ini adalah komitmen berkelanjutan untuk menghormati robot.txt di mana ClaudeBot secara eksplisit dinamai. Kami sekarang mengkonfirmasi bahwa kami akan menghormati sinyal preferensi baru yang memungkinkan pemilik situs mengatakan "tidak untuk pelatihan AI".
Kami meluncurkan ini di semua layanan kami seiring waktu dan secara global, dan akan memberikan pembaruan tentang kemajuan kami.
Sinyal mengikuti draf berdasarkan pekerjaan yang dilakukan oleh IETF, kelompok yang menetapkan banyak standar teknis internet, dalam kelompok kerja aipref-nya. Karena standar di ruang ini masih berkembang, cara kami membaca dan menerapkan pengaturan ini juga dapat berubah.
Bagaimana aturan ClaudeBot mengambil prioritas
ClaudeBot adalah crawler pelatihan kami, dan kami memperlakukan aturan yang menamakannya secara langsung sebagai lebih spesifik daripada sinyal umum. Dalam praktiknya, untuk jalur tertentu:
Jika file robots.txt Anda menamai ClaudeBot, kami mengikuti aturan itu, bahkan jika pengaturan umum Anda mengatakan sesuatu yang berbeda.
Jika file robots.txt Anda tidak menyebutkan ClaudeBot, kami mengikuti pengaturan umum yang dijelaskan di atas.
Anda dapat mempelajari lebih lanjut tentang praktik penanganan data kami di koleksi Privasi dan hukum kami. Jika Anda memiliki pertanyaan, atau percaya crawler kami tidak berfungsi seperti yang dijelaskan, hubungi [email protected] dari email yang menyertakan domain yang Anda tanyakan.
Anda dapat diberitahu tentang perubahan substansial pada artikel ini dengan mengklik di sini dan menyelesaikan formulir:
