Sesuai dengan standar industri, Anthropic menggunakan berbagai robot untuk mengumpulkan data dari web publik untuk pengembangan model, untuk mencari web, dan untuk mengambil konten web sesuai arahan pengguna. Anthropic menggunakan robot yang berbeda untuk memungkinkan transparansi dan pilihan pemilik situs web. Di bawah ini adalah informasi tentang tiga robot yang Anthropic gunakan dan cara mengatur preferensi situs Anda untuk memungkinkan akses yang Anda inginkan dan membatasi akses yang tidak Anda inginkan.
Bot | Penggunaan | Apa yang terjadi ketika Anda menonaktifkannya |
ClaudeBot | ClaudeBot membantu meningkatkan utilitas dan keamanan model AI generatif kami dengan mengumpulkan konten web yang berpotensi berkontribusi pada pelatihan mereka. | Ketika situs membatasi akses ClaudeBot, ini menandakan bahwa materi situs di masa depan harus dikecualikan dari dataset pelatihan model AI kami. |
Claude-User | Claude-User mendukung pengguna Claude AI. Ketika individu mengajukan pertanyaan kepada Claude, sistem mungkin mengakses situs web menggunakan agen Claude-User. | Claude-User memungkinkan pemilik situs untuk mengontrol situs mana yang dapat diakses melalui permintaan yang dimulai pengguna ini. Menonaktifkan Claude-User di situs Anda mencegah sistem kami mengambil konten Anda sebagai respons terhadap kueri pengguna, yang mungkin mengurangi visibilitas situs Anda untuk pencarian web yang diarahkan pengguna. |
Claude-SearchBot | Claude-SearchBot menavigasi web untuk meningkatkan kualitas hasil pencarian bagi pengguna. Sistem ini menganalisis konten online secara khusus untuk meningkatkan relevansi dan akurasi respons pencarian. | Menonaktifkan Claude-SearchBot di situs Anda mencegah sistem kami mengindeks konten Anda untuk optimasi pencarian, yang mungkin mengurangi visibilitas situs Anda dan akurasi dalam hasil pencarian pengguna. |
Sebagai bagian dari misi kami untuk membangun sistem frontier yang aman dan andal serta memajukan bidang pengembangan AI yang bertanggung jawab, kami berbagi prinsip-prinsip yang kami gunakan untuk mengumpulkan data serta instruksi tentang cara menolak crawling kami ke depannya:
Pengumpulan data kami harus transparan. Anthropic menggunakan Bot yang dijelaskan di atas untuk mengakses konten web.
Crawling kami tidak boleh mengganggu atau merusak. Kami bertujuan untuk gangguan minimal dengan berpikir matang tentang seberapa cepat kami melakukan crawl pada domain yang sama dan menghormati Crawl-delay jika sesuai.
Bot Anthropic menghormati sinyal "jangan crawl" dengan mematuhi direktif standar industri dalam robots.txt.
Bot Anthropic menghormati teknologi anti-circumvention (misalnya, kami tidak akan mencoba melewati CAPTCHA untuk situs yang kami crawl.)
Untuk membatasi aktivitas crawling, kami mendukung ekstensi Crawl-delay non-standar ke robots.txt. Contoh ini mungkin terlihat seperti:
User-agent: ClaudeBot
Crawl-delay: 1
Untuk memblokir Bot dari seluruh situs web Anda, tambahkan ini ke file robots.txt di direktori tingkat atas Anda. Harap lakukan ini untuk setiap subdomain yang ingin Anda tolak. Contohnya adalah:
User-agent: ClaudeBot
Disallow: /
Menolak untuk di-crawl oleh Bot Anthropic memerlukan modifikasi file robots.txt dengan cara di atas. Metode alternatif seperti memblokir alamat IP dari mana Bot Anthropic beroperasi mungkin tidak berfungsi dengan benar atau tidak secara konsisten menjamin penolakan, karena hal ini menghambat kemampuan kami untuk membaca file robots.txt Anda. Selain itu, kami saat ini tidak menerbitkan rentang IP, karena kami menggunakan IP publik penyedia layanan. Ini mungkin berubah di masa depan.
Anda dapat mempelajari lebih lanjut tentang praktik penanganan data dan komitmen kami di Pusat Bantuan kami. Jika Anda memiliki pertanyaan lebih lanjut, atau percaya bahwa Bot kami mungkin tidak berfungsi, silakan hubungi [email protected]. Silakan hubungi kami dari email yang menyertakan domain yang Anda hubungi, karena jika tidak, sulit untuk memverifikasi laporan.