На этой странице описаны роботы Anthropic (краулеры и фетчеры). Информацию о браузерах, размещённых на серверах Anthropic, которые Claude использует для выполнения задач пользователей, включая Claude Duet (Claude-Agent), см. в разделе Как браузеры, размещённые на серверах Anthropic, идентифицируют себя при просмотре веб-сети от имени пользователя?
Блокировка или ограничение ботов Anthropic
В соответствии с отраслевыми стандартами Anthropic использует различные роботы для сбора данных из открытой веб-сети в целях разработки моделей, поиска в веб-сети и получения веб-контента по указанию пользователей. Anthropic использует разные роботы для обеспечения прозрачности и выбора владельцев сайтов. Ниже приведена информация о трёх роботах, которые использует Anthropic, и о том, как установить предпочтения вашего сайта, чтобы разрешить доступ тем, которые вы хотите, и ограничить доступ тем, которые вы не хотите.
Бот | Использование | Что происходит при его отключении |
|
| Когда сайт ограничивает доступ |
|
|
|
|
| Отключение |
В рамках нашей миссии по созданию безопасных и надёжных передовых систем и развитию области ответственной разработки ИИ мы делимся принципами, по которым мы собираем данные, а также инструкциями по отказу от нашего краулинга в будущем:
Сбор данных должен быть прозрачным. Anthropic использует описанные выше боты для доступа к веб-контенту.
Наш краулинг не должен быть навязчивым или разрушительным. Мы стремимся к минимальному нарушению, тщательно подходя к скорости краулинга одних и тех же доменов и соблюдая Crawl-delay, где это уместно.
Боты Anthropic соблюдают сигналы «не краулить», следуя отраслевым стандартным директивам в robots.txt.
Боты Anthropic соблюдают технологии защиты от обхода (например, мы не будем пытаться обойти CAPTCHA для сайтов, которые мы краулим.)
Для ограничения активности краулинга мы поддерживаем нестандартное расширение Crawl-delay для robots.txt. Пример этого может быть:
User-agent: ClaudeBot
Crawl-delay: 1
Чтобы заблокировать бота на всём вашем веб-сайте, добавьте это в файл robots.txt в вашей корневой директории. Пожалуйста, сделайте это для каждого поддомена, от которого вы хотите отказаться. Пример этого:
User-agent: ClaudeBot
Disallow: /
Отказ от краулинга ботами Anthropic требует изменения файла robots.txt описанным выше способом. Альтернативные методы, такие как блокировка IP-адреса(ов), с которых работают боты Anthropic, могут работать неправильно или не гарантировать постоянный отказ, так как это препятствует нашей способности читать ваш файл robots.txt. Если краулер имеет исходный IP-адрес из этого списка, это указывает на то, что краулер поступает от Anthropic.
Как Anthropic соблюдает предпочтения веб-сайтов для обучения ИИ
Начиная с 30 октября 2026 года, Anthropic начала распознавать машиночитаемый сигнал, который позволяет владельцам веб-сайтов выразить предпочтение относительно того, может ли их контент использоваться для обучения моделей ИИ.
Это объявление является продолжением нашего обязательства соблюдать robots.txt, где ClaudeBot явно назван. Теперь мы подтверждаем, что будем соблюдать новый сигнал предпочтения, который позволяет владельцам веб-сайтов сказать «нет обучению ИИ».
Мы постепенно внедряем это во все наши сервисы и глобально, и будем предоставлять обновления о нашем прогрессе.
Сигнал следует черновику, основанному на работе, проделанной IETF, группой, которая устанавливает многие технические стандарты интернета, в её рабочей группе aipref. Поскольку стандарты в этой области всё ещё развиваются, способ, которым мы читаем и применяем эти параметры, также может измениться.
Как правила ClaudeBot имеют приоритет
ClaudeBot — это наш краулер для обучения, и мы рассматриваем правила, которые его прямо называют, как более специфичные, чем общий сигнал. На практике для данного пути:
Если ваш файл robots.txt называет ClaudeBot, мы следуем этому правилу, даже если ваш общий параметр говорит что-то другое.
Если ваш файл robots.txt не упоминает ClaudeBot, мы следуем общему параметру, описанному выше.
Вы можете узнать больше о наших практиках обработки данных в нашей коллекции Конфиденциальность и правовая информация. Если у вас есть вопросы или вы считаете, что наши краулеры работают не так, как описано, свяжитесь с нами по адресу [email protected] с адреса электронной почты, который включает домен, о котором вы спрашиваете.
Вы можете получать уведомления о существенных изменениях в этой статье, нажав здесь и заполнив форму:
