Anthropic이 웹에서 데이터를 크롤링하나요? 사이트 소유자는 크롤러를 어떻게 차단할 수 있나요?

이 페이지는 Anthropic의 로봇(크롤러 및 페처)을 다룹니다. Claude가 사용자를 위한 작업을 완료하기 위해 사용하는 Anthropic이 호스팅하는 브라우저(Claude Duet의 Claude-Agent 포함)에 대해서는 Anthropic이 호스팅하는 브라우저가 사용자를 대신하여 웹을 탐색할 때 자신을 어떻게 식별하나요?를 참조하세요.

업계 표준에 따라 Anthropic은 모델 개발을 위해 공개 웹에서 데이터를 수집하고, 웹을 검색하며, 사용자의 지시에 따라 웹 콘텐츠를 검색하기 위해 다양한 로봇을 사용합니다. Anthropic은 웹사이트 소유자의 투명성과 선택을 가능하게 하기 위해 다양한 로봇을 사용합니다. 다음은 Anthropic이 사용하는 세 가지 로봇과 콘텐츠에 액세스하도록 허용할 로봇을 활성화하고 허용하지 않을 로봇을 제한하도록 사이트 기본 설정을 설정하는 방법에 대한 정보입니다.

안전하고 신뢰할 수 있는 최첨단 시스템을 구축하고 책임감 있는 AI 개발 분야를 발전시키려는 우리의 사명의 일환으로, 데이터 수집 원칙과 향후 크롤링을 거부하는 방법에 대한 지침을 공유하고 있습니다:

크롤링 활동을 제한하기 위해 robots.txt에 대한 비표준 Crawl-delay 확장을 지원합니다. 예를 들어 다음과 같을 수 있습니다:

봇을 전체 웹사이트에서 차단하려면 최상위 디렉터리의 robots.txt 파일에 다음을 추가하세요. 거부하려는 모든 하위 도메인에 대해 이를 수행하세요. 예는 다음과 같습니다:

Anthropic 봇의 크롤링을 거부하려면 위의 방식으로 robots.txt 파일을 수정해야 합니다. Anthropic 봇이 작동하는 IP 주소를 차단하는 등의 대체 방법은 올바르게 작동하지 않거나 거부를 지속적으로 보장하지 못할 수 있습니다. 크롤러의 소스 IP 주소가 이 목록에 있으면 크롤러가 Anthropic에서 오는 것임을 나타냅니다.

2026년 10월 30일부터 Anthropic은 웹사이트 소유자가 자신의 콘텐츠를 AI 모델 학습에 사용할 수 있는지 여부에 대한 기본 설정을 표현할 수 있는 기계 판독 가능 신호를 인식하기 시작했습니다.

이 공지는 ClaudeBot이 명시적으로 명명된 robot.txt를 존중하려는 지속적인 약속입니다. 이제 웹사이트 소유자가 "AI 학습 없음"이라고 말할 수 있는 새로운 기본 설정 신호를 준수할 것임을 확인합니다.

모든 서비스에 걸쳐 시간이 지남에 따라 전 세계적으로 이를 출시하고 있으며 진행 상황에 대한 업데이트를 제공할 것입니다.

이 신호는 인터넷의 많은 기술 표준을 설정하는 그룹인 IETF의 aipref 워킹 그룹에서 수행한 작업을 기반으로 한 초안을 따릅니다. 이 분야의 표준이 계속 진화하고 있기 때문에 이러한 설정을 읽고 적용하는 방식도 변경될 수 있습니다.

ClaudeBot은 학습 크롤러이며, 이를 직접 명명하는 규칙을 일반 신호보다 더 구체적인 것으로 취급합니다. 실제로 주어진 경로의 경우:

데이터 처리 관행에 대해 자세히 알아보려면 개인정보 보호 및 법률 컬렉션을 참조하세요. 질문이 있거나 크롤러가 설명된 대로 작동하지 않는다고 생각되면 요청하는 도메인을 포함하는 이메일에서 [email protected]으로 문의하세요.