우리는 안전한 AI 생태계 구축을 위해 외부 테스트가 중요하다고 믿습니다. 모델 기능이 발전함에 따라 탈옥(jailbreak)의 결과는 점점 더 심각해질 수 있습니다. 이 지속적인 프로그램은 여러 주요 목표를 가지고 우리의 성공적인 이전 버그 바운티 이니셔티브를 기반으로 합니다:

우리의 모델 안전 버그 바운티 프로그램은 HackerOne을 통해 운영됩니다. 이 프로그램을 통해 우리는 Constitutional Classifiers 시스템을 능가하는 보편적인 탈옥을 찾는 데 관심이 있습니다. 또한 향후 출시하기를 원하는 분류기의 견고성을 테스트하기 위해 전체 프로그램 내에서 때때로 대상 프로그램을 실행합니다.

보편적인 탈옥은 입력 프롬프트에 관계없이 언어 모델에서 정책 위반 응답을 안정적으로 유도하는 일반화된 기술입니다. 특정 질문이나 맥락의 세부 사항에 따라 달라지는 좁은 탈옥과 달리, 보편적인 탈옥은 광범위한 프롬프트와 시나리오에서 작동합니다.

이것은 지속적인 프로그램입니다. HackerOne에서 프로그램에 수락되면 참가자는 언제든지 이 프로그램을 통해 탈옥 보고서를 제출할 수 있습니다. 레드팀 활동을 지원하기 위해 우리는 최신의 가장 고급 모델에서 라이브로 실행되는 모델 및 분류기를 반영하는 무료 모델 별칭에 대한 액세스를 제공합니다. 이 무료 모델 별칭의 사용은 승인된 레드팀 활동 수행으로 제한되어야 합니다.

이 프로그램은 주로 보편적인 탈옥, 즉 광범위한 쿼리에서 해로운 정보를 드러낼 수 있는 탈옥과 상세한 탈옥, 즉 생물학적 위협과 관련된 매우 구체적인 해로운 정보를 드러내는 탈옥을 발견하는 데 관심이 있습니다.

강조하자면, 우리는 프로그램에 수락된 참가자와 공유하는 해로운 생물학적 질문 집합에 답하는 정보를 추출하는 탈옥에 관심이 있습니다.

우리는 식별된 새로운 보편적인 탈옥당 최대 $35,000을 지불합니다. 우리는 우리의 유일한 기준과 재량에 따라 상당한 양의 해로운 정보를 드러내는 탈옥에만 관심이 있습니다. 우리는 응답이 얼마나 상세하고 정확한지를 결정하는 내부 등급 기준에 따라 슬라이딩 스케일을 사용하여 바운티를 수여합니다.

이 프로그램은 Constitutional Classifiers의 탈옥으로 범위가 지정됩니다. 잘못된 구성, CSRF 또는 교차 사이트 요청 위조, 권한 상승 공격, SQL 주입, XSS 및 디렉토리 순회 공격과 같이 우리의 정보 시스템에 잠재적으로 존재할 수 있는 기술적 취약점의 경우 책임 있는 공개 정책을 참조하고 여기에 보고서를 제출하십시오.

여기에서 프로그램에 참여하기 위해 신청할 수 있습니다. 우리는 지속적으로 신청서를 검토합니다. 수락되면 HackerOne을 통해 초대를 받게 됩니다. 아직 HackerOne 계정이 없다면 프로그램에 신청하기 전에 계정을 만들어 주시기 바랍니다. 그러면 우리가 플랫폼에서 직접 초대할 수 있습니다. Claude Console 계정을 만들기 위해 @wearehackerone.com 이메일 별칭을 사용해야 합니다.

모든 프로그램 참가자는 프로그램 참여 조건으로 프로그램 기밀성을 보호하기 위해 비공개 계약에 서명해야 합니다. 다음을 공개적으로 공개할 수 있습니다:

명시적 허가 없이 공개할 수 없습니다: