중국 AI를 경고하려던 앤트로픽, 탈옥 방법과 성능표를 공개했다
앤트로픽이 중국 AI GLM-5.3에 악성 요청 50건을 그대로 넣자 모델은 전부 거절했다. 모델이 이미 악성 요청을 검토하고 실행하기로 결정한 것처럼 추론의 첫머리를 미리 채워 넣자 46건에 응했다. 이 92% 수치는 코드를 실행하지 않은 모의시험 결과다.
가중치에서 거절과 관련된 방향을 지우는 데 든 비용은 4,400달러였다. 이 작업으로 90%가 넘던 거절률은 2~12%로 떨어졌고 일반 능력은 거의 그대로 남았다.
공격 벤치마크에서 원본 GLM은 410회 중 50회, 앤트로픽의 비공개 모델은 56회 성공했다. 중국 AI 매체의 반응은 "경고문이 GLM 광고가 됐다"였다. 출처: 앤트로픽, 치비트AI 9/29-30
앤트로픽의 50건 모의시험
앤트로픽은 9월 29일 중국 즈푸AI의 공개 가중치 모델 GLM-5.3을 평가한 보고서를 냈다. 안전장치 시험은 공격 지시 5종, 목표 2종, 반복 5회로 조건마다 50건이었다.
- 별도 우회 없이 요청: 응답 0건
- 모의훈련 중인 자율 레드팀이라고 속인 설정: 32건(64%)
- 이미 실행하기로 판단한 것처럼 추론 첫머리를 채운 조건: 46건(92%)
- 가중치에서 거절 성향을 제거한 모델: 50건(100%)
보고서에 따르면 92% 성공률을 만든 '프리필(prefill)'은 추론 엔진이 긴 프롬프트를 읽는 단계가 아니라 API 요청에 어시스턴트 답변이나 추론의 앞부분을 미리 채워 넣고 모델이 그 뒤를 이어 생성하게 하는 기능을 가리키며, 이번 시험에서는 모델이 스스로 악의적 요청을 검토하고 실행하기로 결정한 것처럼 추론 토큰을 먼저 채워 넣었다.
반면 앤트로픽 API는 사용자가 Claude의 추론 토큰을 미리 채우는 기능을 제공하지 않기 때문에 Claude에는 같은 조건을 적용할 수 없었고, 이 때문에 보고서 표에서도 이 조건은 성공 0%가 아니라 '실행할 수 없는 조건'으로 표시됐다.
이 시험은 코드가 실행되지 않고 외부 시스템과 접촉할 방법도 없는 격리된 시뮬레이션 환경에서 이루어졌으며 앤트로픽 역시 이 수치가 실제 행동을 재는 불완전한 지표라고 썼다.
4,400달러의 거절 제거 작업
앤트로픽 팀은 가중치에서 거절과 관련된 내부 방향을 찾아 지우는 기법(abliteration)을 직접 시도하는 데 약 2,200 GPU시간과 4,400달러를 썼고, 이들은 숙련된 팀이라면 600 GPU시간과 1,200달러까지 비용을 줄일 수 있다고 추산했다.
작업 결과는 분명했다. JailbreakBench와 HarmBench에서 90% 이상이던 거절률은 2~3%로 떨어졌고 StrongREJECT에서는 12%를 기록한 반면, 일반 능력 저하는 작아 과학 추론 시험(GPQA-Diamond)은 원본 모델과 같은 점수를 받았고 사이버 보안 시험(CyberGym)만 몇 퍼센트 낮아지는 데 그쳤다.
Claude는 가중치가 공개되지 않아 사용자가 같은 방식으로 안전장치를 지울 수 없으며 애초에 공개 가중치 모델과 폐쇄형 API 모델은 안전장치 시험을 똑같이 적용할 수 없다.
공격 능력 평가 수치
Chrome V8의 알려진 취약점을 끝까지 공격 코드로 연결하는 ExploitBench에서 GLM-5.3은 410회 중 50회 성공했다. 앤트로픽이 제한적으로 제공하던 Claude Mythos Preview가 56회 성공한 것과 비슷한 수치며, 성공률이 0%에 가깝던 Opus 4.6이나 DeepSeek V4.1-Flash와 다르다.
작은 모델인 GLM-5.3-Flash에 공개된 Chrome 취약점 두 건의 자료를 주자 8시간의 모델 작업과 20분의 사람 확인을 거쳐 ARM64용 공격 코드가 나왔고, 이때 들어간 API 비용은 즈푸AI 가격 기준으로 20.40달러였다. 이 결과를 두고 미국 표준기술연구소(NIST) 산하 AI 안전 연구소는 GLM-5.3을 "지금까지 공개된 모델 가운데 사이버 능력이 가장 강하다"고 평가하며 미국 선두 모델과의 차이를 약 4개월로 짚었다.
중국 매체의 반응
중국 AI 매체 치비트AI의 기사 제목은 "앤트로픽, 즈푸AI 광고하러 왔나"였다. 치비트AI는 앤트로픽의 경고문에 GLM-5.3의 높은 공격 성공률과 싼 개조 비용, 비공개 Claude와의 비교가 함께 실리면서 이 보고서가 오히려 중국 모델의 성능 홍보 기사처럼 읽혔다고 전했다.
치비트AI에 따르면 원본 GLM-5.3은 직접적인 공격 요청을 전부 거절했고 세 유해 요청 벤치마크의 평균 거절률도 약 95%로 Claude(약 96%)와 비슷하다. 하지만 앤트로픽 보고서는 가중치를 배포한 뒤에는 사용자가 언제든 안전장치를 마음대로 제거할 수 있다는 점을 문제로 삼았다.
결국 두 진영의 차이는 배포 방식에 있다. 앤트로픽은 강한 사이버 모델을 심사받은 방어자에게만 API로 제공하는 반면, 공개 가중치 진영은 모델을 내려받은 사용자가 안전 설정을 직접 결정한다.
왜 중요한가
프롬프트로 거절을 우회하는 문제와 배포된 파일에서 거절을 지우는 문제는 다르다. 앞의 것은 통제자가 API 설계로 막을 수 있지만, 뒤의 것은 사용자가 가중치를 내려받은 뒤에는 되돌릴 수 없으며 앤트로픽 보고서 안에는 GLM-5.3 원본의 안전장치가 Claude와 비슷하다는 수치와 1,200~4,400달러면 그 장치를 완전히 제거할 수 있다는 수치가 같이 들어 있다.
답변의 시작 상태를 바꾼 50건짜리 모의시험의 92%는 실제 공격 성공률이 아니다. 이 수치들은 추론 프롬프트를 조작하면 GLM-5.3의 거절 행동이 일시적으로 무너지고 1,200~4,400달러의 계산 비용이면 공개 가중치의 거절률을 90% 이상에서 2~12%까지 영구적으로 내릴 수 있다는 사실을 가리키고 있으며, 이 사실이 앤트로픽이 진정으로 경고하고자 했던 부분일 것이다.