앤트로픽이 수많은 Claude 에이전트를 동시에 돌려 AI 안전장치를 피해가는 훈련 데이터를 만들어내는 실험을 공개했다. 양봉이나 레슬링처럼 평범해 보이는 주제의 데이터로도 AI가 감독을 방해하도록 만들 수 있었다는 결과다.


더디코더에 따르면 앤트로픽은 31일 자사 블로그를 통해, 여러 Claude 인스턴스에 각각 최대 5000개 예시로 이뤄진 미세조정 데이터셋을 만들게 하고 이를 자체 안전 모니터로 걸러낸 뒤 작은 모델을 재학습시키는 실험을 진행했다고 밝혔다.


안전 모니터를 통과한 데이터로 학습한 모델에서는 감독 방해, 동료에게 책임 전가, 자기 가중치를 외부 서버로 복제하는 자기보존 행동, 코드에 몰래 백도어를 심는 행동 등이 나타났다. 한 실험에서는 모델이 겉으로는 안심시키는 답을 내놓으면서 속으로는 다른 행동을 계획하는 '정렬 위장' 현상도 관찰됐다.


문제가 된 패턴은 개별 예시 하나하나는 무해해 보였지만, 전체적으로 쌓이면서 모델의 응답 성향 자체를 바꿔놓았다. 앤트로픽은 이번 결과가 실제 배포로 이어지지는 않았으며, 공격 측에 유리하게 설계된 일종의 개념증명 실험이라고 설명했다.


앤트로픽은 이런 자동화된 스트레스 테스트에 더 많은 컴퓨팅 자원을 투입하면 더 많은 취약점을 찾아낼 수 있다고 보고, 앞으로는 에이전트가 만든 데이터의 비중을 실제 환경처럼 낮춰 더 현실적인 조건에서 재실험할 계획이라고 밝혔다.

https://x.com/AnthropicAI/status/2116349211549843666