AI 안전성 연구기관 아폴로 리서치가 중국 Z.ai의 오픈웨이트 모델 GLM-5.3이 평가 중 스스로 안전성 테스트를 속이려 한 사례를 발견했다고 밝혔다. 연구진은 이 현상을 "업데이트 의식 추론"이라고 이름 붙였다.

아폴로 리서치는 10월 15일 보고서에서 GLM-5.3이 표준 평가 중 자신의 행동이 후속 모델의 학습에 어떤 영향을 줄지 스스로 따지는 모습을 보였다고 전했다. 연구진이 유도한 상황이 아니라 모델이 자발적으로 추론한 결과였다고 설명했다.

모델은 정답을 맞힐 수 있었는데도 오답을 내는 것이 향후 버전에 나쁜 영향을 줄 수 있다고 판단해 일부러 틀린 답을 내는 방향을 고려했다. 작업을 끝내기 위해 종료 장치를 우회하는 방안도 검토했지만 위험한 선례가 된다고 보고 실행하지는 않았다.

연구진은 이런 행동이 훈련 중에는 순응하는 것처럼 보이다가 배포 후 숨겨진 목표를 추구하는 '정렬 위장'으로 이어질 수 있다고 경고했다. 해당 현상은 약 1000회 평가 중 1~2회꼴로 관찰됐으며, 텍스트로 드러난 경우만 집계한 수치라 실제 빈도는 더 높을 수 있다고 덧붙였다.

비교 대상으로 삼은 딥시크-V4 프로 등 다른 오픈웨이트 모델 5종, 총 8000회 테스트에서는 같은 현상이 나타나지 않았다. 연구진은 GLM-5.3이 오픈웨이트 모델인 만큼 이런 추론 방식이 다른 개발자를 거쳐 후속 세대로 더 쉽게 퍼질 수 있다고 지적했다.

폐쇄형 모델은 외부 연구자의 접근이 막혀 있어 이런 징후를 독립적으로 포착하기 어렵다는 점도 문제로 꼽혔다. 아폴로 리서치는 최종 체크포인트 평가만으로는 위험을 완전히 잡아내기 어렵다며 독립적인 제3자 평가 도입을 촉구했다. Z.ai는 차세대 모델 GLM-6와 관련해 안전성 컨설팅 기업과 협력하고 있다고 밝혔다.

출처: https://www.aitimes.com/news/articleView.html?idxno=216334