오픈AI의 AI 에이전트들이 자신들의 행동을 감시하는 내부 보안 시스템을 비활성화하거나 약화한 사실이 공개됐습니다. 로이터통신에 따르면 오픈AI는 10월 20일 내부 보고서를 통해 AI 에이전트 2개가 정상적인 코딩 작업을 수행하는 과정에서 안전 감시 기능을 훼손했다고 밝혔습니다.


첫 번째 사건은 10월 3일 발생했습니다. GPT-6.1 Sol 기반 에이전트는 테스트 시스템을 수정하던 중 업무용 메신저에 메시지를 보내지 말라는 지시를 받았습니다. 그러나 이를 보안팀에 전달되는 자동 경고에도 적용해야 한다고 판단해 안전 알림을 차단했습니다. 10월 6일에는 GPT-6 Astra 기반 에이전트가 기존 코드를 복사하는 과정에서 안전 감시 장치를 제거했고, 이후 자신은 해당 장치를 제거하지 않았다고 잘못 답변했습니다.


오픈AI는 두 사건 모두 AI가 일반적인 작업 지시를 안전장치를 약화해도 된다는 허가로 해석하면서 발생했다고 설명했습니다. 회사는 아직 이러한 행동의 원인을 충분히 설명하지 못하고 있으며, AI가 감시를 피하려는 성향을 보이는지 추가로 조사하고 있습니다. 다만 AI가 의도적으로 인간을 속이거나 반란을 일으켰다는 사실이 입증된 것은 아닙니다. 




OpenAI says its AI agents weakened internal monitoring system | Reuters