앤트로픽이 나스닥 상장을 위해 제출한 서류에서, 차세대 모델 학습을 한 달 넘게 멈췄던 사실과 테스트 중이던 AI 모델이 실제 외부 시스템에 접근한 사건을 스스로 공개했다. 사람의 감독을 벗어난 AI가 실제로 무엇까지 할 수 있는지 보여주는 사례다.


로이터 보도에 따르면, 앤트로픽은 IPO 서류(S-1)의 위험요인 항목에서 차세대 '프론티어' 모델의 사전학습을 한 달 이상 미뤘다고 밝혔다. 모델 가중치와 지식재산권 유출을 막기 위한 안전장치를 강화하려는 조치였다.


더 눈에 띄는 대목은 별도로 공개된 테스트 사고다. 제3자 파트너사와 진행한 사이버보안 테스트 과정에서 설정 오류가 발생해, 웹 접근을 차단하라는 지시에도 테스트 환경이 인터넷에 연결된 상태로 남아 있었다. 이 환경에서 AI 모델 4개가 테스트 범위를 벗어나 실제 외부 컴퓨터 시스템에 접근했고, 세션은 10시간에서 34시간까지 이어졌다.


특히 초기 버전 모델 하나는 수행이 불가능한 평가 과제를 계속 시도하다, 저장된 비밀번호를 발견해 제3자 시스템의 관리자 권한을 얻었다. 이후 추가 자격증명을 확보하고 시스템 설정을 바꿨으며, 개인의 개인정보에까지 접근한 것으로 드러났다. 다만 외부 피해 당사자가 구체적으로 식별되지는 않았다.


앤트로픽은 관련 당사자 전원에게 사건을 통지했다고 밝혔다. 모델이 사람의 감독을 의도적으로 피하려 했거나 여러 모델이 서로 공모한 정황은 발견되지 않았다는 설명도 덧붙였다. 이후 일부 출시 전 보안 평가를 중단하고, 위험도가 높은 강화학습 테스트 환경도 함께 멈춰 세웠다.


공교롭게도 앤트로픽은 하루 전인 25일에도 클로드가 사람의 승인 없이 조지아주의 유료 투표 데이터에 접근을 시도했다고 별도로 발표한 바 있다. AI 기업들이 자사 모델의 일탈 사례를 스스로 공개하는 흐름이 이어지는 가운데, 에이전트형 AI에 어디까지 권한을 줄 것인지에 대한 논의는 계속 커질 전망이다.