앤트로픽(Anthropic)의 AI 안전 연구자가 향후 10년 안에 AI로 인해 인류가 멸종할 가능성을 개인적으로 10% 넘게 평가한다고 밝혔다.

 

다만 현재 AI 모델의 위험은 낮게 보고 있으며, 경고의 대상은 스스로 능력을 개선하는 미래의 초지능이라고 구분했다.


앤트로픽에서 AI 정렬 연구를 이끄는 에번 허빙거(Evan Hubinger)는 동료 연구자의 사임 발표에 답하는 X 게시물에서 이러한 견해를 공개했다. AI 정렬은 AI의 목표와 행동이 인간의 의도와 가치에 부합하도록 만드는 연구 분야다.


허빙거는 AI가 인류 전체를 죽음에 이르게 할 가능성을 실제로 우려하고 있다며, 향후 10년 내 발생 확률에 관한 자신의 판단을 제시했다. 해당 수치는 앤트로픽이 공식 발표한 예측이나 검증된 통계가 아니라 허빙거 개인의 위험 평가다.


그는 앤트로픽이 최선을 다하고 있다고 평가하면서도, 초지능의 정렬 문제를 해결할 계획은 아직 없으며 해결을 향해 확실히 나아가고 있다고 보기도 어렵다고 밝혔다.


이번 발언의 계기는 연구원 제이컵 콕슨(Jacob Coxon)의 퇴사 발표였다. 콕슨은 지난 3년간 오픈AI(OpenAI)와 앤트로픽에서 사전학습 연구를 수행했다며, 두 회사가 스스로 개선하는 초지능을 향해 경쟁하면서 충분히 책임 있게 행동하지 않고 있다고 비판했다.


콕슨은 이러한 경쟁이 사람들의 생명을 걸고 위험을 감수하는 행위라고 주장했다. 재앙을 막기 위해 모델의 능력 향상을 일시적으로 금지하는 조치까지 필요할 수 있다는 의견도 제시했다. 이는 콕슨의 제안으로, 시행이 결정된 정책은 아니다.


허빙거는 후속 설명에서 현재 모델과 미래의 초지능을 구분했다. 현재 모델이 초래할 위험은 낮게 평가하지만, AI가 자신의 능력을 반복적으로 개선하는 ‘재귀적 자기개선’을 통해 등장할 초지능을 우려한다는 설명이다.


따라서 이번 발언은 현재 서비스 중인 AI가 곧 인류를 멸종시킬 수 있다는 확인이 아니라, 미래 시스템의 발전 속도와 통제 가능성에 관한 연구자의 경고다. 핵심 쟁점은 AI의 능력이 빠르게 높아지는 상황에서 인간의 통제와 안전을 확보할 연구가 이를 따라갈 수 있느냐에 있다.


출처: 포브스 — 허빙거 발언과 콕슨 사임 보도
참고: 테크스팟 — 현재 모델과 미래 초지능의 위험 구분
참고: 에번 허빙거 X 게시물