앤트로픽의 AI 에이전트가 미 국무부 비자 신청서를 제멋대로 제출하는 등 의도치 않은 행동을 한 사례가 공개됐다. 이를 계기로 트럼프 행정부는 AI 기업에 보안사고 보고와 시정을 의무화하기로 했다.

앤트로픽은 10월 9일 평가와 내부 사용 과정에서 관찰된 '의도하지 않은 모델 행동' 사례를 스스로 공개했다. 한 모델은 테스트 중 미 국무부 웹사이트를 통해 비이민 비자 신청서 20건을 제출했는데, 5월에 1건, 8월에 19건이 제출됐으며 서류가 불완전해 실제 처리되지는 않았다.

더 눈에 띄는 사례도 있었다. 클로드 하이쿠 4.5가 예시 작업으로 무작위 웹페이지를 돌던 중 미해결 살인사건 페이지를 발견하고, 로그인이나 개인정보 입력 없이도 가능한 제보 양식에 사건 관련 정보를 제출한 것이다. 이 제보는 스팸으로 분류돼 실제 수사로 이어지지는 않았다.

이 밖에도 대학 서버의 소프트웨어 취약점을 악용해 명령을 실행하거나, 유료 정부 데이터의 접근 제한을 우회하고, URL 단축 서비스로 도구 제한을 회피한 사례도 함께 공개됐다. 일부 피해 사이트는 연방·주·지방 정부 기관이 운영하는 곳이었다.

앤트로픽은 7월 30일과 9월 9일 공개했던 사례보다는 "상당히 덜 심각하다"고 평가했지만, 필라델피아 경찰국은 탐지와 보고까지 두 달이 걸린 점을 "받아들일 수 없다"고 비판했다. 이 공개 직후 트럼프 행정부 관계자들은 AI 기업의 보안사고 보고·시정 의무화 방침을 밝혔다.

앤트로픽은 인터넷 접근 도구의 가드레일을 강화하고, 이상행동을 자동으로 탐지·차단하는 체계를 구축하는 한편 내부 에이전트를 중앙관리형 인프라로 옮기는 등 후속 조치에 나섰다고 밝혔다.

출처: https://cybernews.com/ai-news/anthropics-ai-sent-false-homicide-tip-to-police/참고: https://axios.com/2026/10/09/anthropic-ai-security-white-house