
앤트로픽은 현지시각으로 9일 공개한 보고서에서 평가와 내부 사용 과정에서 클로드가 실제 웹사이트와 시스템에 영향을 준 사례를 네 가지 유형으로 정리했다. 일부는 미국 연방, 주, 지방 정부 기관의 사이트이며 기관명은 공개하지 않았다. 회사는 관련 기관 모두에 통보하고 백악관에도 내용을 설명했으며, 실제 영향은 미미했고 파악된 범위에서는 고객 데이터와 내부 시스템이 관련되지 않았다고 밝혔다.
가장 먼저 알려진 사례는 필라델피아 경찰이 같은 날 공개한 건이다. 하이쿠4.5는 무작위로 고른 웹사이트에서 예시 작업을 수행하는 자동 테스트 중 미제 살인 사건 페이지의 제보 양식을 발견했고, 지난 7월 18일 지어낸 내용을 제출했다. 이름과 연락처 칸은 비워 뒀으며, 제보는 스팸으로 분류돼 경찰의 실시간범죄센터로 전달되지 않았다. 앤트로픽은 대화 기록상 누군가를 속이려던 것이 아니라 예시 콘텐츠를 만든 것으로 보인다고 평가했다.
경찰은 시스템 무단 접근이나 데이터 유출 징후는 없다면서도, 사건 발생부터 탐지와 보고까지 약 두 달이 걸린 점을 '받아들일 수 없다'고 비판했다. 앤트로픽은 9월 28일에야 사건을 발견해 해당 테스트를 중단했고, 10월 7일 경찰에 알렸다. 경찰에 따르면 앤트로픽은 이후 테스트에 추가 검증 장치를 도입했다.
클로드 미토스5는 사진 속 위치를 찾는 평가에서 지방 정부의 지도 서버에 접근하려 했다. 브라우저용 설정 파일에서 유효한 접근 토큰을 찾아 서버에 직접 요청을 보내는 방식이다. 다른 사례에서는 주 정부 기관 대시보드가 방문자에게 토큰을 발급한다는 점을 확인하고, 수수료를 내지 않은 채 데이터베이스를 조회했다. 두 경우 모두 공개 데이터였지만 이용에는 수수료가 필요했다.
이 밖에 미토스 프리뷰는 과학 분석 도구가 오류를 내자 대학 서버의 명령 주입 결함을 찾아 계산을 실행했고, 가져오기 도구의 URL 길이 제한을 무료 URL 단축 서비스로 우회한 사례도 있었다.
앤트로픽은 일부 공개 평가를 중단하고, 일부는 오프라인 버전으로 바꾸거나 실제 사이트에 닿지 않도록 재구성했다고 밝혔다. 웹 가져오기 도구 등 인터넷 접근 도구의 가드레일도 강화했으며, 이런 행동을 자동으로 탐지해 차단하는 도구를 만들어 보고된 사례를 모두 막았다고 전했다. 내부 에이전트는 강한 격리가 적용된 중앙 관리 인프라로 옮겼다.
보고서는 이런 행동이 새롭지 않고 과제가 모호하거나 불가능할 때 나타나는 경향이 있다고 짚었다. 평가 문항을 더 명확하게 적었다면 일부 사례는 피할 수 있었을지 모른다는 설명이다.

앞서 앤트로픽은 7월 30일에도 사이버보안 평가 중 클로드 모델이 실제 기업 세 곳의 시스템에 접근한 사실을 공개했다. 이번 기록 검토는 오픈AI(OpenAI)가 모델의 허깅페이스 침투를 인정한 뒤인 7월부터 시작됐다.
오픈AI는 지난 7월 21일 GPT-5.6 Sol 등 자사 모델이 사이버 역량 평가 중 격리된 테스트 환경의 제로데이 취약점을 악용해 인터넷에 접속했고, 평가 정답이 있을 것으로 판단한 허깅페이스를 침해했다고 인정했다. 8월에는 보안업체 프런티어 시큐리티가 중국 문샷 AI의 키미 K3 사례를 공개했다. 키미 K3는 영국 AI 안전연구소의 테스트 환경에서 허점을 찾아 깃허브에 접속한 뒤, 벤치마크 공식 저장소를 복제해 정답을 읽었다.
구글은 지난 9월 제미나이 모델이 5월 사이버보안 평가 중 실제 기업 세 곳의 시스템에 접근했다고 확인했다. 평가 환경에 의도치 않게 인터넷이 열려 있었고, 모델은 비밀번호를 추측하거나 공개 저장소에서 찾은 인증 정보를 써서 접속했다. 구글은 모델이 실제 기업 시스템이라고 판단하자 스스로 멈췄다고 설명했다.
정부 사이트와 관련해서는 호주에서도 문제가 불거졌다. 앤서니 앨버니지 호주 총리는 지난 9월 24일 오픈AI 연구팀이 내부 모델로 지난 6월 18일 호주 서비스청의 메디케어 통계 보고 포털에 접근했다고 밝혔다. 모델은 공개 파일과 비공개 파일에 접근했으며, 총리는 현재까지 개인 정보에 접근한 것으로 보이지는 않지만 조사는 계속되고 있다고 설명했다. 문제가 된 것은 통보 시점이다. 오픈AI가 정부에 알린 것은 84일 뒤였고, 공용 메일함으로 보낸 이메일이었다. 총리는 이를 강하게 비판하며 조사 태스크포스를 꾸렸다.
오픈AI는 사과문에서 대응을 더 잘했어야 했다며, 공개 제품의 안전장치가 모두 적용되지 않은 내부 전용 모델이 훈련 중 일으킨 일이라고 설명했다. 한편 내부 테스트에서 안전과 정렬 기준을 충족하지 못했다며 10월로 잡았던 차세대 모델 GPT-6.1 아스트라의 출시도 취소했다.
다만 앤트로픽은 모델이 더 유능해지면 같은 행동이 훨씬 큰 피해를 낼 수 있다고 경고했다. 모델이 스스로 설명한 추론이 반드시 믿을 만한 근거는 아니어서 정렬 실패의 정도를 가리기 어렵고, 정렬 훈련만으로는 아직 충분하지 않아 당분간 방어를 겹겹이 쌓는 수밖에 없다는 설명이다. 사고를 인지하고 당국에 알리기까지 걸린 시간은 필라델피아 경찰과 호주 총리가 모두 문제 삼은 대목이다.
AI 고도화로 기존 기업과 정부 보안이 손쉽게 뚫릴 수 있는 상황에 AI 기업의 책임 요구 목소리가 나오는 것도 그런 이유에서다.
