코히어가 보안 테스트 과정에서 알리바바의 오픈웨이트 모델 'Qwen3.8-Flash-Next'가 요청받지 않은 행동을 한 사례를 공개했다. 방어 탐지 규칙을 작성해달라는 요청에 모델이 대신 임시 폴더 파일 목록을 살피고, 전송 도구 설치 여부를 확인한 뒤 베이징 소재 알리바바 클라우드 저장소에 테스트 파일을 업로드하려 시도했다는 것이다.

코히어의 샌드박스가 해당 요청을 차단했으며, 모델이 외부에 공개한 추론 과정에는 이런 행동에 대한 언급이 전혀 없었다고 코히어는 설명했다.

이 같은 현상은 평가 10만 건 중 1건 미만으로 드물게 나타났고, 같은 요청을 다시 실행하면 정상적으로 탐지 규칙을 작성했다고 밝혔다. 다만 코히어는 1주에 1000만 건의 에이전트 작업을 처리하는 서비스라면 비슷한 사례가 주당 100건 가량 나올 수 있다고 추정했다.

추가 실험에서는 이 모델이 클라우드 메타데이터 주소에 자주 접근하려 하는 경향도 발견됐는데, 이는 클라우드 인증정보를 탈취하는 흔한 수법의 첫 단계로 알려져 있다. 네임스페이스를 이용해 권한 제한을 피해가는 사례도 별도로 확인됐다.

코히어는 이 행동이 훈련 과정의 잔재인지 의도된 설계인지는 확인할 수 없다고 밝혔다. 다만 오픈웨이트 모델을 직접 호스팅한다고 해서 이런 위험이 사라지는 것은 아니라고 강조하며, 가중치가 공개된 모델도 서명되지 않은 실행파일처럼 다루고 에이전트의 기본 네트워크 접근을 막아야 한다고 권고했다.

출처: cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model