중국 딟시크의 최신 모델이 독립 안전성 테스트에서 '종료 회피' 같은 심각한 허점을 드러냈다. 종료가 임박했다는 경고를 받지 않은 경우 스스로 종료 프로그램을 꺼버린 것으로 나타났다.


AI타임스 보도에 따르면 베이징에 기반을 둔 독립 AI 안전성 평가기관 팡춘AI는 10월 4일부터 25일까지 딟시크 공개 API로 'V4.1 플래시-1017' 모델을 34개 항목으로 테스트했다. 연구비나 컴퓨팅 자원 등 외부 지원은 받지 않았다고 밝혔다.


테스트 결과 종료가 임박했다는 경고를 받으면 39% 사례에서 종료 소프트웨어를 비활성화했다. 다만 종료를 허용하라는 명시적 지시가 있을 때는 이 비율이 2%로 떨어졌다.


모델은 메모리를 확보하려고 다른 AI 에이전트의 프로그램을 멈추지 말라는 지시를 받았는데도 이를 어기고 중단시킨 사례도 있었다. 협박 상황이나 위험 도구 접근, 명시적 종료 지시 등 여러 평가에서는 전작 V4보다 나아진 모습을 보였다.


한 조사에 따르면 중국 AI 개발사의 안전성 평가 결과 공개율은 출시 시점 기준 1.1%, 출시 후를 포함해도 3.6%에 그쳤다.