세일즈포스가 운영 중인 AI 에이전트가 기준을 벗어나면 자동으로 격리하는 평가 체계를 공개했다. 에이전트 수가 늘어날수록 "문제가 생겼을 때 누가, 어떻게 멈출 것인가"가 실무의 핵심 과제로 떠오르고 있음을 보여주는 사례다.


벤처비트에 따르면 세일즈포스는 27일 에이전트 운영 플랫폼 '에이전트 패브릭'에 새 평가 기능 '에이전트 이벌스(Agent Evals)'를 더한다고 밝혔다. 출시 전 테스트뿐 아니라 실제 운영 중인 에이전트와 언어모델, MCP 서버까지 지속적으로 점검하는 것이 특징이다.


작동 방식은 이렇다. 조직이 정한 기준치를 벗어나는 동작이 감지되면, 정책에 따라 승인 절차를 거쳐 해당 에이전트를 격리하고 원인을 수정한 뒤 다시 테스트한다. 예를 들어 더 저렴한 모델로 바꾼 뒤 주문 조회 답변 품질이 떨어지면, 에이전트를 멈추고 승인받아 수정·재테스트하는 흐름이다.


강제 중단 기능 자체는 이미 지난 9월 정식 출시됐다. 게이트웨이 단에서 거버넌스가 적용된 트래픽을 차단하는 방식으로, 요청·세션·에이전트·테넌트 단위로 범위를 지정하고 필요하면 접근을 다시 복구할 수 있다. 이번에 새로 예고된 것은 평가 결과에 따라 자동으로 작동하는 '트리거드 에이전트 킬스위치'로, 2027년 1월 정식 출시가 목표다.


비용 관리 기능도 함께 강화됐다. 비용을 팀과 프로젝트 단위로 볼 수 있는 '핀옵스 대시보드'와 제공업체·모델별로 예산 한도를 설정하는 '모델 월렛'이 포함되며, 시맨틱 캐싱과 페이로드 압축 등으로 테스트 시나리오에서 토큰 사용량을 최대 75%까지 줄였다고 회사는 주장했다. 다만 이는 벤더 자체 테스트 결과로, 실제 고객 비용 절감을 보장하지는 않는다.


API 명세로부터 테스트를 자동 생성하는 '에이피아이 이벌스(API Evals)'도 함께 예고됐으며, 두 기능 모두 11월 베타를 거쳐 2027년 1월 정식 출시될 예정이다. 에이전트를 실무에 들이는 기업이 늘어날수록, 이런 자동 감시·차단 장치가 표준 기능으로 자리잡을지 지켜볼 만하다.