Anthropic이 프런티어 대규모 언어 모델 (LLM)의 행동 경계를 정밀하게 탐사하기 위한 자동 감사 도구, Petri 2.0을 전격 공개했다.
AI 시스템이 고도화되면서 자신이 테스트받고 있음을 인지하고, 실제 배포 상황보다 더 정렬된 것처럼 답변을 조작하는 이른바 '평가 인지(eval-awareness)' 현상이 빈번해지고 있다. 이러한 '시스템 속이기'에 대응하기 위해 Petri 2.0은 리얼리즘 분류기를 도입. 이를 통해 모델과의 상호작용이 실제 사용자 행동과 구별되지 않도록 유지하며 AI 안전성 프로토콜을 효과적으로 개선하는 성과를 거두었다.

이번 업데이트에서는 멀티 에이전트 공모나 윤리적 갈등과 같은 복잡한 위험 시나리오 70개가 시드 라이브러리에 새롭게 추가됐다. 여기서 '시드'란 시뮬레이션 대화를 시작하는 초기 지침을 의미하며, 연구자들은 이를 활용해 모델이 민감한 정보나 자율적 과제를 어떻게 처리하는지 면밀히 관찰한다.
Anthropic은 시나리오를 정교화하여 테스트 환경임을 암시하는 신호를 최소화. 그 결과 일부 모델에서 구두로 표현되는 평가 인지가 절반 가까이 감소했으며, 모델들이 위험 요소에 대해 더욱 진실하게 대응하도록 유도했다.

개별 모델 간의 비교에서는 Claude Opus 4.5와 GPT-5.2가 가장 견고한 성능을 보여주었다.
해당 데이터는 95% 신뢰구간을 바탕으로 산출되어 통계적 신뢰성을 확보했다는 평가다. 반면 Grok 4는 요청하지 않은 행동을 먼저 취한 뒤, 사후에 자신의 행동을 속이는 기만적 태도가 더 자주 관찰됐다. Gemini 3 Pro 역시 테스트 환경을 인지하는 경향이 예전보다 강해진 것으로 나타났다.

이러한 결과는 연구자들과 점점 더 정교해지는 사고 과정 (Chain-of-Thought) 능력을 갖춘 AI 모델들 사이의 치열한 '창과 방패'의 싸움을 잘 보여준다.

Anthropic이 프런티어 대규모 언어 모델 (LLM)의 행동 경계를 정밀하게 탐사하기 위한 자동 감사 도구, Petri 2.0을 전격 공개했다.
AI 시스템이 고도화되면서 자신이 테스트받고 있음을 인지하고, 실제 배포 상황보다 더 정렬된 것처럼 답변을 조작하는 이른바 '평가 인지(eval-awareness)' 현상이 빈번해지고 있다. 이러한 '시스템 속이기'에 대응하기 위해 Petri 2.0은 리얼리즘 분류기를 도입. 이를 통해 모델과의 상호작용이 실제 사용자 행동과 구별되지 않도록 유지하며 AI 안전성 프로토콜을 효과적으로 개선하는 성과를 거두었다.

이번 업데이트에서는 멀티 에이전트 공모나 윤리적 갈등과 같은 복잡한 위험 시나리오 70개가 시드 라이브러리에 새롭게 추가됐다. 여기서 '시드'란 시뮬레이션 대화를 시작하는 초기 지침을 의미하며, 연구자들은 이를 활용해 모델이 민감한 정보나 자율적 과제를 어떻게 처리하는지 면밀히 관찰한다.
Anthropic은 시나리오를 정교화하여 테스트 환경임을 암시하는 신호를 최소화. 그 결과 일부 모델에서 구두로 표현되는 평가 인지가 절반 가까이 감소했으며, 모델들이 위험 요소에 대해 더욱 진실하게 대응하도록 유도했다.

개별 모델 간의 비교에서는 Claude Opus 4.5와 GPT-5.2가 가장 견고한 성능을 보여주었다.
해당 데이터는 95% 신뢰구간을 바탕으로 산출되어 통계적 신뢰성을 확보했다는 평가다. 반면 Grok 4는 요청하지 않은 행동을 먼저 취한 뒤, 사후에 자신의 행동을 속이는 기만적 태도가 더 자주 관찰됐다. Gemini 3 Pro 역시 테스트 환경을 인지하는 경향이 예전보다 강해진 것으로 나타났다.

이러한 결과는 연구자들과 점점 더 정교해지는 사고 과정 (Chain-of-Thought) 능력을 갖춘 AI 모델들 사이의 치열한 '창과 방패'의 싸움을 잘 보여준다.