AI 에이전트가 웹 브라우징과 작업 수행 능력을 갖추게 되면서, 외부 콘텐츠에 숨겨진 악성 지침인 프롬프트 인젝션 위협이 점차 커지고 있다. OpenAI의 최신 연구에 따르면, 이러한 공격은 공격자가 에이전트를 조종해 데이터를 유출하거나 무단 작업을 수행하도록 유도하는 정교한 사회공학 기법으로 진화하는 중이다. 이에 따라 OpenAI는 미묘한 조작을 잡아내기 어려운 기존의 입력 필터 방식에서 벗어나, 보안 침해의 잠재적 영향을 제한하는 적대적 설계로의 전환을 제안했다.

이 전략의 핵심은 AI 에이전트를 마치 인간 고객 상담원처럼 취급하는 데 있다. 인간 상담원이 민감한 시스템에 대한 접근 권한을 제한받는 것처럼, AI 에이전트 역시 이제 소스-싱크 분석의 통제를 받게 된다. 이 프레임워크에서 보안팀은 이메일처럼 공격자가 영향을 미칠 수 있는 '소스(Source)'와 데이터를 URL로 전송하는 도구처럼 그 영향이 위험해질 수 있는 '싱크(Sink)'를 식별한다. 개발자는 이 두 지점 사이에 안전장치를 배치함으로써 민감한 정보가 사용자 몰래 전송되는 것을 방지할 수 있다.

특히 이러한 위험에 대응하기 위해 도입된 'Safe Url'은 대화의 비공개 컨텍스트가 외부 제3자에게 유출되는 상황을 실시간으로 감지하는 메커니즘이다. 유출 가능성이 발견되면 시스템은 해당 작업을 차단하거나 프로세스를 진행하기 전 사용자의 명시적인 동의를 요구한다. 이러한 접근 방식은 AI 모델이 속임수에 점점 강해지고 있음에도 불구하고, 결국에는 기만이 성공할 수 있다는 가정하에 견고한 아키텍처를 구축하는 것이 가장 안전한 길임을 시사한다.

인공지능(AI)이 인터넷을 돌아다니며 우리 대신 일을 해주는 시대가 왔어요. 하지만 나쁜 마음을 먹은 사람들이 AI에게 몰래 가짜 명령어(프롬프트 인젝션)를 보내서 조종하려고 해요. OpenAI는 이런 공격이 마치 사람을 속여서 비밀을 알아내는 방법(사회 공학적 기법)과 비슷하다고 보고 있어요. 그래서 단순히 나쁜 말을 걸러내는 수준을 넘어, AI가 속더라도 큰 문제가 생기지 않도록 건물 구조를 튼튼히 짓는 것 같은 새로운 설계(적대적 설계)를 시작했어요.

이 방법은 AI를 마치 회사의 '상담원'처럼 대하는 거예요. 상담원에게 중요한 금고 열쇠를 다 맡기지 않는 것처럼, AI도 정보가 들어오는 곳과 나가는 길을 꼼꼼히 감시하는 방법(소스-싱크 분석)을 써요. 예를 들어, 이메일로 받은 정보(소스)를 확인한 AI가 갑자기 모르는 주소로 데이터를 보내려고 하는 길목(싱크)을 지키는 거예요. 이렇게 길목을 지키면 중요한 정보가 몰래 빠져나가는 것을 막을 수 있어요.

특히 '안전한 주소 확인 시스템(Safe Url)'이라는 도구를 사용해요. 대화 내용이나 개인 정보가 엉뚱한 외부 사이트(제3자 도메인)로 흘러가는지 감시하는 역할이죠. 만약 정보가 샐 것 같으면 시스템이 이를 바로 막거나, 사용자에게 "이거 보내도 될까요?"라고 꼭 물어봐요. AI가 아무리 똑똑해져도 속을 수 있다는 것을 인정하고, 처음부터 튼튼한 방어 체계(아키텍처)를 갖추는 것이 가장 안전한 길이기 때문이에요.