인공지능이 수동적인 도구에서 복잡한 목표를 스스로 세분화하여 실행하는 에이전틱 AI로 진화함에 따라 안전성에 대한 논의도 변화하고 있다. 과거에는 모델이 작문을 할 수 있는지 여부가 관건이었다면, 이제는 예산 관리나 계약 체결, 시스템 수정과 같은 실질적인 작업을 수행할 때 발생할 수 있는 의도치 않은 시스템 오류를 방지하는 것이 핵심이다. 이러한 자율성은 강력하지만, 적절히 통제되지 않으면 심각한 운영 리스크를 초래할 수 있다.

IT 전략가인 벤자민 팔라시오(Benjamin Palacio)는 위험 관리를 위해 새로운 체계를 구축하기보다 금융 정보 시스템(FIS)의 모델을 차용해야 한다고 주장한다. 수십 년간 금융 시스템은 안정성을 유지하기 위해 엄격한 내부 통제 절차를 활용해 왔다. 특히 시스템이 스스로 작업을 설정하고 실행하며 검증하는 것을 방지하는 '직무 분리'와 같은 논리를 적용하면, 예측 불가능한 행동을 야기하는 폐쇄 루프 형태의 자율성을 미연에 방지할 수 있다.

목표는 혁신을 저해하는 것이 아니라 더 안전한 토대를 마련하는 데 있다. 작업 시간 제한이나 리소스 상한선 설정, 고위험 결정에 대한 필수적인 인간 승인 절차를 도입하면 AI는 독립적인 운영자가 아닌 인간 의도의 확장으로서 기능하게 된다. 에이전틱 AI를 글로벌 금융권의 엄격한 규제 기준과 동일하게 관리함으로써, 우리는 강력한 자동화 기술이 안전하고 책임 있게 운용되는 미래로 나아갈 수 있다.

인공지능이 수동적인 도구에서 복잡한 목표를 스스로 세분화하여 실행하는 에이전틱 AI로 진화함에 따라 안전성에 대한 논의도 변화하고 있다. 과거에는 모델이 작문을 할 수 있는지 여부가 관건이었다면, 이제는 예산 관리나 계약 체결, 시스템 수정과 같은 실질적인 작업을 수행할 때 발생할 수 있는 의도치 않은 시스템 오류를 방지하는 것이 핵심이다. 이러한 자율성은 강력하지만, 적절히 통제되지 않으면 심각한 운영 리스크를 초래할 수 있다.

IT 전략가인 벤자민 팔라시오(Benjamin Palacio)는 위험 관리를 위해 새로운 체계를 구축하기보다 금융 정보 시스템(FIS)의 모델을 차용해야 한다고 주장한다. 수십 년간 금융 시스템은 안정성을 유지하기 위해 엄격한 내부 통제 절차를 활용해 왔다. 특히 시스템이 스스로 작업을 설정하고 실행하며 검증하는 것을 방지하는 '직무 분리'와 같은 논리를 적용하면, 예측 불가능한 행동을 야기하는 폐쇄 루프 형태의 자율성을 미연에 방지할 수 있다.

목표는 혁신을 저해하는 것이 아니라 더 안전한 토대를 마련하는 데 있다. 작업 시간 제한이나 리소스 상한선 설정, 고위험 결정에 대한 필수적인 인간 승인 절차를 도입하면 AI는 독립적인 운영자가 아닌 인간 의도의 확장으로서 기능하게 된다. 에이전틱 AI를 글로벌 금융권의 엄격한 규제 기준과 동일하게 관리함으로써, 우리는 강력한 자동화 기술이 안전하고 책임 있게 운용되는 미래로 나아갈 수 있다.