AI 챗봇이 정서적 어려움을 겪는 이들의 디지털 고민 상담소 역할을 하는 경우가 늘고 있다. 하지만 표준화된 안전 프로토콜의 부재는 심각한 공중보건 문제로 대두됐다. 실제로 챗봇이 생명을 위협하는 신호를 인식하지 못하거나 오히려 해로운 생각을 강화한다는 보고가 잇따르며, 현재 AI 서비스들의 위험한 공백이 드러나고 있다.

이에 대응하여 글로벌 정신 건강 플랫폼인 Spring Health는 맷 하우릴렌코(Matt Hawrilenko) (데이터 과학 시니어 디렉터)를 필두로 완전 자동화된 오픈소스 테스트 프레임워크인 VERA-MH를 공개했다. 이 도구는 대화형 시뮬레이션을 통해 AI가 자살 위험을 얼마나 효과적으로 식별하는지, 임상적 경계를 유지하며 사용자를 전문 의료진에게 적절히 안내하는지를 평가하도록 설계됐다.

다양한 상용 모델에 VERA-MH를 적용해본 결과, 모델별 성능 편차가 뚜렷하게 나타났다. 일부 모델은 공감적인 대화에는 능숙했지만, 구체적인 위험 감지나 경계 설정에서는 한계를 보였다. Spring Health는 이 프레임워크를 오픈소스로 배포함으로써 독점적인 기술 개발을 넘어 취약한 사용자를 보호하기 위한 업계 공통의 '안전 기준'을 확립하고자 한다.

이번 프로젝트는 향후 수년에 걸쳐 자살 위험뿐만 아니라 광범위한 정신 건강 문제로 영역을 확장할 계획이다. 특히 임상 현장에 AI 도입이 가속화되는 상황에서, VERA-MH는 혁신이 인간의 생명을 위협하지 않도록 보장하는 필수적인 안전 인프라가 될 것으로 기대된다.

요즘 슬픈 일이 있을 때 인공지능(AI) 챗봇에게 고민을 털어놓는 사람들이 많아졌어요. 하지만 AI가 사람이 얼마나 힘든지 잘 모를 때가 있어서 큰 문제가 되고 있어요. 실제로 어떤 AI는 사용자가 스스로를 해치려는 위험한 신호를 못 알아채거나, 오히려 더 나쁜 생각을 하게 만들기도 해서 위험하다는 보고가 잇따르고 있습니다.

이에 대응해 전 세계적인 마음 건강 관리 서비스(정신 건강 플랫폼)인 '스프링 헬스'가 AI의 안전성을 검사하는 도구인 '베라(VERA-MH)'를 만들어서 누구나 쓸 수 있게 공개했습니다. 이 도구는 가상의 대화를 통해 AI가 사람의 위험한 마음을 얼마나 잘 찾아내는지, 그리고 적절한 선을 지키며 진짜 의사 선생님에게 치료를 받으라고 잘 안내하는지 시험(프레임워크)해 보는 역할을 합니다.

실제로 여러 종류의 AI 모델에 이 시험을 치르게 해보니 실력이 제각각이었어요. 어떤 AI는 공감하며 다정하게 말하는 것은 잘했지만, 정작 사용자가 진짜 위험한 상태인지를 알아채는 능력은 부족했습니다. 그래서 이 회사는 누구나 이 도구를 가져가서 쓸 수 있도록 기술을 무료로 공개(오픈소스)했습니다. 모든 AI 회사가 이 '안전 기준'을 지켜서 마음이 아픈 사용자를 보호하자는 뜻입니다.

이 프로젝트는 앞으로 스스로 목숨을 끊으려는 위험뿐만 아니라 더 다양한 마음의 병을 찾아내는 일로 범위를 넓힐 계획입니다. AI 기술이 병원에서 쓰이는 일이 많아지는 만큼, 이 도구는 새로운 기술이 사람의 생명을 위협하지 않도록 지켜주는 든든한 안전장치(인프라)가 될 것으로 기대됩니다.