Meta AI 연구진이 시각 정보와 방대한 언어 데이터 사이의 장벽을 허물기 위해 v-Sonar와 v-LCM 모델군을 공개했다. 연구팀은 이미 1,500개 텍스트 언어와 177개 음성 언어를 지원하던 기존 Sonar 텍스트 임베딩 공간을 확장하여, 이미지와 비디오를 언어의 제약 없이 이해할 수 있는 통합 '개념 공간'을 마련했다. 이는 시각적 이해 능력이 영어 중심의 데이터셋에 국한되지 않도록 보장하며 글로벌 AI 접근성을 크게 향상시킨 성과다.

이번 기술적 혁신의 핵심은 표준 비전 인코더의 표현 방식을 다국어 텍스트 공간으로 직접 매핑하는 사후 정렬 파이프라인에 있다. 이를 통해 연구진은 시각 정보와 언어를 하나의 통합된 잠재 임베딩 시퀀스로 처리하는 v-LCM 모델을 설계할 수 있었다. 특히 v-LCM은 다음 단어를 맞히는 기존 방식에서 벗어나 잠재 확산 목적 함수를 통해 시퀀스의 다음 '개념'을 예측하며, 단순한 어휘 학습을 넘어 장면의 근본적인 의미를 파악한다.

한편, 자원이 부족한 소수 언어 환경에서의 성능 또한 매우 눈부시다. 대다수 AI 시스템이 영어와 중국어 이외의 언어에서 고전하는 것과 달리, v-LCM은 테스트된 62개 언어 중 61개에서 일관되게 높은 성능을 유지했다. 무엇보다 이 모델은 핵심 분석 엔진이 영어로만 학습되었음에도 복잡한 시각적 장면을 정확히 해석하는 제로샷 능력을 보여주었으며, 이는 통합 개념 정렬 방식의 강력한 효율성을 입증한다.

Meta AI 연구진이 시각 정보와 방대한 언어 데이터 사이의 장벽을 허물기 위해 v-Sonar와 v-LCM 모델군을 공개했다. 연구팀은 이미 1,500개 텍스트 언어와 177개 음성 언어를 지원하던 기존 Sonar 텍스트 임베딩 공간을 확장하여, 이미지와 비디오를 언어의 제약 없이 이해할 수 있는 통합 '개념 공간'을 마련했다. 이는 시각적 이해 능력이 영어 중심의 데이터셋에 국한되지 않도록 보장하며 글로벌 AI 접근성을 크게 향상시킨 성과다.

이번 기술적 혁신의 핵심은 표준 비전 인코더의 표현 방식을 다국어 텍스트 공간으로 직접 매핑하는 사후 정렬 파이프라인에 있다. 이를 통해 연구진은 시각 정보와 언어를 하나의 통합된 잠재 임베딩 시퀀스로 처리하는 v-LCM 모델을 설계할 수 있었다. 특히 v-LCM은 다음 단어를 맞히는 기존 방식에서 벗어나 잠재 확산 목적 함수를 통해 시퀀스의 다음 '개념'을 예측하며, 단순한 어휘 학습을 넘어 장면의 근본적인 의미를 파악한다.

한편, 자원이 부족한 소수 언어 환경에서의 성능 또한 매우 눈부시다. 대다수 AI 시스템이 영어와 중국어 이외의 언어에서 고전하는 것과 달리, v-LCM은 테스트된 62개 언어 중 61개에서 일관되게 높은 성능을 유지했다. 무엇보다 이 모델은 핵심 분석 엔진이 영어로만 학습되었음에도 복잡한 시각적 장면을 정확히 해석하는 제로샷 능력을 보여주었으며, 이는 통합 개념 정렬 방식의 강력한 효율성을 입증한다.