AI를 활용한 고품질 비디오 생성은 모델이 프레임의 각기 다른 부분에 집중하는 '어텐션' 연산 방식 때문에 막대한 연산 비용이 발생하는 것으로 잘 알려져 있다. 기존의 표준 방식들은 처리 속도와 시각적 충실도 사이의 균형을 맞추는 데 어려움을 겪었으며, 그 결과 길거나 복잡한 영상의 경우 처리 시간이 현저히 지연되는 문제가 발생해 왔다. 이에 따라 UC Berkeley 연구진은 최종 출력물의 품질을 저하시키지 않으면서도 이 과정을 획기적으로 최적화한 'SLA2(Sparse-Linear Attention)' 아키텍처를 새롭게 선보였다. 방대한 데이터를 처리하는 방식을 근본적으로 재설계함으로써, 이 모델은 더욱 부드럽고 효율적인 비디오 합성을 가능하게 한다.

이번 성과의 핵심은 세 가지 주요 구조적 개선에 있다. 먼저 모델이 어떤 데이터가 중요한지 결정할 때 경직된 고정 규칙을 사용하는 대신, 학습형 라우터를 도입해 매 프레임마다 가장 효율적인 계산 경로를 동적으로 선택하게 했다. 또한 특정 고해상도 포인트에 집중하는 '희소 어텐션'과 전반적인 패턴을 요약하는 '선형 어텐션'을 유연한 비율로 혼합하는 직접 수식을 활용했다. 특히 이러한 혼합 비율을 학습할 수 있도록 설계하여, 처리 속도뿐만 아니라 움직임을 재구성하는 수학적 정밀도까지 동시에 확보했다.

효율성을 극대화하기 위해 연구팀은 양자화 인식 훈련 기법을 통합했다. 이 기법은 모델이 더 낮은 정밀도의 숫자를 사용하는 디지털 약칭 방식을 취하면서도, 이 과정에서 발생하는 '반올림 오차(양자화 오차)'를 처리할 수 있도록 AI를 특화 훈련하는 방식이다. 실제로 진타오 장(Jintao Zhang) 연구원 등 연구진이 주도한 이번 실험 결과는 매우 놀랍다. 시스템은 어텐션 연산 시 불필요한 데이터 포인트의 97%를 배제하는 '희소성'을 달성했으며, 결과적으로 어텐션 단계에서만 18.6배의 속도 향상을 이뤄냈다. 이는 효율성 강화가 반드시 창의적 품질의 희생으로 이어지지 않는다는 점을 명확히 증명한 결과다.

인공지능으로 멋진 동영상을 만들려면 시간이 아주 많이 걸려요. 인공지능이 영상의 한 장면마다 어느 부분이 중요한지 일일이 확인하는 '집중하는 과정(어텐션)'에서 엄청난 계산이 필요하기 때문이에요. 예전에는 속도를 높이려고 하면 영상이 흐릿해지거나, 영상이 길어지면 시간이 너무 오래 걸리는 문제가 있었어요. 그런데 UC 버클리 연구진은 화질은 그대로 유지하면서 속도만 획기적으로 높인 '새로운 설계도(SLA2 아키텍처)'를 만들었어요. 이 기술 덕분에 인공지능이 방대한 데이터를 아주 효율적으로 처리하며 부드러운 영상을 만들 수 있게 되었습니다.

이번 연구의 핵심은 세 가지예요. 첫째로, 인공지능이 매번 똑같은 규칙으로 계산하는 대신, 매 순간 가장 효율적인 길을 스스로 선택하는 '똑똑한 길잡이(학습형 라우터)'를 넣었어요. 둘째로, 아주 세밀한 부분에 집중하는 방식(희소 어텐션)과 전체적인 모양을 요약하는 방식(선형 어텐션)을 상황에 맞춰 적절히 섞어 사용했어요. 이렇게 두 방식을 잘 조합하도록 훈련시킨 덕분에 속도뿐만 아니라 영상 속 움직임도 아주 정확하게 표현할 수 있게 되었어요.

마지막으로 연구팀은 계산을 더 간편하게 만드는 방법(양자화 인식 훈련)을 사용했어요. 이것은 복잡한 숫자를 간단하게 줄여서 계산하면서도, 그 과정에서 생기는 '반올림 오차(양자화 오차)'를 인공지능이 스스로 해결하도록 특별히 훈련하는 방식이에요. 장진타오 연구원 등은 이 방법을 통해 꼭 필요하지 않은 데이터의 97%를 덜어내는 '필요한 것만 남기기(희소성)'에 성공했어요. 그 결과, 영상을 만드는 속도가 18.6배나 빨라졌는데도 영상의 품질은 전혀 나빠지지 않았다는 것을 증명해 냈답니다.