Diffusion Transformer(DiT)는 고품질 이미지 생성의 핵심으로 자리 잡았으나, 선명한 결과물을 얻기 위해 수많은 연산 단계를 거쳐야 한다는 단점이 있었다. 이에 연구진은 모델 전체를 재설계하지 않고도 잠재력을 극대화할 수 있는 가벼운 캘리브레이션 기술인 Calibri를 도입했다. 특히 이 방식은 기존 모델을 최소한의 에너지와 시간 비용으로 정교하게 다듬을 수 있게 해준다.

전체 시스템을 재학습시키는 대신, Calibri는 디노이징 블록 내의 단일 학습 스케일링 파라미터에 집중한다. 연구팀은 내부 메커니즘을 알 필요가 없는 '블랙박스' 최적화 문제로 이를 설정하고, 진화 알고리즘을 활용해 최적의 설정을 찾아냈다. 이 과정에서 조정되는 파라미터는 약 100개에 불과하며, 이는 수십억 개의 파라미터를 가진 현대 AI 시스템의 극히 일부에 해당한다. 덕분에 기존의 미세 조정 방식보다 훨씬 민첩한 적응이 가능해졌다.

결과는 상당히 인상적이다. Calibri는 생성된 이미지의 시각적 충실도를 높일 뿐만 아니라, 추론 단계를 줄여 모델 작동 속도를 대폭 향상시켰다. 여기서 추론 단계란 AI가 무작위 노이즈를 최종 이미지로 변환하는 반복 주기를 의미한다. 이러한 효율성 덕분에 연구자와 개발자들은 자원 소모를 줄이면서도 하이엔드급 이미지 생성을 더욱 쉽게 수행할 수 있게 되었다. 무엇보다 Calibri는 생성 단계에서의 정보 처리 방식을 최적화함으로써 거대 모델조차 미세한 조정만으로 성능을 크게 개선할 수 있음을 입증했다.

요즘 AI가 수준 높은 그림을 그려주기는 하지만, 사실 그 과정이 꽤 복잡합니다. AI가 노이즈가 섞인 화면을 점점 선명하게 다듬어가며 그림을 완성하는데, 이때 컴퓨터가 엄청난 힘을 쏟아야 하거든요. 그래서 연구원들은 그림을 만드는 엔진인 디퓨전 트랜스포머(DiTs)의 구조를 완전히 바꾸지 않고도, 아주 적은 힘으로 성능을 끌어올릴 수 있는 칼리브리라는 기술을 개발했습니다. 쉽게 말해 성능 좋은 자동차의 엔진을 통째로 갈아치우는 대신, 연료 효율을 높이는 미세한 부품 하나만 정밀하게 튜닝한 셈입니다.

이 기술이 특히 똑똑한 이유는 아주 적은 숫자를 건드린다는 점입니다. 요즘 AI 모델은 수십억 개의 설정값을 가지고 있는데, 칼리브리는 딱 100개의 설정값만 골라서 최적의 상태로 맞춥니다. 마치 복잡한 기계의 내부를 다 뜯어보지 않고도, 겉에 달린 작은 다이얼 100개만 돌려서 기계 성능을 최대로 끌어올리는 것과 같습니다. 이렇게 하면 모델을 처음부터 다시 가르치는 것보다 시간도 훨씬 덜 걸리고, 전기와 컴퓨터 자원도 훨씬 적게 듭니다.

결과를 보니 효과가 아주 놀랍습니다. AI가 그림을 그릴 때 필요한 중간 단계들을 대폭 줄였는데도, 그림은 이전보다 훨씬 선명하고 예쁘게 나옵니다. 이제는 복잡하고 거대한 AI 모델도 이런 효율적인 튜닝 방식을 통해 누구나 더 빠르고 저렴하게 사용할 수 있게 된 것입니다. 결국 기술의 핵심은 무조건 몸집을 키우는 것이 아니라, 이렇게 꼭 필요한 부분만 찾아내는 세심한 눈썰미에 있다는 것을 이번 사례가 잘 보여줍니다.