휴머노이드 로봇에게 무질서하고 예측 불가능한 현실 세계와 상호작용하는 법을 가르치는 것은 로봇 공학계의 오랜 '성배'와 같은 과제였다. 기존의 수많은 시스템이 실험실을 벗어난 환경에서 일반화하는 데 어려움을 겪어온 것과 달리, 일리노이 대학교 어바나-샴페인 캠퍼스 연구진은 HERO라는 혁신적인 패러다임을 제시했다. HERO는 공간을 이동함과 동시에 물체를 능숙하게 다루는 복잡한 기술인 '이동-조작(loco-manipulation)'에 초점을 맞춘다. 특히 고수준 비전 지능과 운동 제어를 유기적으로 연결함으로써, 로봇이 커피숍의 머그잔이나 사무실의 장난감처럼 이전에 본 적 없는 물체와도 자연스럽게 상호작용할 수 있도록 돕는다.

HERO가 보여주는 놀라운 정밀도의 비결은 바로 추적 정책에 있다. 전통적인 로봇은 주로 엄격한 수학적 계산에 의존하여 손의 위치를 지정하는데, 이는 물리적 조건이 조금만 변해도 실패할 확률이 높다는 단점이 있었다. HERO는 로봇 손의 실제 위치를 정확하게 예측하는 학습된 모델을 도입하여 이 문제를 해결했다. 실제로 고전 역학과 현대적인 소프트웨어 기법을 결합한 이 하이브리드 접근 방식은 이전 방식들과 비교해 정확도를 무려 3.2배나 향상시키는 결과를 낳았다.

무엇보다 HERO는 개방형 어휘 비전 기술을 활용한다는 점에서 큰 차별성을 갖는다. 이는 미리 설정된 목록 속 물체만 인식하는 수준을 넘어, 로봇이 인간처럼 전체 장면을 입체적으로 이해할 수 있음을 의미한다. 덕분에 로봇은 별도의 추가 학습 없이도 다양한 높이의 표면에 놓인 물체를 자유자재로 집어 올릴 수 있다. 이러한 유연한 모듈식 설계는 향후 스스로 판단하고 행동하는 에이전틱 AI 조수가 다양한 가사 노동을 자율적으로 수행하는 미래를 예고하고 있다.

로봇에게 우리 집처럼 복잡한 곳에서 물건을 옮기라고 가르치는 것은 과학자들에게 아주 어려운 숙제(성배)였어요. 실험실이 아닌 실제 장소에서는 로봇이 실수하기 쉬웠거든요. 그런데 일리노이 대학교 연구팀이 'HERO'라는 새로운 기술을 만들었어요. HERO는 로봇이 걸어 다니면서 동시에 물건을 능숙하게 잡는 복잡한 기술(이동-조작)에 집중해요. 로봇의 눈 역할을 하는 지능(비전 지능)과 몸을 움직이는 능력(운동 제어)을 하나로 합쳐서, 커피컵이나 장난감처럼 처음 보는 물건도 사람처럼 자연스럽게 만질 수 있게 도와줘요.

HERO가 물건을 아주 정확하게 잡는 비결은 바로 '추적 정책(Tracking Policy)'에 있어요. 예전 로봇은 딱딱한 수학 계산에만 의존해서 손을 움직였는데, 주변 환경이 조금만 바뀌어도 물건을 놓치기 일쑤였어요. 하지만 HERO는 로봇 손의 위치를 스스로 정확하게 맞추는 법을 배우는 모델(학습된 모델)을 사용해요. 예전 방식과 현대적인 소프트웨어 기술을 합친 이 방법은, 기존 방식보다 실수를 3.2배나 줄여서 훨씬 정밀하게 움직일 수 있답니다.

무엇보다 HERO는 처음 보는 물건도 이름만 들으면 바로 알아보는 시각 기술(개방형 어휘 비전)을 사용해요. 정해진 물건만 알아보는 게 아니라, 사람처럼 주변 풍경 전체를 입체적으로 이해할 수 있다는 뜻이에요. 덕분에 로봇은 따로 훈련을 받지 않아도 높은 식탁이나 낮은 책상 위에 있는 물건을 마음대로 집어 올릴 수 있어요. 이렇게 스스로 판단하고 행동하는 인공지능 비서(에이전틱 AI 조수)가 앞으로 우리 집에서 빨래나 청소 같은 집안일을 스스로 도와주는 미래가 곧 다가올 거예요.