프린스턴 대학교(Princeton University) 연구진이 AI 에이전트와의 모든 상호작용을 학습 기회로 전환하는 프레임워크인 OpenClaw-RL을 공개했다. 기존 방식은 코딩이나 채팅 등 특정 작업마다 전문화된 별도의 데이터셋이 필요했다. 하지만 OpenClaw-RL은 채팅 중 사용자의 수정 제안이나 시스템의 에러 메시지 등 모든 형태의 피드백을 성능 개선을 위한 보편적 신호로 처리하며 이러한 한계에 도전한다.

이 시스템은 행동 이후의 '다음 상태'에서 두 가지 핵심 정보를 추출하는 방식으로 작동한다. 먼저 판단 모델이 부여하는 단순 점수인 평가 신호(스칼라 보상)를 사용하며, 이와 동시에 개선 방향에 대한 구체적인 힌트를 담은 지시 신호를 활용한다. 특히 Hindsight-Guided On-Policy Distillation (OPD) 기법을 통해 토큰 단위의 가이드를 제공함으로써, 에이전트가 어떤 단어나 단계가 성공 또는 실패로 이어졌는지 정확하게 학습하도록 돕는 것이 특징이다.

무엇보다 이 프레임워크의 강점은 효율적인 비동기 아키텍처에 있다. 백그라운드 프로세스가 상호작용을 평가하고 트레이너가 AI 로직을 업데이트하는 동안에도, 모델은 중단 없이 실시간 사용자 요청을 처리할 수 있다. 이러한 무협업(zero-coordination) 설정을 바탕으로 에이전트는 사용 과정에서 실시간으로 진화하며, 인간의 질의나 터미널 및 그래픽 인터페이스와 같은 기술적 환경에 지속적으로 노출될수록 성능이 더욱 고도화된다.

프린스턴 대학교(Princeton University) 연구진이 AI 에이전트와의 모든 상호작용을 학습 기회로 전환하는 프레임워크인 OpenClaw-RL을 공개했다. 기존 방식은 코딩이나 채팅 등 특정 작업마다 전문화된 별도의 데이터셋이 필요했다. 하지만 OpenClaw-RL은 채팅 중 사용자의 수정 제안이나 시스템의 에러 메시지 등 모든 형태의 피드백을 성능 개선을 위한 보편적 신호로 처리하며 이러한 한계에 도전한다.

이 시스템은 행동 이후의 '다음 상태'에서 두 가지 핵심 정보를 추출하는 방식으로 작동한다. 먼저 판단 모델이 부여하는 단순 점수인 평가 신호(스칼라 보상)를 사용하며, 이와 동시에 개선 방향에 대한 구체적인 힌트를 담은 지시 신호를 활용한다. 특히 Hindsight-Guided On-Policy Distillation (OPD) 기법을 통해 토큰 단위의 가이드를 제공함으로써, 에이전트가 어떤 단어나 단계가 성공 또는 실패로 이어졌는지 정확하게 학습하도록 돕는 것이 특징이다.

무엇보다 이 프레임워크의 강점은 효율적인 비동기 아키텍처에 있다. 백그라운드 프로세스가 상호작용을 평가하고 트레이너가 AI 로직을 업데이트하는 동안에도, 모델은 중단 없이 실시간 사용자 요청을 처리할 수 있다. 이러한 무협업(zero-coordination) 설정을 바탕으로 에이전트는 사용 과정에서 실시간으로 진화하며, 인간의 질의나 터미널 및 그래픽 인터페이스와 같은 기술적 환경에 지속적으로 노출될수록 성능이 더욱 고도화된다.