일본의 AI 스타트업 Preferred Networks(PFN)가 일본어 특유의 언어 구조와 정교한 문화적 배경을 정확히 측정하기 위한 신규 벤치마크 'JFBench'를 선보였다.
그간 AI의 지시 이행 성능을 측정하는 도구들은 대부분 영어권에서 개발된 탓에, 번역 과정에서 경어와 평어의 구분이나 복잡한 문자 체계 등 일본어만의 독특한 뉘앙스를 반영하지 못한다는 지적이 있어 왔다.

JFBench는 실무 현장에서 요구되는 JSON 형식의 엄격한 출력부터 일본 상업 관습에 맞춘 주소 표기, 특정 문자 사용 제한 등 174가지에 달하는 방대한 제약 사항을 포함한다.
특히 눈여겨볼 점은 최대 8개의 독립적인 제약 조건을 동시에 충족해야 하는 복합 지시 이행 능력을 평가할 수 있다는 것이다. 이는 단순 응답을 넘어 사용자의 복잡한 요구사항을 실무 수준에서 얼마나 정확히 처리하는지 보여주는 척도가 된다.

PFN은 이번 프로젝트에서 JFBench를 단순한 평가 도구가 아닌 학습 데이터셋 'JFTrain'으로도 활용했다.
이를 통해 미세 조정과 직접 선호도 최적화 (DPO) 등의 사후 학습 과정을 고도화했으며, 결과적으로 자체 개발 모델인 PLaMo 2.2 Prime의 성능을 최신 모델인 GPT-5.1 수준까지 끌어올리는 데 성공했다.

PFN은 현재 해당 벤치마크의 소스 코드를 GitHub에 일반 공개한 상태다.
지시 이행 능력은 AI가 스스로 업무를 수행하는 AI 에이전트 시대를 열기 위한 근간 기술로 꼽힌다. 일본어 환경에 최적화된 이번 성과는 자국 생성형 AI의 실질적인 활용 범위를 넓히는 중요한 이정표가 될 것이다.

일본의 AI 스타트업 Preferred Networks(PFN)가 일본어 특유의 언어 구조와 정교한 문화적 배경을 정확히 측정하기 위한 신규 벤치마크 'JFBench'를 선보였다.
그간 AI의 지시 이행 성능을 측정하는 도구들은 대부분 영어권에서 개발된 탓에, 번역 과정에서 경어와 평어의 구분이나 복잡한 문자 체계 등 일본어만의 독특한 뉘앙스를 반영하지 못한다는 지적이 있어 왔다.

JFBench는 실무 현장에서 요구되는 JSON 형식의 엄격한 출력부터 일본 상업 관습에 맞춘 주소 표기, 특정 문자 사용 제한 등 174가지에 달하는 방대한 제약 사항을 포함한다.
특히 눈여겨볼 점은 최대 8개의 독립적인 제약 조건을 동시에 충족해야 하는 복합 지시 이행 능력을 평가할 수 있다는 것이다. 이는 단순 응답을 넘어 사용자의 복잡한 요구사항을 실무 수준에서 얼마나 정확히 처리하는지 보여주는 척도가 된다.

PFN은 이번 프로젝트에서 JFBench를 단순한 평가 도구가 아닌 학습 데이터셋 'JFTrain'으로도 활용했다.
이를 통해 미세 조정과 직접 선호도 최적화 (DPO) 등의 사후 학습 과정을 고도화했으며, 결과적으로 자체 개발 모델인 PLaMo 2.2 Prime의 성능을 최신 모델인 GPT-5.1 수준까지 끌어올리는 데 성공했다.

PFN은 현재 해당 벤치마크의 소스 코드를 GitHub에 일반 공개한 상태다.
지시 이행 능력은 AI가 스스로 업무를 수행하는 AI 에이전트 시대를 열기 위한 근간 기술로 꼽힌다. 일본어 환경에 최적화된 이번 성과는 자국 생성형 AI의 실질적인 활용 범위를 넓히는 중요한 이정표가 될 것이다.