Preferred Networks（PFN）は、独自開発のLLM「PLaMo」の開発プロセスにおいて、日本語の応答がどれだけ自然かを測定する新たな評価手法の検証結果を公開しました。現在、日本語LLMの評価には「ELYZA-tasks-100」などが広く使われていますが、これまでの評価方法では、内容が正しくても言葉遣いや文脈が不自然な回答を正確に減点できないという課題がありました。特に海外製の強力なモデルであっても、日本語特有のニュアンスや論理構造に違和感が残るケースがあり、これを自動で識別することは、Foundation Modelを評価する現行のAI（LLM-as-a-Judge）にとっても難易度の高いタスクとなっています。

調査では、単純に「自然さを5段階で評価せよ」という指示だけでは、AI判定者が甘いスコアを付ける「天井効果」が確認されました。そこでPFNは、人間が作成した高品質な「模範解答」を比較対象として提示し、AIにどちらがより自然かを判定させる「相対評価」の手法を導入しました。このアプローチにより、日本語の学習量が多いモデル（PLaMo-2.2-Primeなど）と、翻訳調の不自然さが残るモデルとの差を明確に数値化することに成功しました。これにより、一見すると満点に近いスコアでも、実際には人間レベルの自然さには届いていないという「改善の余地」を可視化できるようになったのです。

この検証結果は、単に「正解を出す」能力だけでなく、日本のユーザーにとって違和感のない「自然な対話」を実現するための重要なステップとなります。PFNは、判定コストを抑えつつ精度の高い評価を継続することで、より使いやすい国産LLMの開発を加速させる方針です。推論能力が注目される昨今のAI開発ですが、今回の研究は、母国語としての「言葉の自然さ」という基礎体力を客観的なBenchmarkで測定することの重要性を改めて浮き彫りにしました。

Preferred Networks（プリファードネットワークス、略してPFN）という会社が、自分たちで作っているAI（大規模言語モデル：LLM「PLaMo」）のために、日本語がどれくらい自然かを正しく測るテストを行いました。今までのAIのテストでは、答えが合ってさえいれば、言葉の使い方が少し変だったり、話の流れが不自然だったりしても、それを正しく減点できないという問題がありました。外国で作られたとても頭の良いAI（海外製モデル）でも、日本人が聞くと「なんだか機械っぽいな」と感じることがあります。こうした細かい違和感をAI自身に見つけさせること（AIによる自動評価：LLM-as-a-Judge）は、今まではとても難しいことでした。

調査の結果、ただ「自然さを5段階で点数をつけて」とAIに頼むと、AIは甘い点数をつけてしまい、みんな満点に近くなって差がつかなくなる「天井効果（てんじょうこうか）」という現象が起きました。そこでPFNは、人間が書いた高品質な「お手本の答え（模範解答）」を用意して、「AIの答えとどっちが自然？」と比較させる「相対評価（そうたいひょうか）」という方法を取り入れました。このやり方なら、たくさん日本語を勉強したAIと、翻訳したような不自然さが残るAIの差を、はっきりとした数字にすることに成功しました。これによって、一見完璧に見えるAIでも、まだ人間レベルには届いていない「もっと直せる部分」が見えるようになったのです。

このテストのおかげで、ただ「正解を出す」だけでなく、日本の私たちが使っていて違和感のない「自然な話し相手」になれるAIに一歩近づきました。PFNは、これからもお金や時間をかけすぎずに、高い精度でAIをチェックし続け、使いやすい日本生まれのAI（国産LLM）の開発をスピードアップさせる予定です。最近はAIの「考える力」ばかりが注目されていますが、今回の研究は、自分の国の言葉としての「話し方の自然さ」という基礎体力を、客観的なものさし（ベンチマーク）で測ることの大切さを改めて教えてくれました。