Google、LLMの「性格」を心理学的手法で検証
- •Googleの研究チームが、従来の自己申告式アンケートに代わり、状況判断テストを用いてLLMを評価。
- •モデルは曖昧で意見が分かれる状況において、一貫して危険なまでの過信を示す傾向がある。
- •25種類のLLMを分析した結果、多様な人間の意見を反映できていないシステム的な失敗が浮き彫りになった。
大規模言語モデル（LLM）は単なる次単語予測エンジンではなく、私たちの生活に深く根ざしたアドバイザーへと変貌を遂げている。Googleリサーチが発表した「Evaluating alignment of behavioral dispositions in LLMs」は、モデルの技術的精度ではなく、社会心理学的な側面からAIの振る舞いを問い直す意欲的な研究だ。
研究チームは、信頼性に欠ける自己申告式クイズを避け、状況判断テスト（Situational Judgment Test）を採用した。これは「このような状況であなたならどうするか？」という問いを重ねることで、共感性や感情調整能力といった心理的特性を、行動シミュレーションを通じて観察する手法である。理論的な回答ではなく、ストレスや葛藤に対するモデルの現実的な反応を引き出そうという試みだ。
検証の結果、AIの社会的な整合性について重要な示唆が得られた。最高性能のモデルは、合意形成が明確な場面では人間と近い判断を下す「指向的整合性」を示したが、曖昧な状況では脆さを露呈した。意見が割れるようなケースにおいて、モデルは多様な視点を反映する代わりに、単一の「正解」が存在するかのように振る舞い、一貫して過度な自信を見せたのだ。
また、研究で注目されたのが分布的多元主義（Distributional Pluralism）という考え方だ。これはAIが特定の意見に収束せず、人間の多様な視点を幅広く反映すべきだという原則である。しかし、分析した25のモデルすべてがこの原則を満たしておらず、文脈の複雑さにかかわらず画一的な「性格」を適用していることが明らかになった。
今後、AIが私たちの代理として交渉や意思決定を行う未来において、こうした隠れたバイアスを理解することは不可欠だ。これは単なるコードのデバッグ作業ではない。デジタルアシスタントの「性格」を監査し、スマートであるだけでなく、社会的かつ知的に謙虚なシステムを構築するための不可欠なステップである。