最新の大規模言語モデルは、管理された実験環境では極めて精密な診断を下すことができる。しかし、実際の人間特有の振る舞いに直面すると、その性能には驚くべき格差が生じることが新たな研究で明らかになった。医学誌『Nature Medicine』に掲載された研究によると、構造化された環境下で95%に達していた診断精度は、人間のボランティアとの対話形式になると35%未満にまで落ち込んだという。この乖離は、情報を断片的に伝えるといった患者特有の会話習慣が、高度なAIアーキテクチャを混乱させているというコミュニケーションの欠陥を浮き彫りにしている。

このリスクは単なる学術的な問題に留まらず、生死に関わる可能性を孕んでいる。研究チームは、症状を「ひどい頭痛」と表現するか「人生で最悪の頭痛」と表現するかといった、些細な言語的ニュアンスの違いが、AIの回答を劇的に変化させることを観察した。ある事例では、後者に対して脳卒中を正しく特定した一方で、前者には片頭痛を示唆した。こうした助言は、命を救うための治療を遅らせる恐れがある。その結果、安全管理団体は医療用AIチャットボットを「2026年における健康技術の重大な脅威」の一つに指定した。

意外なことに、AIチャットボットに相談した参加者よりも、従来の検索エンジンを利用した参加者の方が、診断精度が高いという結果が出た。これは、AIが膨大な知識を有している一方で、その推論プロセスがブラックボックス問題を抱えており、無関係な詳細情報に左右されやすいことが、厳選された検索結果よりも信頼性を欠く原因であることを示唆している。この課題を克服するには、プロンプト・エンジニアリングの根本的な改善や、会話の不確実性に対応するための新たなトレーニング手法が必要となるだろう。

最近のとても賢い「人工知能(LLM：大規模言語モデル)」は、決められたテストの中ではとても正確に答えを出します。しかし、実際の人間とお話しをしてみると、思わぬミスをたくさんしてしまうことが最新の研究で分かりました。研究によると、整った環境のテストでは95％も正解していたAIが、人間と自由に会話をしながら病気を見つける場面では、35％しか正解できませんでした。人間は情報を少しずつ小出しに話すクセがありますが、これがAIを混乱させてしまう(コミュニケーション・ギャップ)原因になっています。

この間違いは、命に関わることもあるため、とても深刻です。例えば、患者さんが「ひどい頭痛」と言うか「今までで一番の頭痛」と言うか、ほんの少しの言葉の使い方の違いで、AIのアドバイスは大きく変わってしまいます。ある実験では、本当はすぐに病院へ行くべき「脳卒中」だったのに、AIがただの「片頭痛」だと答えてしまった例もありました。そのため、安全を守る組織は、医療用のAIチャットボットを「2026年に最も注意すべき技術的な危険(ハザード)」のひとつに選んでいます。

意外なことに、普通の検索サイト(検索エンジン)を使って自分で調べた人の方が、最新のAIに聞いた人よりも正しい答えにたどり着けていました。AIはたくさんの知識を持っていますが、どういう理由でその答えを出したのかが外からは分かりにくく(ブラックボックス)、関係のない話にまどわされやすいという弱点があります。AIが本当に役立つようになるには、人間とのあやふやな会話を正しく理解できるように、AIへの指示の出し方(プロンプトエンジニアリング)や、学習の方法を根本から変えていく必要があります。