MITの研究チームが、人工知能における隠れた危険性に警鐘を鳴らしている。それは、過度に集計された「評価指標」への依存だ。大規模なデータセットで高い精度を叩き出した診断モデル。しかし、情報意思決定システム研究所（LIDS）の最新研究は、それが時に危険な錯覚であることを証明した。 研究によれば、ある病院で「最高」とされたモデルが、別の環境では75%もの患者に対して「最悪」の結果をもたらすケースが判明したという。この原因は「偽相関」にある。AIが疾患の医学的特徴ではなく、病院特有の画像の印といった無関係な要素を診断の手がかりにする「思考の近道」をしてしまうのだ。 この課題を解決すべく、チームはアルゴリズム「OODSelect」を開発した。これはモデルの精度が崩壊する特定の集団を正確に特定するツールだ。トップランクのモデルがどこでも通用するという思い込みを捨て、システムが現実世界に適応する「汎化」能力を正しく測定する。医療という命に関わる現場において、AIが偶然のパターンではなく、堅牢な根拠に基づき判断を下すための「AI安全性」の鍵となるだろう。

MITの研究チームが、人工知能における隠れた危険性に警鐘を鳴らしている。それは、過度に集計された「評価指標」への依存だ。大規模なデータセットで高い精度を叩き出した診断モデル。しかし、情報意思決定システム研究所（LIDS）の最新研究は、それが時に危険な錯覚であることを証明した。 研究によれば、ある病院で「最高」とされたモデルが、別の環境では75%もの患者に対して「最悪」の結果をもたらすケースが判明したという。この原因は「偽相関」にある。AIが疾患の医学的特徴ではなく、病院特有の画像の印といった無関係な要素を診断の手がかりにする「思考の近道」をしてしまうのだ。 この課題を解決すべく、チームはアルゴリズム「OODSelect」を開発した。これはモデルの精度が崩壊する特定の集団を正確に特定するツールだ。トップランクのモデルがどこでも通用するという思い込みを捨て、システムが現実世界に適応する「汎化」能力を正しく測定する。医療という命に関わる現場において、AIが偶然のパターンではなく、堅牢な根拠に基づき判断を下すための「AI安全性」の鍵となるだろう。