Copilotで回答される医療アドバイスの約22%が致死的な結果を及ぼす可能性

URLをコピーしました！

Copilotで回答される医療アドバイスの約22%が致死的な結果を及ぼす可能性

体の不調や悩みに関しては医療機関へ行くことが先決ですが、その前にインターネットで事前に情報収集を行うユーザーも多いです。Microsoft Bingで導入されているCopilotなどのAI検索に関して、ドイツのフリードリヒ・アレクサンダー大学がBMJ（British Medical Journal）に掲載され査読されたレポートによると、約22%の確率で死亡または深刻な健康被害を招くような回答が出ることが明らかになりました。

この研究ではMicrosoft Copilotにアメリカで最も頻繁に処方された薬50種類に関する質問に対し、Bing CopilotというAIチャットボットを使用して500の回答を生成しました。質問は、薬の使用目的、作用機序、使用方法、一般的な副作用、禁忌事項などをカバーしています。

回答内容の評価は可読性と正確性の2つの観点から行われているとのことです。可読性はフレッシュ・リーディング・イーズ・フォーミュラと呼ばれる教育レベルに応じた可読性の評価を用いています。正確性は医療専門家と患者向けに査読済みの薬情報を提供するDrugs.comと回答内容が比較され、あまりにも酷い回答に関しては薬物安全の専門家7人による評価結果も組み込まれています。

回答通りに行動すると致死に至る可能性が22％

結果としてはCopilotで生成された500回答のうち、54%が科学的に正しい回答ではあったものの、39%は科学的に正しくなく、26%は質問に対して回答が一致していない、そして3%は完全な不一致（まったく違う内容を回答）していたとのことです。また、患者がCopilotのアドバイスに従った場合の危険性について、3%は非常に高い確率で危害をもたらす可能性があり、29%が中程度の確率で危害をもたらすと評価されています。

また、回答内容の危険性については、全体の36%が危険性が伴わない回答でしたが、42%は中程度または軽度の危害を与える可能性があり、22%の回答は従うと死亡または深刻な被害を伴う回答であったとのことです。

研究ではAI回答は患者の質問に対しておおむね正確な回答を提供しているとのことですが、回答の読解が難しく、不正確な情報や情報の欠如が繰り返し見られ、患者の安全性に脅威を与える可能性があると結論づけており、薬や病気に関する医療的なアドバイスを求めるためにAI回答を使うことは危険であるとのことです。

なお、AI検索については今回指摘を受けているCopilotのほかにGoogleも「AIによる概要」と言うAI要約機能を提供しています。ただ、この回答に関しても「健康のため、1日1個の石を食べることが推奨されている」「ピザにチーズが乗るように接着剤を使う」「妊娠中は1日2~3本の煙草を吸うことを医者が推奨している」「太陽を30分以上見つめると健康に良い」など従えば健康被害が出ることが確実な回答を行っています。

Copilotを提供するMicrosoft、Googleなど多くの企業がここ最近AIが次なるイノベーションとして投資を拡大させていますが、Copilotを全面的に推しだすBingはシェア拡大に繋がっておらず、GoogleもGeminiをはじめとするAI機能を検索エンジンに組み込んでいますが、クオリティーが低くメリットよりデメリットの方が多いのが現状です。そんな中でこのように医療的なアドバイスを求めると致命的な結果を招く可能性があるとすると、今後この研究で明らかになった問題が顕在化するのも時間の問題と言え、生成AIを開発する企業側の対策が求められると言えます。