海外コメンタリー

グーグルの医療AI「Med-PaLM」開発に見るプロンプトエンジニアリングの重要性

Tiernan Ray (Special to ZDNET.com) 翻訳校正: 石橋啓一郎

2023-07-26 06:30

 医療分野における人工知能(AI)の応用事例では、多くの場合、言語をうまく使えていないようだ。米国時間7月17日、GoogleのAI部門であるDeepMindの論文が、極めて権威のある学術誌であるNatureに掲載された

3Dの人体を見つめる人物
提供:gnatiev/Getty Images

 同社は、さまざまな医療関係のデータセットに含まれている質問に回答できるようにチューニングされた、「ChatGPT」で使われているのと同じような大規模言語モデル(LLM)である「Med-PaLM」を開発した。使われたデータセットの中には、Googleが新たに考案した、一般の消費者がインターネットでよく尋ねている質問を反映したデータセットも含まれている。この「HealthSearchQA」と呼ばれるデータセットは、検索エンジンによって生成された「消費者からよく検索されている3173件の質問」(例えば「心房細動はどのくらい深刻な問題か」といった質問)から構成されている。

 同論文の著者らは、最近AI研究において重要性を増している研究分野である「プロンプトエンジニアリング」に注目した。プロンプトエンジニアリングは、望ましい出力の例を厳選してAIに示すことによって、AIの回答を改善する技法だ。

 ちなみに、AIの分野ではモデルの詳細な情報を開示することが一般的な慣行になっているが、最近ではGoogleやOpenAIが技術情報を隠すようになっており、Med-PaLMもその例に倣っている。

論文から引用された図、Med-PaLMのチューニングに使用された指示プロンプト
Med-PaLMは、GoogleのLLMである「PaLM」から派生した「Flan-PaLM」をベースとして、人間の手によるプロンプトエンジニアリングによって構築された。
提供:Google/DeepMind

 人間の臨床医から構成された評価者グループによって評価したところ、HealthSearchQAに含まれている質問に対するMed-PaLMの回答は非常に優れたものだった。回答が医学界のコンセンサスに沿ったものであるかどうかを基準として評価した結果、Med-PaLMは92.6%のスコアを獲得し、GoogleのLLM「PaLM」の派生モデルが上げた61.9%を大幅に上回っただけでなく、人間の臨床医の平均スコアである92.9%に迫る結果を残した。

 ただし、医学に関する専門知識を持っていない一般人のグループが、「(一般消費者が)その回答から結論を導き出せるか」という観点から回答を評価したところ、有用だったと評価されたMed-PaLMの回答は80.3%だった。これに対して、人間の医師の回答は、91.1%の割合で有用だと評価された。論文では、この結果は「(Med-PaLMの回答を)人間の臨床医が提供したアウトプットの品質に近づけるためには、まだかなりの努力が必要」であることを示していると述べている。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ZDNET Japan クイックポール

自社にとって最大のセキュリティ脅威は何ですか

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]