「ChatGPT」の精度を劣化させる「ドリフト」現象--米研究チームが検証

Sabrina Ortiz (ZDNET.com) 翻訳校正: 佐藤卓 高橋朋子 (ガリレオ)

2023-08-08 11:29

 「ChatGPT」を使っていて実際にそう感じたり、あるいはそのような記事を読んだりした人もいるだろう。ChatGPTの精度が劣化しているのではないかという、あのうわさは本当だったようだ。

ChatGPTと表示されたスマートフォン
提供:NurPhoto/Contributor/Getty Images

 この現象はいささか不可解に感じられる。なぜなら、生成人工知能(AI)モデルはユーザーからの入力を利用して自らを訓練し続けるため、時間とともにより多くの入力が蓄積されるほど賢くなるはずだからだ。

 その謎の答えは、「ドリフト」と呼ばれる概念にあるかもしれない。

 「ドリフト」とは、大規模言語モデル(LLM)が予期しない、あるいは予測不可能な振る舞いをし、元のパラメーターから逸脱してしまうことだ。こうした現象は、複雑なAIモデルの一部を改善しようとした結果、他の部分の性能が低下することで発生する可能性がある。

 カリフォルニア大学バークレー校とスタンフォード大学の研究チームが、ドリフト現象を検証するための研究で、広く用いられているLLM「GPT-3.5」(ChatGPTの基盤)と「GPT-4」(新しい「Bing」と「ChatGPT Plus」の基盤)の経時的変化を調査した。

 この研究では、両LLMの能力を、それぞれ2023年3月と6月のバージョンで比較した。比較したのは、数学の問題を解く能力、デリケートな質問に答える能力、意識調査に答える能力、知識を要するマルチホップ型の質問(複数のソースから情報をまとめなくてはならない質問)に答える能力、コード生成能力、米国医師免許試験の回答、および視覚的推論タスクの能力だ。

調査結果の棒グラフ
提供:Stanford University/UC Berkeley

 その結果、多くのタスクでGPT-4の3月バージョンが6月バージョンを上回った。最も顕著な差が出たのは基本的な数学のプロンプトで、例題(a)と(b)の両方で3月バージョンが6月バージョンを上回った。

 また、デリケートな質問への回答、コードの生成、医師免許試験の成績、意識調査への回答でも、3月の方が高成績だった。これらはすべてドリフト現象によるものと考えられる。

 GPT-3.5一方GPT-3.5では、多くのタスクで6月のバージョンが3月のバージョンを上回った。

 今回の研究に参加したJames Zou氏は、「(ドリフトが)起こるのではないかと疑ってはいたが、これほど速いペースでドリフトが発生していることは大きな驚きだった」とThe Wall Street Journal(WSJ)に語った。

 ただし、GPT-4とGPT-3.5のいずれも、6月の方が改善されていたタスクもあった。そのため研究者らは、LLMを使い続けるよう推奨しつつ、使用する際には注意を払い、常に検証する必要があるとしている。

この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ZDNET Japan クイックポール

マイナンバーカードの利用状況を教えてください

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]