「ChatGPT」利用のヒント

「ChatGPT」の内部の働き--ユーザーの意図を踏まえた回答を生成する仕組み

David Gewirtz (Special to ZDNET.com) 翻訳校正: 川村インターナショナル

2023-07-22 08:30

 「Google」「Wolfram Alpha」「ChatGPT」はいずれも、単一行のテキスト入力フィールドでユーザーとやりとりし、テキストの結果を返す。Googleが返すのは検索結果であり、そのウェブページや記事のリストによって、検索クエリーに関連する情報が提供される(と願いたい)。Wolfram Alphaは通常、数学やデータ分析に関連する答えを返す。

 ChatGPTは対照的に、ユーザーの質問の裏にある文脈や意図に基づいて応答を提供する。たとえば、Googleに物語を書かせることはできないし、Wolfram Alphaにコードモジュールを作成させることはできないが、ChatGPTはそうしたことを実行できる。

 基本的に、Googleが得意としているのは、巨大なデータベースを検索してヒットした一連の結果を返すことだ。Wolfram Alphaは、データ関連の質問を解析し、それらの質問に基づいて計算を実行する能力を強みとしている。ChatGPTは、クエリーを解析し、デジタルでアクセス可能な世界中のテキストベースの情報(少なくとも2021年以前の訓練の時点で存在していた情報)の大半に基づいて、非常に具体的な回答や結果を生成することに長けている。

 この記事では、ChatGPTがその非常に具体的な回答を生成する仕組みについて解説する。まず、ChatGPTの動作における主要な段階を紹介し、続いてすべてを機能させる中核的なAIアーキテクチャーコンポーネントをいくつか取り上げる。

 記事内で引用した出典(その多くは各技術に関する元の研究論文)に加えて、ChatGPT自体を使って、この背景解説記事を作成した。ChatGPTには大量の質問をした。一部の回答は、この議論の全体的な文脈の中で別の表現に言い換えてある。

ChatGPTの動作における2つの主要な段階

 もう一度Googleを例に説明しよう。Googleに何かを調べてほしいと頼むとき、おそらくご存じだと思うが、頼んだ時点で答えを求めてウェブ全体を調べに行くわけではない。Google自体のデータベースを検索して、ユーザーのリクエストに一致するページを探す。Googleには、実質的に2つの主な段階がある。スパイダリングおよびデータ収集の段階と、ユーザーとの対話/検索の段階だ。

 大まかに言えば、ChatGPTも同じように機能する。データ収集の段階は事前学習と呼ばれ、ユーザーに応答する段階は推論と呼ばれる。生成AIの背後にある魔法のような機能と、短期間で爆発的に利用が拡大した理由は、事前学習の仕組みの極めて高いスケーラビリティーが突然証明されたことだ。そのスケーラビリティーを可能にしたのは、手頃な価格のハードウェアテクノロジーとクラウドコンピューティングにおける最近のイノベーションだった。

AIの事前学習の仕組み

 概して言うと(詳細に説明すると非常に長くなってしまうため)、AIの事前学習には、教師ありと教師なしという2つの基本的なアプローチを使用する。ChatGPTのような現在の生成AIシステムが登場するまでは、ほとんどのAIプロジェクトで教師ありアプローチが使用されていた。

 教師あり事前学習は、モデルをラベル付きのデータセットで訓練して、それぞれの入力を対応する出力に関連付けるプロセスだ。

 たとえば、AIを顧客サービスの会話のデータセットで訓練する場合、ユーザーの質問や苦情を、顧客サービス担当者からの適切な応答でラベル付けする。AIの訓練では、「パスワードをリセットするにはどうすればいいか」といった質問がユーザー入力として与えられ、「当社のウェブサイトのアカウント設定ページにアクセスし、プロンプトに従って進めば、パスワードをリセットできる」といった回答が出力として与えられる。

 教師あり学習のアプローチでは、モデル全体を訓練してマッピング機能を学習させ、入力を出力に正確にマッピングできるようにする。このプロセスは、分類、回帰、シーケンスラベリングなどの教師あり学習タスクでよく使用される。

 ご想像のとおり、このアプローチのスケーラビリティーには限界がある。人間の教師が多大な労力をかけて、あらゆる入力と出力を予測しなければならない。訓練には非常に長い時間がかかり、対象分野の専門知識だけに限定される可能性がある。

 しかし、周知のとおり、ChatGPTには分野の専門知識に関する制限がほとんどない。テレビドラマ「スタートレック」の登場人物であるマイルズ・オブライエン主任の履歴書を書かせることもできるし、量子物理学についての説明や、コードの作成、短編小説の執筆、米国の歴代大統領の政治スタイルの比較も可能だ。

 どのような質問をされるのか、すべてを予測することはできないため、ChatGPTが教師ありモデルで訓練されたとは考えられない。ChatGPTが使用するのは教師なし事前学習だ。これによって大変革がもたらされた。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    2023年OTサイバーセキュリティの現状レポート--75%の組織が過去1年間に1回以上の侵入を経験

  2. セキュリティ

    サイバーセキュリティ強化に向けてマイクロソフトが示す実践的な指針を紹介

  3. セキュリティ

    5分でわかる「AWS WAF」--基礎知識から運用で陥りやすい3つの落とし穴までを徹底解説

  4. セキュリティ

    最前線で活躍するトップランナーと本気で考える、これからのサイバーセキュリティ

  5. 経営

    ガートナーが指南、迅速な意思決定を促す「AI」活用を実践する3つの主要ステップ

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]