テレビシリーズを一気見するとき、一度に1エピソード分しか覚えていられないとしよう。次のエピソードに移ると、さっき見たものを一瞬ですべて忘れてしまう。では、その番組で見たすべてのエピソード、すべてのシーズンを覚えていられるとしよう。今度はストーリー、登場人物、紆余曲折を把握できる。
人工知能(AI)モデルの話では、一度に1エピソードしか記憶できず、次のエピソードに移ると強制的に忘れさせられることが「ショートコンテキストウィンドウ」に当たる。シリーズのすべてのエピソードを覚えていられることが、コンテキストが大きいAIモデル、すなわち「ロングコンテキストウィンドウ」に当たる。
つまり、ロングコンテキストウィンドウとは、モデルが同時に多くの情報を覚えていられるということだ。
ロングコンテキストウィンドウについて、そしてボットなどのシステムのパフォーマンスへの影響についてさらに知るには、AIにおける「コンテキスト」を理解する必要がある。
「ChatGPT」、チャットボットの「Gemini」「Microsoft Copilot」などのAIシステムは、AIモデル(それぞれ「GPT-3.5」「Gemini」「GPT-4」)をベースとして構築されている。モデルは知識を保持し、対話中の情報を記憶し、質問に適切に応答するなど、システムの「頭脳」として機能する。
AIにおけるコンテキストとは、AIがいま処理しているデータに意味と関連度を与える情報を指す。モデルが判断や応答生成の際に考える情報だ。
コンテキストはトークンという単位で測られ、コンテキストウィンドウは、モデルが一度に考慮できる(扱える)トークンの最大数を表す。各トークンは言語にもよるが、単語だったり単語の一部であったりする。英語の場合、1トークンは1単語であることが多く、GPT-4のようなAIモデルは、トークンウィンドウが1万6000(16k)トークンだと、およそ1万2000単語を扱える。
1万2000単語を扱えるAIチャットボットであれば、3000単語の記事や5000単語の論文を要約した上で、ユーザーが読み込ませたその文書の内容を忘れることなく、追加の質問に答えることができる。対話全体を通じて、それまでに伝えたメッセージのトークンも加味され、ボットは話されている内容の文脈(コンテキスト)を理解する。
したがって、対話がトークン数の上限以下に収まっていれば、AIチャットボットはすべてのコンテキストを保持できる。しかし、トークン数の上限を超えると、トークンウィンドウ以内に収めるために、最初の方のトークンは無視されたり失われたりする可能性が高く、ボットは文脈を見失うことになるかもしれない。
「Gemini 1.5 Pro」の100万トークンという巨大なトークンウィンドウをGoogleが誇らしげに宣伝するのはこのためだ。Googleの最高経営責任者(SEO)Sundar Pichai氏によると、コンテキストウィンドウが100万トークンならば、チャットボット「Gemini Advanced」でコードなら3万行以上、PDFファイルなら最大1500ページ、Cheesecake Factoryのメニューなら96冊を処理できるという。
Googleが先ほど、コンテキストウィンドウが100万トークンのモデルで「Gemini Advanced」をアップグレードしたと発表した。近く200万トークンになるという。
提供:Google
この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。