AIモデルの「ロングコンテキストウィンドウ」とは？

Maria Diaz （ZDNET.com）翻訳校正：緒方亮吉武稔夫（ガリレオ）

2024-05-16 09:45

　テレビシリーズを一気見するとき、一度に1エピソード分しか覚えていられないとしよう。次のエピソードに移ると、さっき見たものを一瞬ですべて忘れてしまう。では、その番組で見たすべてのエピソード、すべてのシーズンを覚えていられるとしよう。今度はストーリー、登場人物、紆余曲折を把握できる。

　人工知能（AI）モデルの話では、一度に1エピソードしか記憶できず、次のエピソードに移ると強制的に忘れさせられることが「ショートコンテキストウィンドウ」に当たる。シリーズのすべてのエピソードを覚えていられることが、コンテキストが大きいAIモデル、すなわち「ロングコンテキストウィンドウ」に当たる。

　つまり、ロングコンテキストウィンドウとは、モデルが同時に多くの情報を覚えていられるということだ。

　ロングコンテキストウィンドウについて、そしてボットなどのシステムのパフォーマンスへの影響についてさらに知るには、AIにおける「コンテキスト」を理解する必要がある。

　「ChatGPT」、チャットボットの「Gemini」「Microsoft Copilot」などのAIシステムは、AIモデル（それぞれ「GPT-3.5」「Gemini」「GPT-4」）をベースとして構築されている。モデルは知識を保持し、対話中の情報を記憶し、質問に適切に応答するなど、システムの「頭脳」として機能する。

　AIにおけるコンテキストとは、AIがいま処理しているデータに意味と関連度を与える情報を指す。モデルが判断や応答生成の際に考える情報だ。

　コンテキストはトークンという単位で測られ、コンテキストウィンドウは、モデルが一度に考慮できる（扱える）トークンの最大数を表す。各トークンは言語にもよるが、単語だったり単語の一部であったりする。英語の場合、1トークンは1単語であることが多く、GPT-4のようなAIモデルは、トークンウィンドウが1万6000（16k）トークンだと、およそ1万2000単語を扱える。

　1万2000単語を扱えるAIチャットボットであれば、3000単語の記事や5000単語の論文を要約した上で、ユーザーが読み込ませたその文書の内容を忘れることなく、追加の質問に答えることができる。対話全体を通じて、それまでに伝えたメッセージのトークンも加味され、ボットは話されている内容の文脈（コンテキスト）を理解する。

　したがって、対話がトークン数の上限以下に収まっていれば、AIチャットボットはすべてのコンテキストを保持できる。しかし、トークン数の上限を超えると、トークンウィンドウ以内に収めるために、最初の方のトークンは無視されたり失われたりする可能性が高く、ボットは文脈を見失うことになるかもしれない。

　「Gemini 1.5 Pro」の100万トークンという巨大なトークンウィンドウをGoogleが誇らしげに宣伝するのはこのためだ。Googleの最高経営責任者（SEO）Sundar Pichai氏によると、コンテキストウィンドウが100万トークンならば、チャットボット「Gemini Advanced」でコードなら3万行以上、PDFファイルなら最大1500ページ、Cheesecake Factoryのメニューなら96冊を処理できるという。