生成型の人工知能（AI）が抱える大きな課題の1つとして、こうしたAIがOpenAIなどの企業によってクローズド環境で開発されている場合、その機能を直接検証できず、ブラックボックスのようになってしまうということが挙げられる。
提供：luckyraccoon/Getty Images
「GPT-4」といったチャットプログラムの動作を詳細を調べられない場合、真っ赤なウソを吐き出していないという確証を得るにはどうすればよいだろうか。
オックスフォード大学とイェール大学の研究者らはこうした脅威に立ち向かうために、大規模言語モデル（LLM）の出力に含まれている虚偽を洗い出せる、ウソ発見器とでも呼べるものを作り上げたという。このウソ発見器は、チャットプログラムの内部にアクセスしなくても、各対話に引き続いてイエス／ノーで答えられる一連の無関係な質問を投げかけるだけで目的を達成できるとされている。
この研究者らの論文によると、作成したウソ発見器は当初の対象ではないLLMにも適用でき、初めて出会うプロンプトや、数学の質問のような今までに遭遇したことのないトピックのデータベースにも対応できるという。
このウソ発見器について説明する論文、「How to catch an AI liar: lie detection in black box LLMs by asking unrelated questions」（ウソつきAIを捕まえるには：ブラックボックス化されているLLMに無関係の質問を投げかけることでウソを見抜く方法）には、プレプリントの論文を発表するサーバー「arXiv」からアクセスできる。その論文の中で、主執筆者であるオックスフォード大学のLorenzo Pacchiardi氏と、ケンブリッジ大学やイェール大学の協力者は「このウソ発見器は、シンプルであるにもかかわらず、極めて精度に優れており、汎用性も驚くほど高い」と記している。
AI用のウソ発見器とはどのようなものだろうか。Pacchiardi氏率いる研究者らは、チャットプログラムが「知っている」と考えられる事実があるにもかかわらず、それとは異なった出力を生成するケースに焦点を当てている。ここでのチャットプログラムが「知っている」という言葉の意味は、当然ながら明確に定義されているわけではなく、単なる概念にすぎない。
同論文は「われわれの定義において、誤った回答をウソと呼んでよいのは、話者が正しい回答を知っている場合のみだ」と記している。そういう意味で、Pacchiardi氏率いる研究者らは、オックスフォード大学が設立した人類の未来研究所（FHI：Future of Humanity Institute）のOwain Evans氏をはじめとする研究者らによる2021年の論文に記されている定義、すなわちAIのウソを「積極的に選択された誤り」とする考え方を踏襲している。
