統計によって理解度を定量化できるのだろうか。人工知能（AI）は倫理基準を満たしているのだろうか。いずれの疑問も表面的には同じくらい奇妙なものであり、その答えは同じくらいに明らかだ。しかし、AIのハイプが高まる中、この種の疑問は折に触れて何度も投げかけられるだろう。その答えを探る上で最先端の研究が助けとなるはずだ。
AI言語モデルと人間による選別
Gary N. Smith氏はMind Mattersへの投稿記事で、AI研究者らは数十年前に、極めて柔軟な人間の知性を模倣するコンピューターを構築するという目標をおおむね放棄し、有益な（つまり利益につながる）アルゴリズムを作り上げたと述べている。その上で、このような回り道が無理からぬものだったにもかかわらず、一部のAI開発企業は自ら作り出した知性を本物だとして売りこんでいると続けている。
Smith氏はポモナ・カレッジのフレッチャー・ジョーンズ経済学教授だ。同氏の研究は、金融市場や統計的推論、AIにとどまらず、しばしば株式市場における特異な変動や、統計のウソ、データの誤用にまで及んでおり、幅広い分野で引用されてきている。また同氏は、AIに関する著書を複数執筆しており、優れた学術出版物に対して授与されるPROSE賞の受賞歴もある。
Smith氏は同記事で、大規模言語モデル（LLM）がどの程度まで真の知性に近付いてきているのかを探求しようとしている。LLMの背後にあるアイデアはシンプルだ。人間が作り出した膨大な知識のデータセットを用いて機械学習（ML）アルゴリズムを訓練することで、人間が言語を使用する方法をシミュレートするモデルを生み出そうというものだ。
有名なLLMはいくつかある。例えば、Googleの「BERT」は早い時期から広く普及した高性能なLLMだ。BERTが登場したのは2018年だったが、既に象徴的な存在となっている。BERTを発表した文献は2022年時点で4万件近く引用されており、BERTを利用した複数のアプリケーションが生み出されているとともに、さらなる調査研究も進められている。
BERTは、LLMの中核とみなされているパラメーター数という点で、後発製品に大きく後れを取っている。パラメーター数は、各LLMが具現化している複雑さを表しており、AIの専門家の間では現在、モデルが大きいほど、すなわちパラメーター数が多いほど性能が高いとみなされている。
Googleの最新LLMである「Switch Transformer」は最大1.6兆ものパラメーターをサポートしており、110億のパラメーターを有する前モデルの「T5-XXL」と同等の精度の訓練において、最大7倍の速度向上を実現している。
