いわゆるマルチビューとは、2つの異なる信号が、同じ対象物について違いはあっても共通して持っている情報を考慮することで、それらの信号を関連付ける方法のことだ。マルチビューは、世界の構造をより豊かに認識できるマシンへの道を開く可能性があり、「推論」と「計画」が可能なマシンという目標の達成に貢献するかもしれない。
Tiernan RayとDALL•E「1つのリンゴを複数の視点から捉えた額縁入りの画像」
非常に大きな成功を収めている人工知能（AI）、たとえば「ChatGPT」や、タンパク質を予測するDeepMindの「AlphaFold」などは、1つの著しく狭い次元に閉じ込められてきた。すなわち、AIは物事を1つの側面からしか認識しない。1つの単語、1つの画像、空間内の1つの座標、何らかの種類のデータとして認識するが、1度に1つだけだ。
極めて近い将来、ニューラルネットワークはデータ形式の融合によって劇的に拡大し、この世を多くの側面から見られるようになるだろう。これは重要な進展だ。というのも、世界のまとまりや物事の結びつきの仕組みに関して、ニューラルネットワークの基盤が強化される可能性があるからであり、世界を対象にいわゆる「推論」や「計画」を実行できる未来のプログラムに向けた動きが、重要な段階に入るかもしれない。
到来しつつある多面データの波は、機械学習の科学者による長年の研究に端を発するもので、一般に「マルチビュー」またはデータフュージョンと呼ばれている。学術出版大手のElsevierは、このテーマに特化した「Information Fusion」という学術雑誌を発行しているほどだ。
人間が調べようとする世界のあらゆるものには、多数の側面が同時に存在する。これがデータフュージョンの深遠な考え方だ。たとえば、ウェブページには、肉眼で見えるテキストと、そのページへリンクするアンカーテキストの両方がある。あるいは、3つ目の要素として、ページの構造の基礎を成すHTMLやCSSのコードも存在する。
人間の画像には、その人物の名前のラベルと画像のピクセルの両方が含まれる場合がある。動画には、動画のフレームだけでなく、そのフレームに付随するオーディオクリップも入っている。
現在のAIプログラムは、そうした多様なデータを世界に関する別々の情報として扱い、情報の関連付けはほとんど、あるいは全く行わない。ニューラルネットがテキストや音声といった複数の種類のデータを処理するとしても、せいぜいそれらのデータセットを同時に処理するだけだ。複数の種類のデータが同じ物事を対象としていることを理解して、それらを明示的に関連付けるわけではない。
たとえば、Facebook、Instagram、WhatsAppを所有するMeta Propertiesは米国時間8月22日、機械翻訳における最新の取り組みを発表した。これは、複数のデータモダリティーの使用に関する偉業だ。この「SeamlessM4T」というプログラムは、音声データとテキストデータの両方で同時に訓練されており、あらゆるタスクでテキストと音声の両方を生成することができる。
だが、SeamlessM4Tはそれぞれの信号のそれぞれの単位を同じ対象物の1つの側面と認識しているわけではない。
そうした断片的な物の見方が変わり始めている。ニューヨーク大学の助教授兼ファカルティーフェローのRavid Shwartz-Ziv氏とMetaの主任AI科学者のYann LeCun氏は、先頃発表した論文の中で、マルチビューを使用して、対象物を複数の視点から表現することで、深層学習ニューラルネットワークを強化するという目標について論じた。
現在のディープニューラルネットワークでは、対象物が関連のない複数の信号に分割される。やがて到来するマルチモダリティーの波は、画像、音声、テキスト、点群、グラフネットワークなどの多種多様な信号を統合して、物事の構造をより豊かなモデルで表現できるようになるかもしれない。
Tiernan RayとDALL•E「優美な金色のフレームが付いた大きな四角い鏡に映る自分を見つめるリンゴ」
