人工知能（AI）の分野が大きな盛り上がりを見せた1つ前の時代である70年代後半から80年代にかけての時期に、人間の知識をコンピューターに入力したプログラムである「エキスパートシステム」と呼ばれるアプローチが知られるようになった。
エキスパートシステムは最終的には失敗に終わったのだが、これは、2つの理由からコードとして実現するのが困難であることが明らかになったからだ。そもそも、専門家が自分の知識を本当の意味で明確に記述すること自体が難しかったし、構築と維持に手間がかかりすぎた。つまり、構造的に規模を拡大することが難しかったわけだ。
サンフランシスコに本社を置く創業3年目のAIスタートアップであるSnorkelは、米国時間12月14日、この古いアプローチに興味深いひねりを加えた製品を発表した。同社の表現によれば、この製品は、ニューラルネットワークを開発するにあたって再び人間の専門家に主導権を握らせることになるツール群だという。
提供：Snorkel
Snorkelの「Data-centric Foundation Model Development」（データ中心型基盤モデル開発）と呼ばれる製品は、同社の主力製品である「Snorkel Flow」をさらに強化するもので、この新機能を使えば、いわゆる「基盤モデル」を使って、ラベル付きのトレーニング用データを自動的に作成する関数を作ることができる。基盤モデルとは、OpenAIの「GPT-3」などを始めとする、これまでに存在する中でも最大規模のニューラルネットワークのことだ。
Snorkel Flowに導入されるこの新たな関数を使えば、特定分野の専門家ではあるが、プログラマーではない人々が、基盤モデルをトレーニングして特定の作業を実行できるモデルを作成する際に使用するラベル付きデータセットを、自動的に生成できるようになる。
Snorkelの共同創業者で最高経営責任者（CEO）のAlex Ratner氏は、米ZDNetの「Zoom」によるインタビューの中で、「私たちは、特定領域の専門知識はあるが開発者でない人材をスキルアップし、エンパワーすることで、そのプロセスでもっと力を発揮できるようにしたいと考えている」と語った。
「これらの専門知識を持った人々は、しばしば手動でデータにラベル付けを行うための閉じた環境に押し込められている」とRatner氏は言う。「私たちは、そうした人材に主導権を握ってもらい、データサイエンティストと一緒にプロジェクトを主導したり、自ら主導したりしてもらいたいと思っており、彼らはそういう立場に立つべきだと考えている」
OpenAIのGPT-3や「Dall•E 2」、Googleの「RoBERTa」などの基盤モデルが人気を集めているのは、それらのモデルが持っているテキストや画像を生成する能力が、カスタマーサービスを提供するボットや、業務文書の作成や、在庫の写真の作成など、企業の幅広い業務に応用できるからだ。
基盤モデルは膨大なデータを必要とする。Open-AIが2020年にトレーニングしたGPT-3には、有名なデータセット「CommonCrawl」が使われているが、これは、2016年から2019年にかけてウェブページから取得された、45TB相当の圧縮テキストデータだ。OpenAIは、そのデータを扱える規模にするために、キュレーションを行ってサイズを570GBまで絞らなければならなかった。ほとんどの企業には、負担が大きすぎてこのようなモデルをトレーニングすることはできない。
