大規模言語モデル（LLM）のオープンソース化は、容易なことではない。Open Source Initiative（OSI）に聞いてみればいい。同団体は、人工知能（AI）に対応したオープンソースの定義に2年近く取り組んでいる。また、Meta Platformsなど一部の企業は、自社のLLMをオープンソース化したと主張しているが、実際にはそうではない。だが、IBMはついに、このオープンソース化をやってのけた。
IBMは、GitHubで一般公開されているデータセット（「GitHub Code Clean」「Starcoder」、公開コードリポジトリ、イシューなど）で事前にトレーニングされたデータを利用して、コードLLM「Granite」のオープンソース化を実現した。つまり、IBMは著作権や法律がらみの問題を回避するために多大な労力を費やしてきた。Graniteコードベースモデルは、3〜4テラバイトのコードデータトークンや自然言語コード関連のデータセットでトレーニングされている。
これらのモデルはすべて、Apache 2.0ライセンスの下で研究および商用を目的とする利用が許可されている。この「商用」という言葉こそが、他の主要なLLMのオープンソース化を阻んでいたものだ。他の企業はいずれも、自社のLLMがもたらす果実を共有することを望まなかった。
しかし、IBM ResearchのチーフサイエンティストであるRuchir Puri氏は、次のように述べている。「われわれは、最もパフォーマンスが高く、コスト効率に優れたコードLLMを公開することによって、ソフトウェアにおける生成AIの現状を変え、オープンコミュニティーが制限を受けることなくイノベーションに取り組めるようにした」
もっとも、制限はないとしても、想定される用途がないわけではない。
Graniteモデルは「誰もがあらゆることを試せるようにするものではない」と、IBMでエコシステム担当ゼネラルマネージャーを務めるKate Woolley氏は2023年の段階で述べている。「これ（Granite）は愛犬についての詩を書くためのものではない。当社が企業に使ってもらいたいと考えているビジネスユースケースにターゲットを絞り、調整ができるように厳選したモデルだ。はっきり言えば、これはプログラミング向けだ」
Graniteはデコード専用モデルで、116種類のプログラミング言語のコードでトレーニングされている。パラメーターの数は30億〜340億だ。複雑なアプリケーションのモダナイゼーションから、メモリーに制約のあるオンデバイスタスクまで、数多くの開発者の用途に対応する。
IBMはすでに、自社の「watsonx Code Assistant」（WCA）製品のためにこれらのLLMを社内で利用している。例えば、「WCA for Red Hat Ansible Lightspeed」におけるITの自動化や、「watsonx Code Assistant for Z」における「COBOL」アプリケーションのモダナイゼーションなどだ。誰もが高価な「watsonx」を購入できるわけではないが、これからは、IBMとRedHatの「InstructLab」でLLMのGraniteを利用できる。
RedHatのシニアバイスプレジデントで最高製品責任者（CPO）を務めるAshesh Badani氏によれば、InstructLabは「データサイエンスのスキル不足や必要なリソースの多さなど、ハイブリッドクラウド全体で生成AIが直面する障壁の多くを引き下げる」という。重要な点は、LLMを利用したいと考える開発者が参入しやすくすることだ。
では、どの程度障壁が下がるのだろうか。RedHatの社長兼最高経営責任者（CEO）であるMatt Hicks氏は2023年の「Red Hat Summit」で、次のように述べている。「ほんの1年前まで、ハイエンドのかなり複雑なハードウェアに組み込まれていた機能が、今ではノートPCで実行できるようになった。これまで数億ドル（数百億円）かかっていたトレーニング技術も、今では数千ドル（数十万円）で同じことができる」
提供：BlackJack3D/Getty Images
この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。
