東京工業大学、東北大学、富士通、理化学研究所は5月22日、スーパーコンピューター「富岳」の政策対応枠を活用して、大規模言語モデル（LLM）の分散並列学習手法の研究開発を開始すると発表した。実施期間は2023年5月24日から2024年3月31日まで。
LLMは対話型AI「ChatGPT」をはじめとする生成AIの中核として使用されている深層学習のAIモデル。発表では、「インターネットやスマートフォンのように社会全体の在り方を変える革新的な技術」とし、政府が目指す「Society5.0」の研究開発、経済社会、安全保障などを支える基盤技術として期待されているという。その一方で、基盤モデルの性能を高めるためには大量データを効率的に処理する高性能計算資源が不可欠となっている。
今回開発する大規模言語モデル分散並列学習手法は、富岳の超大規模な並列計算環境においてLLMの学習を効率良く実行する技術となる。各機関・企業の役割は次の通り。
- 東京工業大学：全体総括、大規模言語モデルの並列化と高速化
- 東北大学：学習用データの収集、モデルの選択
- 富士通：大規模言語モデルの高速化
- 理化学研究所：大規模言語モデルの分散並列化・通信高速化、大規模言語モデルの高速化
今後は、日本の研究者やエンジニアがLLMの開発に活用できるように、今回の研究成果を2024年度に「GitHub」や「Hugging Face」で公開する予定。多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、効率的な方法が創出され、次世代の革新的な研究やビジネスの成果につながることを期待している。
また、ものづくりをはじめとする産業分野などへの応用を想定したマルチモーダル化のためのデータ生成手法と学習手法を開発する名古屋大学や、LLM構築のためのデータと技術を提供するサイバーエージェントとの連携も検討していくとしている。
