野村総合研究所（NRI）は4月15日、80億パラメーターの比較的小規模なモデルをベースに、特定の業界やタスクに特化した大規模言語モデル（LLM）「業界・タスク特化型LLM」の構築手法を独自に開発したと発表した。この手法を用いて開発したモデルは、特定のタスクにおいて「GPT-4o」を超える性能を示しているという。
一般的な汎用（はんよう）モデルは幅広いタスクで利用できる一方、専門性の高いタスクや高度な専門知識、独自の用語・規制などへの対応が難しい。またパラメーター数が大きく、計算コストが高いという課題がある。NRIは、これらの課題を解消するため、低コストかつ高精度で実務に即した業界・タスク特化型LLMの構築手法を開発したという。
業界・タスク特化型LLMの構築には、「ベースモデルの選定」「業界知識適応モデルの構築」「タスク特化型LLMの構築」――の3段階のアプローチを採用している。
業界・タスク特化型LLM構築の流れ（出典：NRI）
ベースモデルには、日本語性能に優れた東京科学大学と産業技術総合研究所の「Llama 3.1 Swallow 8B」（80億パラメーター）を採用。同モデルは小規模であるため、計算リソースや運用コストを削減できるとしている。また、今回構築した手法では、パラメーターが公開されているLLMを基盤にしたことで、ベースモデルを特定のモデルに固定せずに、目的やタスクに応じて適切に選定することができるという。
業界知識適応モデルの構築では、金融業界を例に日本語の専門知識テキストデータを日本語金融コーパスとして独自に構築し、継続事前学習を実施した。継続事前学習は、既に一般的な知識を持つモデルに対して新たな領域やタスクに合わせた追加データでさらに学習させ、専門性や適応性を向上させる手法のこと。これにより、ベースモデルが持つ一般的な言語能力や知識を維持しつつ、業界特有の専門知識を効果的に習得させる汎用的な仕組みを構築した。
今回は、保険業界の営業コンプライアンスチェックをターゲットにタスク特化型LLMを構築。営業コンプライアンスチェックは、規制違反を含む会話データの収集が困難であるため、LLMを用いて多様なシナリオを想定した合成データを生成した。この合成データを基にファインチューニングを実施することで、該当タスクに特化したLLMを構築できたという。
この取り組みにより、保険業界の営業コンプライアンスチェック試験では、GPT-4oを9.6ポイント上回る正解率を実現したという。この試験は、評価データ344件に対して違反項目（なしも含む）の正答率で評価を実施している。
保険業界の営業コンプライアンスチェックの性能評価結果（出典：NRI）
NRIは今回の成果を基に、ほかの業界やタスクへの最適化を加速させる予定だ。業界・タスク特化型LLMの特徴である、小規模モデルによる高精度、低コスト、迅速で柔軟な適応性を生かし、汎用モデルでは対応が難しい専門領域に展開するとしている。2025年度には東京科学大学岡崎研究室との共同研究を予定しており、具体的な業界課題を反映した実証実験やモデル技術の改良を重ね、生成AIの社会実装を進める。さらに、ビッグテック企業やスタートアップとの連携も強化し、技術の商用展開や実用化を推進することで、多様な業界や用途での活用を拡大する。
