リコーは、東京工業大学と産業技術総合研究所が開発した日本語大規模言語モデル（LLM）の「Llama-3-Swallow-70B」をベースに、独自のモデルマージ技術を用いて高性能な日本語LLMを開発した。
このモデルは、複雑な指示やタスクを含む日本語ベンチマーク「ELYZA-tasks-100」を用いた評価で、GPT-4と同等レベルのスコアを達成した。さらに、ほかのLLMと比較して、全てのタスクに対して日本語で回答し、高い安定性を示しているという。
ベンチマークツール（ELYZA-tasks-100）における他モデルとの比較結
Llama-3-Swallow-70Bは、米Meta Platformsによる最新LLM「Meta-Llama-3-70B」の日本語性能を向上させたモデルになる。
マージしたモデルは、Llama-3-Swallow-70BとMetaの「Chat Vector」、リコー製のChat Vectorの3つ。Chat Vectorは、MetaのInstructモデルからベクトル抽出したもので、指示追従能力に特化している。リコーのChat Vectorは、リコーのInstructモデルから抽出したもので、リコーが独自に開発した約1万6000件のインストラクションチューニング済みのデータで追加学習している。
リコーは、自社製LLMの開発だけでなく、顧客の用途や環境に合わせて最適なLLMを低コスト・短納期で提供するため、モデルマージ技術をはじめとする多様な手法・技術の研究開発を推進している。同社のモデルマージ技術は、複数のLLMを効率的に組み合わせることで、高性能なLLMを低コスト・短期間で開発できるという。日本語の特性に最適化されたLLMを開発することで、高い精度と安定性を実現しており、企業独自のデータで学習させたプライベートLLMを構築することで、機密性の高い情報も安心して活用できる。
