リコー、モデルマージによってGPT-4oと同等の高性能な日本語LLM（700億パラメータ）を開発

株式会社リコー（社長執行役員：大山 晃)は、米Meta Platforms社が提供する「Llama-3.3-70B-Instruct」の日本語性能を向上させた「Llama-3.3-Swallow-70B-v0.4*1」をベースモデルに、同社のInstructモデルから抽出したChat Vector*2と、リコー製のChat Vector*3を独自のノウハウでマージすることで、リコーが開発・提供する700億パラメータの日本語大規模言語モデル（LLM*4）の性能を向上させました。ベンチマークツールによる検証の結果、米OpenAIが開発したGPT-4oと同等レベルの優れた性能が確認されました（2025年3月25日時点）。高性能でありながら、省コスト・省リソースを実現し、オンプレミス環境でお客様情報の追加学習が可能なプライベートLLMとして、企業内での導入を支援します。

生成AIの普及に伴い、企業が業務で活用できる高性能なLLMへのニーズが高まっています。しかし、LLMの追加学習には、高コスト、かつ長時間を要するという課題があります。こうした課題に対し、複数のモデルを組み合わせて、高性能なモデルを構築する「モデルマージ*5」は効率的な開発手法として注目されています。
リコーは、モデルマージのノウハウとLLM開発の知見を活かし、今回、新たなLLMを開発しました。本技術は、企業独自のプライベートLLMや特定業務向けの高性能LLMを効率的に開発するための一助になります。リコーは、自社製LLMの開発にとどまらず、お客様の用途や環境に最適なLLMを低コスト・短納期で提供するために、多様で効率的な手法・技術の研究開発を推進してまいります。

【評価結果】
複雑な指示・タスクを含む代表的な日本語ベンチマーク「ELYZA-tasks-100」と日本語のマルチターンの対話能力を評価する「Japanese MT-Bench」の2つのベンチマークツールを組み合わせて、平均スコアを比較しました。今回リコーがモデルマージの手法で開発したLLMはGPT-4o (gpt-4o-2024-08-06)と同等レベルの高いスコアを示しました（評価には「gpt-4o-2024-08-06」を使用）。


(リンク »)


ベンチマークツールにおける他モデルとの比較結果（リコーは最下段）


■リコーのAI開発について
リコーは、1990年代にAI開発を開始し、2015年からは画像認識技術を活かした深層学習AIの開発を進め、外観検査や振動モニタリングなどへの適用を行ってきました。2020年からは自然言語処理技術を活用し、オフィス内の文書やコールセンターに寄せられた顧客の声（VOC）などを分析して業務効率化や顧客対応に活かす「仕事のAI」の提供を開始しました。
さらに、2022年からはいち早く、大規模言語モデル（LLM）の研究・開発に着目し、2023年3月にはリコー独自のLLMを発表。その後も、700億パラメータの大規模ながらオンプレミスでも導入可能なLLM（日英中3言語に対応）を開発するなど、お客様のニーズに応じて提供可能なさまざまなAIの基盤開発を行っています。また、画像認識や、自然言語処理に加え、音声認識AIの研究開発も推進し、音声対話機能を備えたAIエージェントの提供も開始しています。

*1　Llama-3.3-Swallow-70B: 東京科学大学情報理工学院の岡崎研究室と横田研究室、国立研究開発法人産業技術総合研究所の研究チームで開発された日本語LLMモデル。2025年3月10日に公開。
*2　Chat Vector：指示追従能力を持つモデルからベースモデルのウェイトを差し引き、指示追従能力のみを抽出したベクトル。
*3 リコー製のChat Vector: Meta社のベースモデル「Meta-Llama-3-70B」に対し、リコー独自開発を含む約1万6千件のインストラクションチューニングデータで追加学習したInstructモデルから抽出したChat Vector。
*4　Large Language Model （大規模言語モデル）:人間が話したり書いたりする言葉（自然言語）に存在する曖昧性やゆらぎを、文章の中で離れた単語間の関係までを把握し「文脈」を考慮した処理を可能にしているのが特徴。「自然文の質問への回答」や「文書の要約」といった処理を人間並みの精度で実行でき、学習も容易にできる技術。
*5　モデルマージ：複数の学習済みのLLMモデルを組み合わせて、より性能の高いモデルを作る新たな方法のこと。GPUのような大規模な計算リソースが不要で、より手軽にモデル開発ができるとして、近年注目されています。
*6　ELYZA-tasks-100のスコア：Japanese MT-Benchとの平均スコアを算出するため、ELYZA-tasks-100のスコア（5点満点）を2倍に算出し、比較しています。



■関連ニュース
リコー、モデルマージによってGPT-4と同等の高性能な日本語LLM（700億パラメータ）を開発
(リンク »)
リコー、日英中3言語に対応した700億パラメータの大規模言語モデル（LLM）を開発、お客様のプライベートLLM構築支援を強化
(リンク »)
インストラクションチューニング済みの130億パラメータの日本語LLMを開発
(リンク »)
日本語精度が高い130億パラメータの大規模言語モデル（LLM）を開発
(リンク »)



|　リコーグループについて　|
リコーグループは、お客様のDXを支援し、そのビジネスを成功に導くデジタルサービス、印刷および画像ソリューションなどを世界約200の国と地域で提供しています（2024年3月期グループ連結売上高2兆3,489億円）。
“はたらく”に歓びを　創業以来85年以上にわたり、お客様の“はたらく”に寄り添ってきた私たちは、これからもリーディングカンパニーとして、“はたらく”の未来を想像し、ワークプレイスの変革を通じて、人ならではの創造力の発揮を支え、さらには持続可能な社会の実現に貢献してまいります。

詳しい情報は、こちらをご覧ください。 (リンク »)