富士通は10月22日、AIを処理するGPUの演算効率を最適化するミドルウェア「AI computing broker」を発表した。世界的なGPUの枯渇問題解決の一助としても期待され、AIサービス事業者やクラウドサービス事業者向けに提供を開始する。
同社は、2023年11月に、高い実行効率が見込める処理に対してリアルタイムかつ優先的にGPUを割り振ることで、CPUとGPUの計算リソースを最適化する「アダプティブGPUアロケーター技術」を独自に開発している。
今回のAI computing brokerは、アダプティブGPUアロケーター技術と各種のAI処理最適化技術を統合したものとのこと。同社によれば、複数プログラム中のGPUを必要とするAI処理部を見極め、計算リソースの割り当てや最適化を自動的に行う。従来のジョブ単位で割り当てる方法とは異なり、動的にGPUのリソースをGPUの計算単位で割り当てて稼働率を向上させるほか、GPUメモリーの管理機能もあり、ユーザーがプログラムで使用するGPUのメモリー量や、GPUの物理的なメモリー容量を気にすることなく、多数のAI処理を割り付けることが可能になるという。
同社によれば、今回の技術はオンプレミスからクラウドまで、また、単一GPUで使用するAIアプリケーションから複数のGPUを用いる大規模言語モデル（LLM）開発まで幅広く適用できるとする。
富士通は、2024年5月にトレーダム、さくらインターネット、AWL、エクストリーム-D、モルゲンロットと共同で、単一のGPUを用いた同技術を試行。同技術の非適用時に比べて、GPUの単位時間当たりの処理性能が最大2.25倍に向上する効果を確認したという。また、上述のメモリー管理機能に関しては、最大でGPUの物理メモリー容量の約5倍に相当する150GBメモリーを必要とするAI処理でも同時に取り扱えることを確認したとしている。
技術概要と試行結果（出典:富士通）
この試行の結果を踏まえて、トレーダムが10月から同技術を採用し、さくらインターネットが富士通と共同で複数のGPUに同技術を適用する実証実験を開始する。富士通は今後、さらに大規模な環境での利用を想定した同技術の適用など、適用範囲を拡張させていくという。
GPUは、世界的なAI／生成AIの処理需要の高まりを受けて世界的に枯渇しており、今後も供給のひっ迫が見込まれる。富士通は、今回の技術の活用で、AI処理における既存GPUの演算効率の向上とGPUコストの削減、あるいは1つのGPUにできるだけ多くのAI処理を割り当てることが可能になり、AIサービス事業者やクラウドサービス事業者のGPUの運用、世界的なGPUの不足や増大する電力消費などの問題の改善に一助になるとしている。
