NVIDIAは米国時間11月13日、同社の最新のサーバー向けGPUである「NVIDIA HGX H200」を発表した。「NVIDIA Hopper」アーキテクチャーを使用したこのGPUには、生成人工知能（AI）やハイパフォーマンスコンピューティングの大容量データを扱うために、最新のメモリー技術を採用している。
提供：NVIDIA
H200は、世界で初めて「HBM3e」のメモリーを搭載したGPUだ。メモリーの容量は141GB、帯域幅は4.8TB/sで、前世代の「NVIDIA A100」と比べ、容量は約2倍、帯域幅は約2.4倍のスペックになっている。大規模なデータを高速に処理できるため、大規模言語モデルを使用した生成AIや、ハイパフォーマンスコンピューティングの処理を大幅に高速化できるという。
フォームファクターには、4ウェイ構成もしくは8ウェイ構成のNVIDIA HGX H200サーバーボードの2種類が用意される。これらは、前世代のH100とハードウェアとソフトウェアの両面で互換性がある。サーバーメーカーやクラウド事業者からH200を使用した製品やサービスが提供され始めるのは2024年第2四半期になる見込みで、2024年からH200を使用したインスタンスの提供を開始するクラウドプロバイダーのリストには、Amazon Web Services、Google Cloud、Microsoft Azure、Oracle Cloud Infrastructureの名前が挙がっている。
H200ではパフォーマンスが劇的に向上しており、NVIDIAは、700億パラメーターの大規模言語モデルである「Llama 2」の場合、前世代のH100を使用した場合と比較して、推論速度が2倍近くに跳ね上がると述べている。また、今後のソフトウェアのアップデートでさらなる速度向上が見込まれるという。
