|
|
|---|---|
| FP64(TFLOPS) | 30 |
| FP64 Tensor コア(TFLOPS) | 60 |
| FP32(TFLOPS) | 60 |
| TF32 Tensor コア(TFLOPS) | 835 |
| BFLOAT16 Tensorコア(TFLOPS) | 1,671 |
| FP16 Tensorコア(TFLOPS) | 1,671 |
| FP8 Tensorコア(TFLOPS) | 3,341 |
| INT8 Tensorコア(TOPS) | 3,341 |
| GPUメモリ | 141GB |
| GPUメモリー帯域幅 | 4.8TB/s |
| デコーダー | 7 NVDEC 7 JPEG |
| コンフィデンシャル コンピューティング | サポート対象 |
| 最大熱設計電力（TDP） | 最大600W（設定可能） |
| マルチインスタンスGPU | 最大7パーティション（各16.5GB） |
| フォームファクター | PCIe デュアルスロット空冷 |
| 相互接続 | 2台または4台構成時のNVIDIA NVLink ブジッジ : GPU1台あたり 900 GB/s PCIe Gen5 : 128 GB/s |
| NVIDIA AI Enterprise | 同梱 |
| 排熱機構 | パッシブ（冷却ファンなし） |
NVIDIA H200 PCle 141GB NVL
NVIDIA H200 NVLは、柔軟な構成が求められる空冷式エンタープライズラック向けに最適化された低消費電力モデルです。あらゆる規模のAIおよびHPC処理に対応する高い処理性能を実現します。最大4基のGPUをNVIDIA NVLink™で接続し、1.5倍のメモリ容量を備えることで、大規模言語モデル (LLM) の推論処理ではH100 NVL比で最大1.7倍、HPC処理では最大1.3倍の性能向上を達成しています。
生成AIとHPCのためのGPU
NVIDIA H200 TensorコアGPUは、市場を一変させるパフォーマンスとメモリ機能で生成AIとHPCワークロードを強化します。HBM3eを搭載した初のGPUであるH200の大容量かつ高速のメモリは、HPCワークロードのための科学コンピューティングを推進しながら、生成AIと大規模言語モデル（LLM）の高速化を促進します。
NVIDIA H200のイノベーション
大容量で高速なメモリによる高いパフォーマンス
NVIDIA HopperアーキテクチャをベースとするNVIDIA H200は、4.8TB/sで141GBのHBM3eメモリを提供する初のGPUです。これは、NVIDIA H100 TensorコアGPUの約2倍の容量で、メモリ帯域幅は1.4倍です。H200の大容量かつ高速なメモリは、生成AIとLLMを加速し、エネルギー効率を向上させ、総所有コストを低減し、HPCワークロードのための科学コンピューティングを前進させます。
高性能なLLM推論でインサイトを引き出す
進化し続けるAIの世界では、企業はさまざまな推論のニーズに対応するためにLLMを利用しています。AI推論アクセラレータは、大規模なユーザーベース向けにデプロイする場合、最小のTCOで最高のスループットを実現する必要があります。
H200は、Llama2のようなLLMを扱う場合、H100 GPUと比較して推論速度を最大2倍向上します。
ハイパフォーマンスコンピューティングをスーパーチャージ
メモリ帯域幅は、より高速なデータ転送を実現することで、ボトルネックとなる複雑な処理を削減するため、ハイパフォーマンスコンピューティングアプリケーションにとって極めて重要です。シミュレーション、科学研究、人工知能のようなメモリを大量に使用するHPCアプリケーションでは、 H200の高いメモリ帯域幅が、データへのアクセスと操作を効率化し、CPUと比較して110倍の早さで結果を得ることができます。
エネルギーとTCOの削減
H200の導入により、エネルギー効率とTCOが新たなレベルに到達します。この最先端のテクノロジーは、すべてH100 TensorコアGPUと同じ電力プロファイル内で、かつてないパフォーマンスを提供します。AIファクトリーとスーパーコンピューティングシステムは、高速なだけでなく、環境にも優しく、AIと科学のコミュニティを推進する経済的優位性を提供します。