大規模AI向けGPU 「NVIDIA H100 NVL」の取り扱い開始
NVIDIA（本社：アメリカ）、NVIDIA Hopper アーキテクチャを採用した大規模AI向けGPU「NVIDIA H100 NVL」の取り扱いを開始いたしします。
「NVIDIA H100 NVL」は1基あたり94GBのメモリを搭載しており、2基の「NVIDIA H100 NVL」をNVLinkで接続することにより188GBもの大容量メモリと7.8TB/秒のメモリ帯域を実現。
ChatGPTのように大量のデータを展開する必要があるLLM (大規模言語モデル)や生成AIの推論に最適化され、GPT-3では前世代のA100と比較して最大12倍高速な推論パフォーマンスをデータセンター規模で提供します。
詳しくは下記よりお問い合わせください。
お問い合わせフォーム|
|
|
|
|---|---|---|
| FP64(TFLOPS) | 68 | 26 |
| FP64 Tensor コア(TFLOPS) | 134 | 51 |
| FP32(TFLOPS) | 134 | 51 |
| TF32 Tensor コア(TFLOPS) | 1,979 | 756 |
| BFLOAT16 Tensorコア(TFLOPS) | 3,958 | 1,513 |
| FP16 Tensorコア(TFLOPS) | 3,958 | 1,513 |
| FP8 Tensorコア(TFLOPS) | 7,916 | 3,026 |
| INT8 Tensorコア(TOPS) | 7,916 | 3,026 |
| GPUメモリ | 188GB HBM3 | 80GB HBM2e |
| GPUメモリー帯域幅 | 7.8TB/s | 2TB/s |
| デコーダー | 14 NVDEC 14 JPEG |
7 NVDEC 7 JPEG |
| 最大消費電力 | 2x 350-400W（構成可能） | 300-350W（構成可能） |
| マルチインスタンスGPU | 最大14GPU MIG@12GB | 最大7GPU MIG@10GB |
| フォームファクター | 2x PCIe 2スロット |
PCIe 2スロット |
| 相互接続 | NVIDIA NVLink 600 GB/s PCIe Gen5 128 GB/s |
NVIDIA NVLink 600 GB/s PCIe Gen5 128 GB/s |
| NVIDIA AI Enterprise | 含む | 含む |
| 排熱機構 | パッシブ（冷却ファンなし） | パッシブ（冷却ファンなし） |
