大容量で高速なメモリによる高いパフォーマンス

NVIDIA HopperアーキテクチャをベースとするNVIDIA H200は、4.8TB/sで141GBのHBM3eメモリを提供する初のGPUです。これは、NVIDIA H100 TensorコアGPUの約2倍の容量で、メモリ帯域幅は1.4倍です。H200の大容量かつ高速なメモリは、生成AIとLLMを加速し、エネルギー効率を向上させ、総所有コストを低減し、HPCワークロードのための科学コンピューティングを前進させます。

高性能なLLM推論でインサイトを引き出す

進化し続けるAIの世界では、企業はさまざまな推論のニーズに対応するためにLLMを利用しています。AI推論アクセラレータは、大規模なユーザーベース向けにデプロイする場合、最小のTCOで最高のスループットを実現する必要があります。

H200は、Llama2のようなLLMを扱う場合、H100 GPUと比較して推論速度を最大2倍向上します。

ハイパフォーマンスコンピューティングをスーパーチャージ

メモリ帯域幅は、より高速なデータ転送を実現することで、ボトルネックとなる複雑な処理を削減するため、ハイパフォーマンスコンピューティングアプリケーションにとって極めて重要です。シミュレーション、科学研究、人工知能のようなメモリを大量に使用するHPCアプリケーションでは、 H200の高いメモリ帯域幅が、データへのアクセスと操作を効率化し、CPUと比較して110倍の早さで結果を得ることができます。

エネルギーとTCOの削減

H200の導入により、エネルギー効率とTCOが新たなレベルに到達します。この最先端のテクノロジーは、すべてH100 TensorコアGPUと同じ電力プロファイル内で、かつてないパフォーマンスを提供します。AIファクトリーとスーパーコンピューティングシステムは、高速なだけでなく、環境にも優しく、AIと科学のコミュニティを推進する経済的優位性を提供します。

Transformer Engine

NVIDIA Hopper™ アーキテクチャは、AI モデルのトレーニングを高速化するように設計された Transformer Engine との組み合わせで Tensor コア テクノロジを前進させます。Hopper Tensor コアでは FP8 と FP16 の精度を混在させることができます。トランスフォーマーの AI 計算が劇的に速くなります。Hopper はまた、TF32、FP64、FP16、INT8 の精度の浮動小数点演算 (FLOPS) を前世代の 3 倍にします。Transformer Engine と第 4 世代 NVIDIA® NVLink® と組み合わせることで Hopper Tensor コアは HPC と AI のワークロードを桁違いに高速化します。

NVLink Switch システム

ビジネスの最先端では、エクサスケール HPC と兆パラメーター AI モデルを大規模にスケールするために、サーバークラスター内の各 GPU 間に高速でシームレスな通信が必要です。 第 4 世代 NVLink は、スケールアップ相互接続です。新しい外部 NVLink Switch と組み合わせると、NVLink Switch システムは、PCIe Gen5 の 7 倍以上の帯域幅である、GPU あたり 900 ギガバイト/秒 (GB/s) の双方向で複数のサーバーにわたるマルチ GPU IO (入出力) を拡張することが可能になりました。NVLink Switch システムは、最大 256 基の H100 を接続したクラスターをサポートし、Ampere で InfiniBand HDRの 9 倍高い帯域幅を実現します。

さらに、NVLink は、これまで InfiniBand でしか利用できなかった SHARP と呼ばれる In-network Computing をサポートし、57.6 テラバイト/秒 (TB/s) の All-to-All の帯域幅を実現しながら、FP8 スパース AI コンピューティングで 1 exaFLOPS という驚くべき性能を提供することができるようになりました。

NVIDIA コンフィデンシャル コンピューティング

データはストレージに保存されているときと、ネットワーク間を転送されるときは暗号化されますが、処理中は保護が解除されます。この保護のない時間に対処するのが NVIDIA コンフィデンシャル コンピューティングです。使用中のデータとアプリケーションを保護します。NVIDIA Hopper™ アーキテクチャは、コンフィデンシャル コンピューティング機能を持った世界初のアクセラレーテッド コンピューティング プラットフォームを導入するものです。

ハードウェアベースの強力なセキュリティを持ち、ユーザーはオンプレミス、クラウド、エッジでアプリケーションを実行できます。許可のないエンティティは使用中のアプリケーション コードやデータを表示することも、変更することもできません。データとアプリケーションの機密性と完全性が守られ、AI トレーニング、AI 推論、HPC ワークロードのかつてない高速化を利用できます。

第 2 世代 MIG

マルチインスタンス GPU (MIG) という機能では GPU を、完全に分離された複数の小さなインスタンスに分割できます。それぞれにメモリ、キャッシュ、コンピューティング コアが与えられます。Hopper アーキテクチャは MIG の機能をさらに強化するものです。最大 7 個の GPU インスタンスで仮想環境のマルチテナント/マルチユーザー構成をサポートします。コンフィデンシャル コンピューティングによってハードウェアおよびハイパーバイザー レベルで各インスタンスが分離されるため、安全です。MIG インスタンスごとに専用のビデオ デコーダーが与えられ、共有インフラストラクチャで安定したハイスループットのインテリジェント ビデオ解析 (IVA) が実現します。そして、Hopper の同時実行 MIG プロファイリングを利用すると、管理者はユーザーのために正しいサイズの GPU 高速化を監視し、リソース割り当てを最適化できます。

研究者のワークロードが比較的少ない場合、完全な CSP インスタンスを借りる代わりに、MIG を利用して GPU の一部を安全に分離することを選択できます。保存中、移動中、処理中のデータが安全なため、安心です。

DPX 命令

動的プログラミングは、複雑な再帰的問題を単純な小問題に分割して解決するアルゴリズム手法です。小問題の結果を格納しておけば、後で再計算する必要がありません。幾何級数的問題の解決にかかる時間が短縮され、その複雑性が緩和されます。動的プログラミングは幅広い使用例で一般的に使用されています。

たとえば、Floyd-Warshall は、出荷車両と配送車両のための最短経路を地図に表示する経路最適化アルゴリズムです。Smith-Waterman アルゴリズムは DNA 配列とタンパク質フォールディングの応用に使用されます。 Hopper の DPX 命令は、従来のデュアル ソケット CPU のみのサーバーと比較して 40 倍、NVIDIA Ampere アーキテクチャ GPU と比較して 7 倍の速さで、動的プログラミング アルゴリズムを加速します。これにより、病気の診断、ルーティングの最適化、さらにはグラフ分析を飛躍的に高速化します。

第 5 世代の Tensor コア

第5世代Tensorコアは前世代比で最大3倍のパフォーマンスを実現し、FP4精度とDLSS 4 マルチ フレーム生成テクノロジのサポートが追加されています。 ローカルLLMの高速化、新しいAIモデルのプロトタイプ作成、コンテンツ作成とグラフィックスの向上を促進します。

第 4 世代の RT コア

第4世代のRTコアは、前世代比で最大2倍のパフォーマンスを実現し、M&Eコンテンツの作成、AECO設計、製造プロトタイピングにおいて、レンダリングを高速化します。 最大100倍のレイ トレーシングの三角ポリゴンを生成可能にするRTX Mega Geometryといったニューラル グラフィックス ベースの技術を使用し、写真のようにリアルで物理的に正確なシーンと臨場感のある3Dデザインを作成できます。

CUDA コア

Blackwellは、最新のSMおよびCUDA® コア テクノロジを搭載した、史上最も強力なプロフェッショナル向けRTX GPUです。 このSMは、処理スループットの向上とプログラマブル シェーダーの内部にニューラル ネットワークを統合する新しいニューラル シェーダーを搭載しています。今後10年間のAI拡張グラフィックスのイノベーションが推進されます。

96 GB の GPU メモリ

新たに改良されたGDDR7メモリにより帯域幅と容量が大幅に増え、アプリケーション実行の高速化と、より大規模で複雑なデータセットの処理が可能になります。 96GBのGPUメモリにより、大規模な3DおよびAIプロジェクトに取り組み、大規模なVR環境を探索し、より大きなマルチアプリ ワークフローを実現できます。

第 9 世代の NVENC

第9世代のNVIDIA NVENCエンジンは、ビデオのエンコード速度を大幅に高速化し、プロフェッショナル ビデオ アプリケーションの品質を向上させます。 4:2:2 H.264およびHEVCエンコーディングの新しいサポートを追加し、HEVCおよびAV1エンコーディング品質を向上させます。

第 6 世代 NVDEC

第6世代のNVIDIA NVDECエンジンは、最大2倍のH.264デコード スループットを実現し、4:2:2 H.264およびHEVCデコードをサポートしています。 プロの編集者は、高品質のビデオ再生、ビデオ データの取り込みの高速化、高度なAIを活用したビデオ編集機能などを使用できるようになります。

マルチインスタンス GPU

マルチインスタンスGPU (MIG) は、最大4つの完全に分離されたインスタンスの作成を可能にすることで、RTX PRO 6000 Server Editionのパフォーマンスと価値を拡張します。 各MIGインスタンスは独自の高帯域幅メモリ、キャッシュ、および計算コアを持ち、サービス品質 (QoS) を保証し、すべてのユーザーに高速コンピューティング リソースを提供します。

PCIe Gen 5

PCI Express Gen 5のサポートにより、PCIe Gen 4と比較して帯域幅が2倍になるため、CPUメモリからのデータ転送速度が向上し、AI、データ サイエンス、3Dモデリングなどのデータ集約型タスクでパフォーマンスが高速化します。

DisplayPort 2.1

DisplayPort 2.1により、プロフェッショナルは比類のない視覚的な明瞭さとパフォーマンスを得ることができ、240Hzで最大8K、60H で最大16Kの高解像度で表示できます。 帯域幅の増加により、マルチタスクや共同作業に理想的な、シームレスなマルチモニターのセットアップが可能になります。また、HDRやより高い色深度のサポートにより、ビデオ編集、3Dデザイン、ライブ配信などの精密な作業での色精度が確保されます。

Transformer Engine

単精度浮動小数点 (FP32) スループットの高速化と電力効率の向上により、3D モデル開発や CAE シミュレーションなどのワークフローでパフォーマンスが大幅に向上します。混合精度ワークロード向けの拡張 16 ビット数学機能 (BF16) をサポート。

第 3 世代 RT コア

スループットとコンカレント レイ トレーシングとシェーディング機能が強化され、レイ トレーシングのパフォーマンスが向上し、製品の設計/アーキテクチャ、エンジニアリング、建設のワークフローのレンダリングが高速化します。ハードウェアでモーション ブラーを高速化し、驚異的なリアルタイム アニメーションを実現する実物のようなデザインをご覧ください。

第 4 世代 Tensor コア

構造的なスパース性と最適化された TF32 形式のハードウェア サポートにより、すぐにパフォーマンスが向上し、AI とデータ サイエンス のモデル トレーニングが高速化します。DLSS を含む AI により強化されたグラフィックス機能を加速させ、選ばれたアプリケーションで優れたパフォーマンスで高解像度を実現します。

48GB の GPU メモリ

48GB の超高速 GDDR6 メモリで、データ サイエンス、シミュレーション、3D モデリング、レンダリングなどの、メモリ負荷の高いアプリケーションやワークロードに対応します。vGPU ソフトウェアを使用して複数のユーザーにメモリを割り当て、クリエイティブ チーム、データ サイエンス チーム、デザイン チーム間で大規模なワークロードを分散します。

仮想化対応

NVIDIA 仮想 GPU (vGPU) ソフトウェア を活用した次世代の改善により、リモート ユーザーがより大規模かつパワフルな仮想ワークステーションのインスタンスを使用できるようになり、高度なデザイン、AI、計算処理におけるより大規模なワークフローが可能になります。

PCI Express Gen 4

PCI Express Gen 4 対応により、PCIe Gen 3 の 2 倍の帯域幅を提供することで、AI やデータサイエンスなどのデータ集約型タスク向けに CPU メモリからのデータ転送速度が向上します。

データ センターの効率性とセキュリティ

NVIDIA L40 は、24 時間 365 日稼動のエンタープライズ データ センター運用に最適化されており、最大限のパフォーマンス、耐久性、アップタイムを確保するために、NVIDIA によって設計、構築、広範囲にテスト、サポートされています。受動冷却、フルハイト フルレングス (FHFL)、デュアルスロット デザイン、最大 300W のボード電力などの特徴を備え、主要な OEM ベンダーのさまざまな筐体構成に収まります。最新のデータ センター標準を満たし、NEBS レベル 3 に対応し、Root of Trust 技術によるセキュア ブートを備え、データ センターにさらなるセキュリティ層を提供します。

NVIDIA CUDA コア

単精度浮動小数点 (FP32) 演算の倍速処理により、デスクトップにおける複雑な 3D のコンピューター支援設計 (CAD) とコンピューター支援エンジニアリング (CAE) などのグラフィックスやシミュレーションのワークフローに適した驚異的なパフォーマンス向上を実現します。

第 3 世代 RT コア

前世代と比較して最大 2 倍のスループットを備えた第 3 世代 RT コアにより、動画コンテンツのフォトリアルなレンダリング、建築デザインの評価、製品デザインの仮想プロトタイプなどのワークロードのための圧倒的な高速化を実現します。このテクノロジにより、レイ トレーシングによるモーション ブラー レンダリングをより高いビジュアル精度で高速化することができます。

第 4 世代 Tensor コア

第 4 世代の Tensor コアは、より高速な AI コンピューティング パフォーマンスを提供し、前世代の 2 倍以上のパフォーマンスを実現します。これらの新しい Tensor コアは、FP8 精度データ型の高速化をサポートし、独立した浮動小数点と整数のデータ パスを提供し、浮動小数点と整数を混合した計算の実行を高速化します。

48GB GPU メモリ

48GB GDDR6 メモリを搭載した RTX 6000 は、データ サイエンティスト、エンジニア、クリエイティブなプロフェッショナル向けに、レンダリング、データ サイエンス、シミュレーションなどの膨大なデータセットやワークロードを使用する作業に必要な大容量メモリを提供します。

仮想化対応

NVIDIA RTX 仮想ワークステーション (vWS) ソフトウェアをサポートすることで、個人のワークステーションを複数のハイパフォーマンスな仮想ワークステーション インスタンスとして使用できるため、リモートのユーザーがリソースを共有して、ハイエンドのデザイン、AI、コンピューティングのワークロードを進めることができます。

PCIe Gen 4

PCI Express Gen 4 対応により、PCIe Gen 3 の 2 倍の帯域幅を提供することで、AI やデータ サイエンスなどのデータ集約型タスク向けに CPU メモリからのデータ転送速度が向上します。