Transformer Engine

NVIDIA Hopper™ アーキテクチャは、AI モデルのトレーニングを高速化するように設計された Transformer Engine との組み合わせで Tensor コア テクノロジを前進させます。Hopper Tensor コアでは FP8 と FP16 の精度を混在させることができます。トランスフォーマーの AI 計算が劇的に速くなります。Hopper はまた、TF32、FP64、FP16、INT8 の精度の浮動小数点演算 (FLOPS) を前世代の 3 倍にします。Transformer Engine と第 4 世代 NVIDIA® NVLink® と組み合わせることで Hopper Tensor コアは HPC と AI のワークロードを桁違いに高速化します。

NVLink Switch システム

ビジネスの最先端では、エクサスケール HPC と兆パラメーター AI モデルを大規模にスケールするために、サーバークラスター内の各 GPU 間に高速でシームレスな通信が必要です。 第 4 世代 NVLink は、スケールアップ相互接続です。新しい外部 NVLink Switch と組み合わせると、NVLink Switch システムは、PCIe Gen5 の 7 倍以上の帯域幅である、GPU あたり 900 ギガバイト/秒 (GB/s) の双方向で複数のサーバーにわたるマルチ GPU IO (入出力) を拡張することが可能になりました。NVLink Switch システムは、最大 256 基の H100 を接続したクラスターをサポートし、Ampere で InfiniBand HDRの 9 倍高い帯域幅を実現します。

さらに、NVLink は、これまで InfiniBand でしか利用できなかった SHARP と呼ばれる In-network Computing をサポートし、57.6 テラバイト/秒 (TB/s) の All-to-All の帯域幅を実現しながら、FP8 スパース AI コンピューティングで 1 exaFLOPS という驚くべき性能を提供することができるようになりました。

NVIDIA コンフィデンシャル コンピューティング

データはストレージに保存されているときと、ネットワーク間を転送されるときは暗号化されますが、処理中は保護が解除されます。この保護のない時間に対処するのが NVIDIA コンフィデンシャル コンピューティングです。使用中のデータとアプリケーションを保護します。NVIDIA Hopper™ アーキテクチャは、コンフィデンシャル コンピューティング機能を持った世界初のアクセラレーテッド コンピューティング プラットフォームを導入するものです。

ハードウェアベースの強力なセキュリティを持ち、ユーザーはオンプレミス、クラウド、エッジでアプリケーションを実行できます。許可のないエンティティは使用中のアプリケーション コードやデータを表示することも、変更することもできません。データとアプリケーションの機密性と完全性が守られ、AI トレーニング、AI 推論、HPC ワークロードのかつてない高速化を利用できます。

第 2 世代 MIG

マルチインスタンス GPU (MIG) という機能では GPU を、完全に分離された複数の小さなインスタンスに分割できます。それぞれにメモリ、キャッシュ、コンピューティング コアが与えられます。Hopper アーキテクチャは MIG の機能をさらに強化するものです。最大 7 個の GPU インスタンスで仮想環境のマルチテナント/マルチユーザー構成をサポートします。コンフィデンシャル コンピューティングによってハードウェアおよびハイパーバイザー レベルで各インスタンスが分離されるため、安全です。MIG インスタンスごとに専用のビデオ デコーダーが与えられ、共有インフラストラクチャで安定したハイスループットのインテリジェント ビデオ解析 (IVA) が実現します。そして、Hopper の同時実行 MIG プロファイリングを利用すると、管理者はユーザーのために正しいサイズの GPU 高速化を監視し、リソース割り当てを最適化できます。

研究者のワークロードが比較的少ない場合、完全な CSP インスタンスを借りる代わりに、MIG を利用して GPU の一部を安全に分離することを選択できます。保存中、移動中、処理中のデータが安全なため、安心です。

DPX 命令

動的プログラミングは、複雑な再帰的問題を単純な小問題に分割して解決するアルゴリズム手法です。小問題の結果を格納しておけば、後で再計算する必要がありません。幾何級数的問題の解決にかかる時間が短縮され、その複雑性が緩和されます。動的プログラミングは幅広い使用例で一般的に使用されています。

たとえば、Floyd-Warshall は、出荷車両と配送車両のための最短経路を地図に表示する経路最適化アルゴリズムです。Smith-Waterman アルゴリズムは DNA 配列とタンパク質フォールディングの応用に使用されます。 Hopper の DPX 命令は、従来のデュアル ソケット CPU のみのサーバーと比較して 40 倍、NVIDIA Ampere アーキテクチャ GPU と比較して 7 倍の速さで、動的プログラミング アルゴリズムを加速します。これにより、病気の診断、ルーティングの最適化、さらにはグラフ分析を飛躍的に高速化します。

第3世代 Tensorコア

NVIDIA Volta™ アーキテクチャで最初に導入されたNVIDIA Tensorコア テクノロジは、AIに劇的な高速化をもたらしました。トレーニング時間を数週間から数時間に短縮し、推論を大幅に加速します。NVIDIA Ampereアーキテクチャはこのイノベーションを基盤としており、新しい精度である Tensor Float 32 (TF32) と64ビット浮動小数点 (FP64) を導入することで、AI の導入を加速して簡素化し、Tensor コアのパワーを HPC にもたらします。

TF32はFP32と同じように動作しますが、コードを変更しなくても、AIを最大20倍スピードアップします。 NVIDIA Automatic Mixed Precisionを使用すると、研究者はわずか数行のコードを追加するだけで、自動混合精度とFP16でさらに2倍のパフォーマンスを得られます。また、bfloat16、INT8、INT4に対応しているので、NVIDIA Ampere アーキテクチャのTensorコア GPUのTensorコアは、AIのトレーニングと推論の両方に対する、非常に汎用性の高いアクセラレータです。また、TensorコアのパワーをHPCにもたらすA100およびA30 GPUでは、完全なIEEE準拠のFP64精度での行列演算を実行できます。

Multi-Instance GPU (MIG)

あらゆるAIとHPC アプリケーションがアクセラレーションの恩恵を受けることができますが、すべてのアプリケーションがGPUのフル パフォーマンスを必要とするわけではありません。Multi-Instance GPU (MIG) は、 A100とA30 GPU PU でサポートされている機能であり、ワークロードがGPUを共有することを可能にします。MIGを利用すると、各GPUを複数のGPUインスタンスに分割できます。各インスタンスは完全に分離され、ハードウェア レベルで保護され、専用の高帯域幅メモリ、キャッシュ、コンピューティング コアを与えられます。これにより開発者は、大小を問わずあらゆるアプリケーションに対して画期的な高速化を利用できるようになり、サービス品質も保証されます。また、IT管理者は、適切なサイズのGPUアクセラレーションを提供することで利用率を最適化し、ベアメタル環境と仮想化環境の両方ですべてのユーザーとアプリケーションにアクセスを拡張できます。

第3世代の NVLink

アプリケーションをマルチGPUでスケールさせるには、非常に高速にデータを移動させる必要があります。NVIDIA Ampere アーキテクチャの第3世代 NVIDIA® NVLink® は、GPU 間の直接帯域幅を2倍の毎秒600ギガバイト (GB/s) にします。これは、PCIe Gen4の約10倍です。最新世代の NVIDIA NVSwitch™と組み合わせることで、サーバー内のすべてのGPUが完全なNVLinkの速度で相互に通信し、驚くほど高速なデータ転送が可能になります。 NVIDIA DGX™A100と他の主要なコンピューター メーカーのサーバーは、 NVIDIA HGX™ A100ベースボードを介してNVLinkとNVSwitchのテクノロジを活用し、HPCおよびAIのワークロードに優れたスケーラビリティを提供します。

スパース構造

現代のAIネットワークは大きく、数百万、場合によっては数十億のパラメーターを持ち、ますますその規模は拡大しています。これらのパラメーターのすべてが正確な予測や推論に必要なわけではなく、一部のパラメーターをゼロに変換することで、精度を下げることなくモデルを「スパース」にできます。Tensorコアでは、スパースなモデルのパフォーマンスを最大2倍にできます。スパース機能はAI推論で特に効果を発揮しますが、モデルトレーニングのパフォーマンス向上にも利用できます。

第2世代 RTコア

NVIDIA A40のNVIDIA Ampereアーキテクチャの第2世代RTコアは、映画コンテンツのフォトリアルなレンダリング、建築デザインの評価、製品デザインのバーチャル試作品などのワークロードを大幅にスピードアップします。RTコアはまた、レイ トレーシングされたモーション ブラーのレンダリングをスピードアップし、短時間で結果が得られ、ビジュアルの精度が上がります。さらに、レイ トレーシングをシェーディング機能またはノイズ除去機能と共に同時に実行できます。

よりスマートで高速なメモリ

A100は、データセンターでの膨大な量のコンピューティングを可能にします。コンピューティング エンジンを常に完全に活用するために、A100はこのクラスで最大となる毎秒2テラバイト (TB/s) のメモリ帯域幅を備えています。前世代の2倍以上です。さらに、A100は前世代の7倍となる40メガバイト (MB) のレベル2キャッシュを含む、より大きなオンチップ メモリを搭載しており、コンピューティング パフォーマンスを最大限まで引き上げます。