NVIDIA データセンターGPU
GPUコンピューティング向けグラフィックボード
NVIDIA® データセンターGPUは、大規模な並列計算、例えば科学技術あるいは工業領域でのHPCを筆頭にLLM、ML、DL、生成AIなど複雑かつ膨大な計算処理するハイバースケールデータセンターの性能要求を満足します。従来、グラフィックス計算性能の高速化で威力を発揮していたGPU製品ですが、NVIDIA®データセンターGPUはその用途をより汎用的に広げたGPGPUを象徴する製品です。
NVIDIA Hopper アーキテクチャーモデル
| H200 NVL | H100 NVL 94GB | |
|---|---|---|
| アーキテクチャ | Hopper | Hopper |
| FP64（TFLOPS） | 30 | 30 |
| FP64 Tensor Core（TFLOPS） | 60 | 60 |
| FP32（TFLOPS） | 60 | 60 |
| TF32 Tensor Core（TFLOPS） | 835※1 | 835※1 |
| BFLOAT16 Tensor Core（TFLOPS） | 1671※1 | 1671※1 |
| FP16 Tensor Core（TFLOPS） | 1671※1 | 1671※1 |
| FP8 Tensor Core（TFLOPS） | 3341※1 | 3341※1 |
| INT8 Tensor Core（TOPS） | 3341※1 | 3341※1 |
| GPUメモリー | 141GB | 94GB HBM3 |
| メモリー帯域幅 | 4.8TB/s | 3.9TB/s |
| インターコネクト | NVLink：900GB/s PCIe Gen5：128GB/s | NVLink：600GB/s PCIe Gen5：128GB/s |
| フォームファクター | PCIe デュアルスロット 空冷 | PCIe デュアルスロット 空冷 |
| マルチインスタンス GPU（MIG） | 最大7個@16.5GB | 最大7個@12GB |
| 最大消費電力 | 600W | 350-400W |
| 補助電源コネクター | PCIe CEM5 16 pin | PCIe CEM5 16 pin |
※1 構造化スパースを適用
NVIDIA Ada Lovelace アーキテクチャーモデル
| L40S | L4 | |
|---|---|---|
| アーキテクチャ | Ada Lovelace | Ada Lovelace |
| CUDAコア数 | 18,176 | 7424 |
| RTコア数 | 142（第3世代） | 58（第3世代） |
| Tensorコア数 | 568（第4世代） | 232 |
| RT コア性能（TFLOPS） | 209 | 73.1 |
| FP32（TFLOPS） | 91.6 | 30.3 |
| TF32 Tensor Core（TFLOPS） | 183｜366※1 | 120※1 |
| BFLOAT16 Tensor Core（TFLOPS） | 362.05｜733※1 | 242※1 |
| FP16 Tensor Core（TFLOPS） | 362.05｜733※1 | 242※1 |
| FP8 Tensor Core（TFLOPS） | 733｜1466※1 | 485※1 |
| INT8 Tensor Core（TOPS） | 733｜1466※1 | 485※1 |
| INT4 Tensor Core（TOPS） | 733｜1466※1 | 969※1 |
| GPUメモリー | 48GB GDDR6 ECC | 24GB GDDR6 ECC |
| メモリー帯域幅 | 864 GB/s | 300 GB/s |
| インターコネクト | PCIe Gen4 x16 64GB/s 双方向 | PCIe Gen4 x16 64GB/s |
| フォームファクター | PCIe デュアルスロット | PCIe low-profile シングルスロット |
| ディスプレイ出力端子 | 4x DisplayPort 1.4a | ー |
| 最大消費電力 | 350W | 72W |
| 補助電源コネクター | PCIe CEM5 16 pin | ー |
| MIGサポート | 非対応 | 非対応 |
| NVLinkサポート | 非対応 | 非対応 |
※1 構造化スパースを適用