NVIDIA データセンターGPU
GPUコンピューティング向けグラフィックボード
NVIDIA® データセンターGPUは、大規模な並列計算、例えば科学技術あるいは工業領域でのHPCを筆頭にLLM、ML、DL、生成AIなど複雑かつ膨大な計算処理するハイバースケールデータセンターの性能要求を満足します。従来、グラフィックス計算性能の高速化で威力を発揮していたGPU製品ですが、NVIDIA®データセンターGPUはその用途をより汎用的に広げたGPGPUを象徴する製品です。
NVIDIA Hopper アーキテクチャーモデル
| H200 NVL | H100 NVL 94GB | H100 | |
|---|---|---|---|
| アーキテクチャ | Hopper | Hopper | Hopper |
| FP64（TFLOPS） | 30 | 30 | 26 |
| FP64 Tensor Core （TFLOPS） | 60 | 60 | 51 |
| FP32（TFLOPS） | 60 | 60 | 51 |
| TF32 Tensor Core （TFLOPS） | 835※1 | 835※1 | 756※1 |
| BFLOAT16 Tensor Core （TFLOPS） | 1671※1 | 1671※1 | 1513※1 |
| FP16 Tensor Core （TFLOPS） | 1671※1 | 1671※1 | 1513※1 |
| FP8 Tensor Core （TFLOPS） | 3341※1 | 3341※1 | 3026※1 |
| INT8 Tensor Core （TOPS） | 3341※1 | 3341※1 | 3026※1 |
| GPUメモリー | 141GB | 94GB HBM3 | 80GB HBM2e |
| メモリー帯域幅 | 4.8TB/s | 3.9TB/s | 2.0TB/s |
| インターコネクト | NVLink：900GB/s PCIe Gen5：128GB/s | NVLink：600GB/s PCIe Gen5：128GB/s | NVLink：600GB/s PCIe Gen5：128GB/s |
| フォームファクター | PCIe デュアルスロット 空冷 | PCIe デュアルスロット 空冷 | PCIe デュアルスロット 空冷 |
| マルチインスタンス GPU（MIG） | 最大7個@16.5GB | 最大7個@12GB | 最大7個@10GB |
| 最大消費電力 | 600W | 350-400W | 300-350W |
| 補助電源コネクター | PCIe CEM5 16 pin | PCIe CEM5 16 pin | PCIe CEM5 16 pin |
※1 構造化スパースを適用
NVIDIA Ada Lovelace アーキテクチャーモデル
| L40S | L40 | L4 | |
|---|---|---|---|
| アーキテクチャ | Ada Lovelace | Ada Lovelace | Ada Lovelace |
| CUDAコア数 | 18,176 | 18,176 | 7424 |
| RTコア数 | 142（第3世代） | 142（第3世代） | 58（第3世代） |
| Tensorコア数 | 568（第4世代） | 568（第4世代） | 232 |
| RT コア性能 （TFLOPS） | 209 | 209 | 73.1 |
| FP32（TFLOPS） | 91.6 | 90.5 | 30.3 |
| TF32 Tensor Core （TFLOPS） | 183｜366※1 | 90.5｜181※1 | 120※1 |
| BFLOAT16 Tensor Core （TFLOPS） | 362.05｜733※1 | 181.05｜362.1※1 | 242※1 |
| FP16 Tensor Core （TFLOPS） | 362.05｜733※1 | 181.05｜362.1※1 | 242※1 |
| FP8 Tensor Core （TFLOPS） | 733｜1466※1 | 362｜724※1 | 485※1 |
| INT8 Tensor Core （TOPS） | 733｜1466※1 | 362｜724※1 | 485※1 |
| INT4 Tensor Core （TOPS） | 733｜1466※1 | 724｜1448※1 | 969※1 |
| GPUメモリー | 48GB GDDR6 ECC | 48GB GDDR6 ECC | 24GB GDDR6 ECC |
| メモリー帯域幅 | 864 GB/s | 864 GB/s | 300 GB/s |
| インターコネクト | PCIe Gen4 x16 64GB/s 双方向 | PCIe Gen4 x16 64GB/s 双方向 | PCIe Gen4 x16 64GB/s |
| フォームファクター | PCIe デュアルスロット | PCIe デュアルスロット | PCIe low-profile シングルスロット |
| ディスプレイ出力端子 | 4x DisplayPort 1.4a | 4x DisplayPort 1.4a | ー |
| 最大消費電力 | 350W | 300W | 72W |
| 補助電源コネクター | PCIe CEM5 16 pin | PCIe CEM5 16 pin | ー |
| MIGサポート | 非対応 | 非対応 | 非対応 |
| NVLinkサポート | 非対応 | 非対応 | 非対応 |
※1 構造化スパースを適用
NVIDIA Ampere アーキテクチャーモデル
| A40 | A30 | |
|---|---|---|
| アーキテクチャ | NVIDIA Ampere | NVIDIA Ampere |
| CUDAコア数 | 10,752 | ー |
| RTコア数 | 84（第2世代） | ー |
| Tensorコア数 | 336（第3世代） | ー |
| FP64（TFLOPS） | ー | 5.2 |
| FP64 Tensor Core （TFLOPS） | ー | 10.3 |
| FP32（TFLOPS） | 37.4 | 10.3 |
| TF32 Tensor Core （TFLOPS） | 74.8 | 149.6※1 | 82| 165※1 |
| RT コア性能 （TFLOPS） | 73.1 | ー |
| BFLOAT16 Tensor Core （TFLOPS） | 149.7 | 299.4※1 | 165 | 330※1 |
| FP16 Tensor Core （TFLOPS） | 149.7 | 299.4※1 | 165 | 330※1 |
| INT8 Tensor Core （TOPS） | 299.3 | 598.6※1 | 330 | 661※1 |
| INT4 Tensor Core （TOPS） | 598.7 | 1197.4※1 | 661 | 1321※1 |
| GPUメモリー | 48GB GDDR6 ECC | 24GB HBM2 |
| メモリー帯域幅 | 696 GB/s | 933 GB/s |
| インターコネクト | NVLink：112.5GB/s（双方向） PCIe Gen4：31.5GB/s（双方向） | NVLink：200GB/s PCIe Gen4：64GB/s |
| フォームファクター | PCIe デュアルスロット | PCIe デュアルスロット |
| マルチインスタンス GPU（MIG） | 非対応 | 最大4個@6GB |
| 最大消費電力 | 300W | 165W |
| 補助電源コネクター | CPU 8ピン × 1 | CPU 8ピン × 1 |
※1 構造化スパースを適用