NVIDIA データセンターGPU
GPUコンピューティング向けグラフィックボード
NVIDIA® データセンターGPUは、大規模な並列計算、例えば科学技術あるいは工業領域でのHPCを筆頭にLLM、ML、DL、生成AIなど複雑かつ膨大な計算処理するハイバースケールデータセンターの性能要求を満足します。従来、グラフィックス計算性能の高速化で威力を発揮していたGPU製品ですが、NVIDIA®データセンターGPUはその用途をより汎用的に広げたGPGPUを象徴する製品です。
| H100 NVL 94GB | H100 | A100 | L40S | |
|---|---|---|---|---|
| アーキテクチャ | NVIDIA Hopper | NVIDIA Hopper | NVIDIA Ampere | NVIDIA Ada Lovelace |
| CUDAコア数 | 14,592 | 14,592 | 6,912 | 18,176 |
| Tensorコア数 | 456（第4世代） | 456（第4世代） | 432（第3世代） | 568（第4世代） |
| RTコア数 | ー | ー | ー | 142（第3世代） |
| GPUメモリー | 188GB HBM3※2 | 80GB HBM2e | 80GB HBM2e | 48GB GDDR6 |
| メモリー帯域幅 | 7800 GB/s※3 | 2000 GB/s | 1555 GB/s | 864 GB/s |
| バス インターフェイス | PCI Express Gen5 x16 | PCI Express Gen5 x16 | PCI Express Gen4 x16 | PCI Express Gen4 x16 |
| 補助電源 | PCIe CEM5 16 pin × 1 | PCIe CEM5 16 pin × 1 | CPU 8ピン × 1 | PCIe CEM5 16 pin × 1 |
| 最大消費電力 | 2x 350-400W | 350W | 300W | 350W |
| NVLink対応 | 対応 | 対応 | NVLink Bridge for Ampere 2 slot | 非対応 |
| FP64（TFLOPS） | 68※2 | 26 | 9.7 | ー |
| FP64 Tensor Core （TFLOPS） | 134※2 | 51 | 19.5 | ー |
| FP32（TFLOPS） | 134※2 | 51 | 19.5 | 91.6 |
| FP16（TFLOPS） | ー | ー | ー | ー |
| TF32 Tensor Core （TFLOPS） | 1979※1 ※2 | 756※1 | 156 | 312※1 | 183｜366※1 |
| BFLOAT16 Tensor Core（TFLOPS） | 3958※1 ※2 | 1513※1 | 312 | 624※1 | 362.05｜733※1 |
| FP16 Tensor Core （TFLOPS） | 3958※1 ※2 | 1513※1 | 312 | 624※1 | 362.05｜733※1 |
| INT8 Tensor Core （TOPS） | 7916※1 ※2 | 3026※1 | 624 | 1248※1 | 733｜1466※1 |
| INT4 Tensor Core （TOPS） | ー | ー | ー | 733｜1466※1 |
※1 構造化スパースを適用
※2 参考仕様。仕様は変更される場合があります。H100 NVL PCIeカード２枚とNVLink Bridgeを組み合わせた場合の仕様です。
※3 HBM帯域幅の総計です。
※2 参考仕様。仕様は変更される場合があります。H100 NVL PCIeカード２枚とNVLink Bridgeを組み合わせた場合の仕様です。
※3 HBM帯域幅の総計です。
| L40 | A40 | A30 | L4 | |
|---|---|---|---|---|
| アーキテクチャ | NVIDIA Ada Lovelace | NVIDIA Ampere | NVIDIA Ampere | NVIDIA Ada Lovelace |
| CUDAコア数 | 18,176 | 10,752 | 非公開 | 非公開 |
| Tensorコア数 | 568（第4世代） | 336（第3世代） | 非公開 | 非公開 |
| RTコア数 | 142（第3世代） | 84（第2世代） | ー | ー |
| GPUメモリー | 48GB GDDR6 | 48GB GDDR6 | 24GB HBM2 | 24GB GDDR6 |
| メモリー帯域幅 | 864 GB/s | 696 GB/s | 933 GB/s | 300 GB/s |
| バス インターフェイス | PCI Express Gen4 x16 | PCI Express Gen4 x16 | PCI Express Gen4 x16 | PCI Express Gen4 x16 |
| 補助電源 | PCIe CEM5 16 pin × 1 | CPU 8ピン × 1 | CPU 8ピン × 1 | なし |
| 最大消費電力 | 300W | 300W | 165W | 72W |
| NVLink対応 | 非対応 | NVLink Bridge for Ampere 2 slot | NVLink Bridge for Ampere 2 slot | 非対応 |
| FP64（TFLOPS） | ー | ー | 5.2 | ー |
| FP64 Tensor Core （TFLOPS） | ー | ー | 10.3 | ー |
| FP32（TFLOPS） | 90.5 | 37.4 | 10.3 | 30.3 |
| FP16（TFLOPS） | ー | ー | ー | ー |
| TF32 Tensor Core （TFLOPS） | 90.5｜181※1 | 74.8 | 149.6※1 | 82| 165※1 | 120※1 |
| BFLOAT16 Tensor Core（TFLOPS） | 181.05｜362.1※1 | 149.7 | 299.4※1 | 165 | 330※1 | 242※1 |
| FP16 Tensor Core （TFLOPS） | 181.05｜362.1※1 | 149.7 | 299.4※1 | 165 | 330※1 | 242※1 |
| INT8 Tensor Core （TOPS） | 362｜724※1 | 299.3 | 598.6※1 | 330 | 661※1 | 485※1 |
| INT4 Tensor Core （TOPS） | 724｜1448※1 | 598.7 | 1197.4※1 | 661 | 1321※1 | ー |