H100 | A100 | L40S | L40 | |
---|---|---|---|---|
アーキテクチャ | NVIDIA Hopper | NVIDIA Ampere | NVIDIA Ada Lovelace | NVIDIA Ada Lovelace |
CUDAコア数 | 14,592 | 6,912 | 18,176 | 18,176 |
Tensorコア数 | 456(第4世代) | 432(第3世代) | 568(第4世代) | 568(第4世代) |
RTコア数 | ー | ー | 142(第3世代) | 142(第3世代) |
GPUメモリー | 80GB HBM2e | 80GB HBM2e | 48GB GDDR6 | 48GB GDDR6 |
メモリー帯域幅 | 2000 GB/s | 1555 GB/s | 864 GB/s | 864 GB/s |
バス インターフェース | PCI Express Gen5 x16 | PCI Express Gen4 x16 | PCI Express Gen4 x16 | PCI Express Gen4 x16 |
補助電源 | CPU 8ピン × 1 | PCIe CEM5 16 pin × 1 | PCIe CEM5 16 pin × 1 |
|
最大消費電力 | 350W | 300W | 350W | 300W |
NVLink対応 | 対応 | NVLink Bridge for Ampere 2 slot | 非対応 | 非対応 |
FP64(TFLOPS) | 26 | 9.7 | ー | ー |
FP64 Tensor Core (TFLOPS) | 51 | 19.5 | ー | ー |
FP32(TFLOPS) | 51 | 19.5 | 91.6 | 90.5 |
FP16(TFLOPS) | ー | ー | ー | ー |
TF32 Tensor Core (TFLOPS) | 756* | 156 | 312* | 183|366* | 90.5|181* |
BFLOAT16 Tensor Core(TFLOPS) | 1513* | 312 | 624* | 362.05|733* | 181.05|362.1* |
FP16 Tensor Core (TFLOPS) | 1513* | 312 | 624* | 362.05|733* | 181.05|362.1* |
INT8 Tensor Core (TOPS) | 3026* | 624 | 1248* | 733|1466* | 362|724* |
INT4 Tensor Core (TOPS) | ー | ー | 733|1466* | 724|1448* |
A40 | A30 | L4 | ||
---|---|---|---|---|
アーキテクチャ | NVIDIA Ampere | NVIDIA Ampere | NVIDIA Ada Lovelace | |
CUDAコア数 | 10,752 | 非公開 | 非公開 | |
Tensorコア数 | 336(第3世代) | 非公開 | 非公開 | |
RTコア数 | 84(第2世代) | ー | ー | |
GPUメモリー | 48GB GDDR6 | 24GB HBM2 | 24GB GDDR6 | |
メモリー帯域幅 | 696 GB/s | 933 GB/s | 300 GB/s | |
バス インターフェース | PCI Express Gen4 x16 | PCI Express Gen4 x16 | PCI Express Gen4 x16 | |
補助電源 | CPU 8ピン × 1 | CPU 8ピン × 1 | なし | |
最大消費電力 | 300W | 165W | 72W | |
NVLink対応 | NVLink Bridge for Ampere 2 slot | NVLink Bridge for Ampere 2 slot | 非対応 | |
FP64(TFLOPS) | ー | 5.2 | ー | |
FP64 Tensor Core (TFLOPS) | ー | 10.3 | ー | |
FP32(TFLOPS) | 37.4 | 10.3 | 30.3 | |
FP16(TFLOPS) | ー | ー | ー | |
TF32 Tensor Core (TFLOPS) | 74.8 | 149.6* | 82| 165* | 120* | |
BFLOAT16 Tensor Core(TFLOPS) | 149.7 | 299.4* | 165 | 330* | 242* | |
FP16 Tensor Core (TFLOPS) | 149.7 | 299.4* | 165 | 330* | 242* | |
INT8 Tensor Core (TOPS) | 299.3 | 598.6* | 330 | 661* | 485* | |
INT4 Tensor Core (TOPS) | 598.7 | 1197.4* | 661 | 1321* | ー |