B300
NVIDIA · Blackwell Ultra
288 GBHBM3e
8 TB/s带宽
4.5 PFFP8 稠密算力
$4,899 /GPU/月$6,552 · −25%
全部 GPU 与价格
仅剩 9 块
B200
NVIDIA · Blackwell
180 GBHBM3e
8 TB/s带宽
4.5 PFFP8 稠密算力
$4,449 /GPU/月$5,979 · −25%
MI355X
AMD · CDNA 4
288 GBHBM3E
8 TB/s带宽
5 PFFP8 稠密算力
$2,449 /GPU/月$3,285 · −25%
MI350X
AMD · CDNA 4
288 GBHBM3E
8 TB/s带宽
4.6 PFFP8 稠密算力
$2,249 /GPU/月$3,022 · −25%
H200
NVIDIA · Hopper
141 GBHBM3e
4.8 TB/s带宽
1.98 PFFP8 稠密算力
$2,699 /GPU/月$3,606 · −25%
MI325X
AMD · CDNA 3
256 GBHBM3E
6 TB/s带宽
2.6 PFFP8 稠密算力
$2,299 /GPU/月$3,071 · −25%
MI300X
AMD · CDNA 3
192 GBHBM3
5.3 TB/s带宽
2.6 PFFP8 稠密算力
$1,749 /GPU/月$2,351 · −25%
H100
NVIDIA · Hopper
80 GBHBM3
3.35 TB/s带宽
1.98 PFFP8 稠密算力
$1,999 /GPU/月$2,716 · −26%
RTX PRO 6000
NVIDIA · Blackwell
96 GBGDDR7
1.6 TB/s带宽
1 PFFP8 稠密算力
$1,199 /GPU/月$1,599 · −25%
L40S
NVIDIA · Ada Lovelace
48 GBGDDR6
864 GB/s带宽
0.73 PFFP8 稠密算力
$849 /GPU/月$1,146 · −25%
规格
所有 GPU 并排对比
单 GPU 数据来自厂商规格书。Tensor 算力为稠密值。点击型号可查看完整页面、价格和常见问题。
| GPU | 架构 | 显存 | 带宽 | FP8 | FP4 | 互联 | 每 GPU/月 | 库存 |
|---|---|---|---|---|---|---|---|---|
| NVIDIA B300 | Blackwell Ultra | 288 GB HBM3e | 8 TB/s | 4.5 PF | 13.5 PF | NVLink 5 · 1.8 TB/s | $4,899 | 仅剩 9 块 |
| NVIDIA B200 | Blackwell | 180 GB HBM3e | 8 TB/s | 4.5 PF | 9 PF | NVLink 5 · 1.8 TB/s | $4,449 | 11月20日到货 |
| AMD MI355X | CDNA 4 | 288 GB HBM3E | 8 TB/s | 5 PF | 10.1 PF | Infinity Fabric · 1.08 TB/s | $2,449 | 21 块可用 |
| AMD MI350X | CDNA 4 | 288 GB HBM3E | 8 TB/s | 4.6 PF | 9.2 PF | Infinity Fabric · 1.08 TB/s | $2,249 | 仅剩 6 块 |
| NVIDIA H200 | Hopper | 141 GB HBM3e | 4.8 TB/s | 1.98 PF | — | NVLink 4 · 900 GB/s | $2,699 | 34 块可用 |
| AMD MI325X | CDNA 3 | 256 GB HBM3E | 6 TB/s | 2.6 PF | — | Infinity Fabric · 896 GB/s | $2,299 | 12月2日到货 |
| AMD MI300X | CDNA 3 | 192 GB HBM3 | 5.3 TB/s | 2.6 PF | — | Infinity Fabric · 896 GB/s | $1,749 | 41 块可用 |
| NVIDIA H100 | Hopper | 80 GB HBM3 | 3.35 TB/s | 1.98 PF | — | NVLink 4 · 900 GB/s | $1,999 | 仅剩 3 块 |
| NVIDIA RTX PRO 6000 | Blackwell | 96 GB GDDR7 | 1.6 TB/s | 1 PF | 2 PF | PCIe 5.0 x16 | $1,199 | 52 块可用 |
| NVIDIA L40S | Ada Lovelace | 48 GB GDDR6 | 864 GB/s | 0.73 PF | — | PCIe 4.0 x16 | $849 | 38 块可用 |
常见问题
GPU 选型
已经是客户？请在控制台提交工单：工程师会在一个工作日内回复。
了解支持流程哪款 GPU 最适合推理？
取决于模型规模：约 70B 以内的模型选 L40S 和 RTX PRO 6000，70B–405B 选 H200 和 MI300X，大规模 FP4 推理服务选 B300。
NVIDIA 还是 AMD？
NVIDIA 可运行所有仅支持 CUDA 的内核和库。AMD Instinct GPU 每美元可获得更多显存，并可在 ROCm 上运行 PyTorch、JAX、vLLM 和 SGLang。如果您的技术栈基于框架层，AMD 通常性价比更高。
所有 GPU 都提供 8 卡服务器吗？
是的，每款型号都可按每台 1 至 8 块 GPU 租用。SXM 和 OAM GPU 通过 NVLink 或 Infinity Fabric 互联；RTX PRO 6000 和 L40S 为 PCIe 卡。