对大多数 LLM 工作负载而言，决定所需 GPU 数量的是显存，而不是峰值 FLOPS。下面介绍如何估算，以及我们产品目录中能满足需求的配置。
权重：参数量 × 字节数
模型权重占用 parameters × bytes per parameter：BF16 下每个参数 2 字节，FP8 下 1 字节，FP4 下 0.5 字节。部署推理时，还需额外预留约 20% 用于激活值、CUDA 上下文和内存碎片。
| 模型规模 | BF16 | FP8 | FP4 |
|---|---|---|---|
| 7B | 14 GB | 7 GB | 3.5 GB |
| 13B | 26 GB | 13 GB | 6.5 GB |
| 34B | 68 GB | 34 GB | 17 GB |
| 70B | 140 GB | 70 GB | 35 GB |
| 405B | 810 GB | 405 GB | 203 GB |
KV 缓存随上下文增长
对于正在处理的每个 token，KV 缓存存储 2 × layers × KV heads × head dimension × bytes。对于一个拥有 80 层、8 个 KV 头、头维度为 128 的 70B 模型，BF16 下每个 token 约占 0.33 MB，因此单条 128K token 的序列约需 42 GB。并发会成倍放大这一需求：请按“上下文长度 × 并发请求数”规划显存。
微调需要的显存多得多
- 全参数微调在使用 Adam 和混合精度时，每个参数约需 16 字节（权重、梯度、优化器状态和主权重）：70B 模型约需 1.1 TB，且尚未计入激活值。
- LoRA 冻结基础模型：您需要 BF16 权重（70B 为 140 GB），外加小型适配器和激活值。
- QLoRA 以 4 位精度加载基础模型：70B 约需 35 GB，单块大显存 GPU 即可容纳。
可行的配置
| 工作负载 | 所需显存 | 可运行于 |
|---|---|---|
| 以 BF16 部署 7B–13B | 17–31 GB | 1× L40S (48 GB) |
| 以 BF16 部署 34B 或以 FP8 部署 70B | 82–84 GB | 1× RTX PRO 6000（96 GB）或 1× H200 |
| 以 BF16 部署 70B | ~170 GB | 1× MI300X（192 GB）、1× B300 或 2× H200 |
| 以 FP8 部署 405B | ~490 GB | 2× B300、4× H200 或 4× MI300X |
| 以 BF16 部署 405B | ~970 GB | 4× B300、4× MI325X 或 8× H200 |
| 70B 的 QLoRA 微调 | ~50 GB | 1× H200 或 1× RTX PRO 6000 |
| 70B 全参数微调 | 1.1 TB + 激活值 | 8× B300 或 8× MI355X（2.3 TB）；8× H200 需配合 CPU 卸载 |
以上为权重加适度上下文的起步配置。长上下文和高并发需要为 KV 缓存预留额外空间。
经验法则
- 优先选择数量更少、显存更大的 GPU：通过 NVLink 进行张量并行虽然很快，但每多切分一次都会增加通信开销。
- 在新一代 GPU 上，FP8 可将权重显存减半，且质量损失很小；在 Blackwell 和 CDNA 4 上，FP4 还能再减半。
- 关注每美元可获得的显存，而不只是每块 GPU 的价格：请参阅我们对比页面中的“每 GB 价格”一行。
