术语表
GPU 云术语表。价格与性能背后的关键术语。
HBM3e、NVLink、SXM、FP4 或 GPU 小时究竟是什么意思，每一项又如何影响 GPU 服务器的成本或运行速度。共 35 个术语，每个术语一段话讲清。
- 35 个术语
- 6 个主题
- 数据来自厂商规格书
硬件
- 独享 GPU
- 在整个租期内专供一位客户使用的 GPU：不与其他租户共享，不切分为实例，也不分时复用。您可获得它的全部显存、算力和互联带宽。
- 裸金属服务器
- 整台出租的物理服务器，客户与硬件之间没有虚拟化层，因此客户可以掌控操作系统、驱动程序和底层设置。独享服务器也可以以单租户虚拟机的形式交付，并以直通方式提供 GPU。
- SXM
- NVIDIA 用于 HGX 主板的插座式 GPU 模组，H100、H200、B200 和 B300 均采用这一规格。SXM GPU 的功耗高于 PCIe 显卡，并通过 NVLink 彼此互联。
- OAM
- OCP 加速器模组（OAM），一种开放的 GPU 模组规格。AMD Instinct MI300X、MI325X、MI350X 和 MI355X 采用 OAM 模组，安装在通过 Infinity Fabric 互联的 8 卡 UBB 主板上。
- PCIe GPU 卡
- 安装在标准 PCIe 扩展卡上的 GPU，例如 NVIDIA L40S（PCIe 4.0）或 RTX PRO 6000 Blackwell 服务器版（PCIe 5.0）。同一服务器中的多张卡通过 PCIe 而非 NVLink 网状互联交换数据，因此更适合每块 GPU 运行一个模型，而非紧密耦合的多 GPU 训练。
- HGX
- NVIDIA 的 8 卡服务器基板（HGX H100、H200、B200 和 B300），板上的八块 SXM GPU 共享同一个 NVLink 域。服务器厂商围绕它打造完整的 HGX 服务器。
- NVL72（机架级）
- NVIDIA GB200 NVL72 和 GB300 NVL72 是液冷机架，其中 72 块 Blackwell GPU 与 Grace CPU 共享同一个 NVLink 域。它们以整机架形式出售；而一台 HGX 服务器配有 8 块 GPU。
- TDP
- 热设计功耗，即 GPU 按设计可持续消耗的最大功率，以瓦为单位：L40S 为 350 W，H100 SXM 为 700 W，B300 为 1,100 W，液冷 AMD MI355X 最高可达 1,400 W。它决定了数据中心必须提供多少供电和散热能力。
显存与数值格式
- HBM、HBM3 与 HBM3e
- 高带宽内存：与 GPU 芯片封装在一起、紧邻芯片堆叠的 DRAM，可提供每秒数 TB 的带宽。H100 SXM 配备 80 GB HBM3，带宽 3.35 TB/s；H200 配备 141 GB HBM3e，带宽 4.8 TB/s；B200 和 B300 分别配备 180 GB 和 288 GB HBM3e，带宽均为 8 TB/s。
- GDDR6, GDDR7
- 焊接在 PCIe 显卡上 GPU 周围的显存：比 HBM 更便宜，也更慢。L40S 配备 48 GB GDDR6，带宽 864 GB/s；RTX PRO 6000 Blackwell 配备 96 GB GDDR7，带宽 1.6 TB/s。
- 显存带宽
- GPU 读写自身显存的速度，单位为 TB/s。大模型的 token 生成（解码）通常受限于带宽而非算力，因此对于给定模型，带宽决定了每秒 token 数。
- BF16
- Bfloat16，一种 16 位浮点格式，数值范围与 FP32 相同。它是训练的标准精度，每个参数占 2 字节：70B 模型约需 140 GB。
- FP8
- 一种 8 位浮点格式，NVIDIA Hopper 和 Blackwell、Ada Lovelace 以及 AMD CDNA 3 和 CDNA 4 GPU 均支持。与 BF16 相比，它让显存占用减半、Tensor 算力大约翻倍，广泛用于推理，也越来越多地用于训练。
- FP4
- 一种 4 位浮点格式，NVIDIA Blackwell（B200、B300、RTX PRO 6000）和 AMD CDNA 4（MI350X、MI355X）GPU 原生支持。每个参数仅占半个字节，推理吞吐量最高，但会损失一定精度。
- 量化
- 以较低精度（FP8、INT8、FP4，或 AWQ、GPTQ 等 INT4 格式）存储模型权重（有时也包括激活值），以减少显存占用并加快运行速度。4 位权重可在任何 GPU 上运行；FP4 计算则需要 Blackwell 或 CDNA 4。
- KV 缓存
- 大模型为每个处理中 token 的注意力键和值所保留的显存。它随上下文长度和并发请求数增长：采用分组查询注意力的 70B 模型在 BF16 下每个 token 约需 0.33 MB，一条 128K token 的序列约需 42 GB。
计算与互联
- PFLOPS：稠密与稀疏
- 每秒千万亿次浮点运算。厂商会同时给出稠密和 2:4 结构化稀疏下的 Tensor 算力，后者数值翻倍；CoreGPU 始终标注稠密算力，这是大多数工作负载实际能达到的水平。
- Tensor Core 与 Matrix Core
- GPU 内部以低精度（FP16、BF16、FP8、FP4）执行矩阵乘法（神经网络的核心运算）的计算单元。NVIDIA 称之为 Tensor Core，AMD 称之为 Matrix Core。
- NVLink 与 NVSwitch
- NVIDIA 的 GPU 间互联技术。在 8 卡 HGX 服务器上，NVSwitch 芯片将每块 GPU 与其他所有 GPU 相连：Hopper（H100、H200）采用 NVLink 4，每 GPU 900 GB/s；Blackwell（B200、B300）采用 NVLink 5，每 GPU 1.8 TB/s。
- Infinity Fabric
- AMD 在 8 卡主板上连接 Instinct GPU 的互联技术：MI300X 和 MI325X 为每 GPU 896 GB/s，MI350X 和 MI355X 为 1.08 TB/s。
- 数据并行、张量并行与流水线并行
- 将训练或推理分布到多块 GPU 上的方法：数据并行复制模型并切分批次，张量并行将每一层拆分到多块 GPU 上，流水线并行则把不同的层组放到不同的 GPU 上。张量并行需要最快的互联，例如 NVLink。
- NCCL 与 RCCL
- 多 GPU 训练在 NVIDIA（NCCL）和 AMD（RCCL）GPU 上使用的集合通信库（all-reduce、all-gather）。它们的带宽测试是检验新服务器互联能否满速运行的标准方法。
- MIG
- 多实例 GPU（Multi-Instance GPU）：NVIDIA 的一项功能，可将一块 GPU 切分为多个相互隔离、拥有独立显存和算力的实例。云厂商借此出售部分 GPU；而独享 GPU 从不切分。
软件
- CUDA
- NVIDIA 的 GPU 编程平台，包含 cuDNN、cuBLAS、NCCL 等库，PyTorch、TensorFlow、JAX 以及大多数 AI 软件都构建于其上。
- ROCm 与 HIP
- AMD 面向 Instinct GPU 的开放软件平台。HIP 是其类 CUDA 编程接口；PyTorch、JAX、Triton、vLLM 和 SGLang 均可在 ROCm 上运行，AMD 的 HIPIFY 工具可将 CUDA 代码移植到 HIP。
- vLLM
- 开源的大模型推理服务器，通过兼容 OpenAI 的 API 提供模型服务，借助分页注意力和连续批处理实现高吞吐量。可在 NVIDIA 和 AMD GPU 上运行。
定价与计费
- GPU 小时
- 一块 GPU 使用一小时，是按小时计费的 GPU 云的计费单位。一个月约有 730 小时，因此将月价除以 730 即可得到折合的小时价。
- 按需、抢占式与预留定价
- 按需实例按小时或按秒计费，没有任何承诺；抢占式（可中断）实例更便宜，但可能在短时间通知后被收回；预留（承诺用量）定价以签订 1 至 36 个月的期限换取更低费率，无论 GPU 是否使用都需付费。
- 按月 GPU 计费
- 服务器租用期间，每月按每 GPU 收取一个固定价格，与 GPU 的实际使用情况无关。在 CoreGPU，计费月从交付时开始，从预付余额中续费，并可在任意月末停止。
- 盈亏平衡利用率
- 每月使用时长超过这一小时数后，按月付费就比按小时付费更便宜。CoreGPU 的价格约为按需中位价的 75%，盈亏平衡点约为每月 540 小时，大约每天 18 小时。
- 市场中位价（CoreGPU）
- CoreGPU 定价所参照的基准：同款 GPU 在各专业 GPU 云服务商的公开按需价格中位数，乘以 730 小时。不含超大规模云厂商；CoreGPU 的每个价格都比它低至少 25%。
- 批次
- CoreGPU 一次性开售的一批固定数量的 GPU。库存数字显示当前批次的剩余数量；已售罄的 GPU 会显示下一批次的日期，每 GPU 价格不变。
支付
- 充值与赠送额度
- 通过发送加密货币为 CoreGPU 余额充入美元。充值 $100 起，并可获得赠送额度：充值 $100 可获 +5%，充值 $1,000 及以上可获 +30%；服务器和续费均从余额中支付。
- TRON 上的 USDT（TRC-20）
- Tether 在 TRON 网络上发行的美元稳定币。CoreGPU 仅接受 TRON 网络上的 USDT：通过以太坊、BNB Chain 或其他任何网络发送到 TRON 地址的 USDT 无法入账。
- 确认数
- 一笔交易之后新增的区块数，达到要求后交易即被视为最终确认。CoreGPU 充值在所在网络确认后即入账：Solana 不到一分钟，TRON 上的 USDT 需 1–3 分钟，以太坊需 2–5 分钟，比特币需 10–30 分钟，门罗币约需 20 分钟（10 个确认）。
让术语派上用场
并排比较显存、带宽以及 FP8 或 FP4 算力，然后按月租用合适的 GPU。