| 规格 | AMD Instinct MI300X | NVIDIA H100 SXM |
|---|---|---|
| 架构 | CDNA 3 | Hopper |
| 显存 | 192 GB HBM3 | 80 GB HBM3 |
| 显存带宽 | 5.3 TB/s | 3.35 TB/s |
| FP8 稠密算力 | 2.6 PF | 1.98 PF |
| 稠密 FP4 | n/a | n/a |
| 互联 | Infinity Fabric · 896 GB/s | NVLink 4 · 900 GB/s |
| 功耗(TDP) | 750 W | 700 W |
| 每 GPU 月价 | $1,749 | $1,999 |
| 每 GB 显存价格 | $9.11 | $24.99 |
| 每 FP8 PFLOPS 价格 | $673 | $1,010 |
| 库存 | 41 块可用 | 仅剩 3 块 |
每行中更优的数值以绿色标出。价格均为 CoreGPU 每 GPU 每月价格,比市场中位价低至少 25%。
- 用更少的 GPU 部署 70B–405B 模型推理
- 受显存带宽限制的解码
- HBM GPU 中最低的月价
- 仅支持 CUDA 的内核与库
- 针对 Hopper 调优的配方
- 训练与开发混合负载
MI300X vs H100:不同服务器规格的月价
| 服务器 | MI300X | H100 | 差价 |
|---|---|---|---|
| 1 块 GPU | $1,749/月 | $1,999/月 | MI300X 便宜 $250 |
| 2 块 GPU | $3,498/月 | $3,998/月 | MI300X 便宜 $500 |
| 4 块 GPU | $6,996/月 | $7,996/月 | MI300X 便宜 $1,000 |
| 8 块 GPU | $13,992/月 | $15,992/月 | MI300X 便宜 $2,000 |
每 GPU 固定月价,所有服务器规格均相同。以 USD 计价,不含税。
显存可容纳的最大模型
| 权重 | 1× MI300X | 1× H100 | 8× MI300X | 8× H100 |
|---|---|---|---|---|
| BF16 | 80B | 33B | 640B | 266B |
| FP8 | 160B | 66B | 1.3T | 533B |
| FP4 | 320B | 133B | 2.6T | 1.1T |
表中为预留 20% 激活值与运行时余量后,权重可装入显存的参数规模。长上下文和大批量需要为 KV 缓存预留更多空间:参见您需要多少显存。
MI300X vs H100:常见问题
已经是客户?请在控制台提交工单:工程师会在一个工作日内回复。
了解支持流程MI300X 比 H100 更快吗?
在稠密 FP8 Tensor 算力上,MI300X 更快:每 GPU 2.6 PF,而对方为 1.98 PF。MI300X 的显存带宽为 5.3 TB/s,H100 为 3.35 TB/s,而这一指标对 LLM 解码影响最大。
MI300X 与 H100 的月价相比如何?
在 CoreGPU,MI300X 为每 GPU 每月 $1,749,H100 为每 GPU 每月 $1,999,因此一台 8 卡服务器的月费分别为 $13,992 和 $15,992。MI300X 每 GPU 便宜 13%。两者价格均比市场中位价低至少 25%,按月从预付余额中扣费。
LLM 推理选 MI300X 还是 H100 更好?
对于大模型和长上下文,MI300X 凭借每 GPU 192 GB 显存更胜一筹,同一模型所需的 GPU 更少。如需用更少的 GPU 部署 70B–405B 模型,请选择 MI300X;仅支持 CUDA 的内核和库请选择 H100。
MI300X 和 H100 可以按月租用吗?
可以。两者都是按月租用的独享 GPU,每台服务器 1 至 8 块,并提供 root SSH 访问权限。目前 MI300X 有现货(41 块可用),H100 即将售罄(仅剩 3 块)。支持使用 BTC、ETH、XMR、USDT (TRC-20) 或 SOL 付款。

