长时间运行前如何验证新的 8 卡 GPU 服务器

每个批次在开售前都经过我们的老化测试，但在把一周的算力投入任何服务器之前，您仍应自行检查。快速检查只需几分钟；完整诊断大约需要半小时。

1. 硬件清点与健康检查

nvidia-smi                              # 8 GPUs, expected model and memory
nvidia-smi -q -d ECC | grep -i -A3 "Volatile"   # uncorrectable ECC must be 0
nvidia-smi -q -d PERFORMANCE            # no thermal or power throttling at idle

AMD 平台：rocm-smi、rocm-smi --showmeminfo vram 和 amd-smi metric --ecc。

2. 拓扑

nvidia-smi topo -m

在 HGX 服务器上，每对 GPU 之间都应显示 NV 加链路数量。如果两块 SXM GPU 之间显示 SYS 或 PHB，说明流量会经过 CPU：请提交工单。在 AMD 平台上，rocm-smi --showtopo 应显示所有 GPU 之间均为 XGMI。

3. PCIe 链路

nvidia-smi -q | grep -A2 -i "Link Width"

每块 GPU 的当前链路宽度与最大链路宽度应一致（x16）。

4. 诊断

dcgmi diag -r 3        # NVIDIA DCGM, 10 to 30 minutes

在 AMD 平台上，ROCm Validation Suite（rvs）可运行同等的显存、PCIe 和压力测试。

5. 集合通信带宽

git clone https://github.com/NVIDIA/nccl-tests.git && cd nccl-tests && make -j
./build/all_reduce_perf -b 8 -e 8G -f 2 -g 8

查看最大消息尺寸对应的 busbw 列。该值应接近平台的 NVLink 单向带宽，例如在 H100 SXM（NVLink 4）上最高约 450 GB/s，在 Blackwell（NVLink 5）上约为其两倍。结果远低于此，说明存在拓扑或驱动问题。在 AMD 平台上，请使用相同参数运行 rccl-tests。

6. 简短的老化测试

用您真实的训练步骤运行 10 分钟，并通过 nvidia-smi dmon 或 rocm-smi 观察时钟频率、功耗和温度。负载下时钟频率稳定，是节点健康的最佳信号。

如果检查未通过

请在控制台提交工单，并附上主机名和命令输出。如果服务器在交付时未通过这些检查，我们会为您更换。详见我们的 SLA。