本指南将带您从一台已交付的服务器开始,直到 GPU 任务运行起来。前提是您的服务器在控制台中显示为就绪:其 IP 地址和 SSH 命令都在服务器页面上。
1. 选择登录方式
部署流程的“访问方式”步骤提供 root 密码(为您生成或自行设置)、SSH 密钥,或两者兼用。密码在您的浏览器中进行哈希处理,永远不会发送给我们;输错五次,该地址会被封禁一小时。仅使用密钥时,密码登录保持关闭:这是最安全的登录方式。您添加的密钥保存在控制台的 SSH 密钥中。创建密钥:
ssh-keygen -t ed25519 -C "laptop"
cat ~/.ssh/id_ed25519.pub
2. 连接
ssh root@203.0.113.10
使用密码时,ssh 会提示输入;使用密钥时会直接登录。您在独享机器上拥有 root 权限:可用 adduser 为团队创建独立账户,并将他们的密钥添加到 ~/.ssh/authorized_keys。
3. 检查 GPU
在 NVIDIA 服务器上:
nvidia-smi # GPUs, memory, driver and CUDA version
nvidia-smi topo -m # NVLink / PCIe topology between GPUs
nvidia-smi nvlink --status # per-link NVLink state
在 AMD Instinct 服务器上:
rocm-smi # GPUs, memory and utilisation
rocm-smi --showtopo # Infinity Fabric topology
amd-smi list # detailed device list
在 8 卡 SXM 或 OAM 服务器上,拓扑矩阵中每对 GPU 之间都应显示 NVLink(NV)或 XGMI 链路。
4. 运行第一个任务
PyTorch 模板及基于它的模板都包含驱动和 PyTorch。检查 PyTorch 是否识别到所有 GPU:
python3 -c "import torch; print(torch.cuda.device_count(), torch.cuda.get_device_name(0))"
更喜欢用容器?Docker 和 GPU 容器运行时均已预装:
# NVIDIA
docker run --rm --gpus all nvidia/cuda:13.0.0-base-ubuntu24.04 nvidia-smi
# AMD
docker run --rm --device=/dev/kfd --device=/dev/dri --group-add video \
rocm/pytorch:latest python -c "import torch; print(torch.cuda.device_count())"
选择了带网页应用或 API 的模板,例如 JupyterLab、ComfyUI 或 vLLM?它只监听服务器的 localhost:先建立 SSH 隧道,再在浏览器中打开。服务器页面会给出具体命令;详见模板。
ssh -N -L 8888:localhost:8888 root@203.0.113.10
# then open http://localhost:8888
5. 测试互联带宽
长时间运行任务之前,先用 NCCL 测试(AMD 上为 RCCL 测试)测量集合通信带宽:
git clone https://github.com/NVIDIA/nccl-tests.git && cd nccl-tests
make -j
./build/all_reduce_perf -b 8 -e 8G -f 2 -g 8
大消息下的总线带宽应接近 GPU 页面上列出的 NVLink 数值。我们的指南如何验证新的 8 卡服务器详细介绍了烤机测试和健康检查。
6. 存储数据与检查点
每台服务器都配有本地 NVMe 临时存储。它速度快且仅供您的服务器使用,但会在服务器归还时被清除:请在当月结束前,将需要保留的检查点复制到您自己的对象存储。
7. 续费或停用
服务器每月从余额自动续费。如需在月末停用,请在服务器页面关闭自动续费;详见计费。
