库存紧张

NVIDIA HGX B300:仅剩 9 块 GPU,$4,899/⁠月,比市场价低 25%。仅剩 9 块 B300,$4,899/⁠月

配置 B300

文档 · 快速入门

快速入门:从下单到运行第一个 GPU 任务

通过 SSH 连接您的 CoreGPU 服务器,检查 GPU 及其互联,几分钟内运行第一个 PyTorch 任务。

  • 更新于 2026年11月4日

本指南将带您从一台已交付的服务器开始,直到 GPU 任务运行起来。前提是您的服务器在控制台中显示为就绪:其 IP 地址和 SSH 命令都在服务器页面上。

1. 选择登录方式

部署流程的“访问方式”步骤提供 root 密码(为您生成或自行设置)、SSH 密钥,或两者兼用。密码在您的浏览器中进行哈希处理,永远不会发送给我们;输错五次,该地址会被封禁一小时。仅使用密钥时,密码登录保持关闭:这是最安全的登录方式。您添加的密钥保存在控制台的 SSH 密钥中。创建密钥:

ssh-keygen -t ed25519 -C "laptop"
cat ~/.ssh/id_ed25519.pub

2. 连接

ssh root@203.0.113.10

使用密码时,ssh 会提示输入;使用密钥时会直接登录。您在独享机器上拥有 root 权限:可用 adduser 为团队创建独立账户,并将他们的密钥添加到 ~/.ssh/authorized_keys。

3. 检查 GPU

在 NVIDIA 服务器上:

nvidia-smi                      # GPUs, memory, driver and CUDA version
nvidia-smi topo -m              # NVLink / PCIe topology between GPUs
nvidia-smi nvlink --status      # per-link NVLink state

在 AMD Instinct 服务器上:

rocm-smi                        # GPUs, memory and utilisation
rocm-smi --showtopo             # Infinity Fabric topology
amd-smi list                    # detailed device list

在 8 卡 SXM 或 OAM 服务器上,拓扑矩阵中每对 GPU 之间都应显示 NVLink(NV)或 XGMI 链路。

4. 运行第一个任务

PyTorch 模板及基于它的模板都包含驱动和 PyTorch。检查 PyTorch 是否识别到所有 GPU:

python3 -c "import torch; print(torch.cuda.device_count(), torch.cuda.get_device_name(0))"

更喜欢用容器?Docker 和 GPU 容器运行时均已预装:

# NVIDIA
docker run --rm --gpus all nvidia/cuda:13.0.0-base-ubuntu24.04 nvidia-smi

# AMD
docker run --rm --device=/dev/kfd --device=/dev/dri --group-add video \
  rocm/pytorch:latest python -c "import torch; print(torch.cuda.device_count())"

选择了带网页应用或 API 的模板,例如 JupyterLab、ComfyUI 或 vLLM?它只监听服务器的 localhost:先建立 SSH 隧道,再在浏览器中打开。服务器页面会给出具体命令;详见模板。

ssh -N -L 8888:localhost:8888 root@203.0.113.10
# then open http://localhost:8888

5. 测试互联带宽

长时间运行任务之前,先用 NCCL 测试(AMD 上为 RCCL 测试)测量集合通信带宽:

git clone https://github.com/NVIDIA/nccl-tests.git && cd nccl-tests
make -j
./build/all_reduce_perf -b 8 -e 8G -f 2 -g 8

大消息下的总线带宽应接近 GPU 页面上列出的 NVLink 数值。我们的指南如何验证新的 8 卡服务器详细介绍了烤机测试和健康检查。

6. 存储数据与检查点

每台服务器都配有本地 NVMe 临时存储。它速度快且仅供您的服务器使用,但会在服务器归还时被清除:请在当月结束前,将需要保留的检查点复制到您自己的对象存储。

7. 续费或停用

服务器每月从余额自动续费。如需在月末停用,请在服务器页面关闭自动续费;详见计费。

下一篇:模板

CoreGPU 服务器模板:vLLM、SGLang、Ollama、PyTorch、JupyterLab、ComfyUI、NVIDIA NGC 等。各自安装的内容、访问方式,以及如何使用自己的镜像。

Esc
↑↓ 选择↵ 打开Esc 关闭