模板决定了服务器交付时的内容：GPU 驱动，加上一个框架、推理服务器或应用，均已为您安装并启动。部署时选择模板，您仍拥有 root 权限，可随时修改任何内容。
大模型推理
| 模板 | 安装内容 | 访问端口 | GPU |
|---|---|---|---|
| vLLM 高吞吐量的大模型推理服务，提供 OpenAI 兼容 API，并分布在服务器的所有 GPU 上。 | NVIDIA
| OpenAI 兼容 API :8000 | NVIDIA, AMD |
| Ollama 用一条命令和简洁的 REST API 运行 gpt-oss、Llama、Qwen、DeepSeek 等开源模型。 | NVIDIA
| Ollama API :11434 | NVIDIA, AMD |
| SGLang 高速的大模型与多模态推理服务，支持前缀缓存（RadixAttention）和 OpenAI 兼容 API。 |
| OpenAI 兼容 API :30000 | NVIDIA |
| Open WebUI 为您自己的模型提供私有的 ChatGPT 式界面，由同一台服务器上的 Ollama 提供推理。 |
| 网页界面 :3000 | NVIDIA |
| NVIDIA Triton Inference Server 通过 HTTP 和 gRPC 部署 PyTorch、ONNX、TensorRT 和 TensorRT-LLM 模型，支持动态批处理。 |
| HTTP API :8000gRPC API :8001监控指标 :8002 | NVIDIA |
训练与微调
| 模板 | 安装内容 | 访问端口 | GPU |
|---|---|---|---|
| PyTorch 系统中预装 PyTorch、Transformers 和 Accelerate，可直接用于多 GPU 训练与微调。 | NVIDIA
| SSH | NVIDIA, AMD |
| NVIDIA PyTorch (NGC) NVIDIA 每月发布的 PyTorch 容器，针对 Hopper 和 Blackwell 优化，内置 Transformer Engine。 |
| SSH | NVIDIA |
| Axolotl 基于配置文件的微调（LoRA、QLoRA、全参数），支持 Llama、Qwen、Mistral、Gemma 等模型。 |
| SSH | NVIDIA |
| Unsloth 在 JupyterLab 中进行更快、更省显存的 LoRA 与 QLoRA 微调。 |
| JupyterLab :8888 | NVIDIA |
| LLaMA-Factory 通过网页界面或命令行微调一百多种开源模型。 |
| 网页界面 :7860 | NVIDIA |
| NVIDIA NeMo NVIDIA 用于大规模预训练和微调大模型的框架，基于 Megatron Core 构建。 |
| SSH | NVIDIA |
| JAX 带 CUDA 的 JAX，以及 Flax 和 Optax，安装在系统的 Python 环境中。 |
| SSH | NVIDIA |
| TensorFlow 支持 GPU 的 TensorFlow 和 Keras 3，安装在系统的 Python 环境中。 |
| SSH | NVIDIA |
Notebook 与 IDE
| 模板 | 安装内容 | 访问端口 | GPU |
|---|---|---|---|
| JupyterLab 基于 PyTorch 模板的 JupyterLab，作为服务随服务器一起启动。 | NVIDIA
| JupyterLab :8888 | NVIDIA, AMD |
| code-server 在浏览器中使用运行于服务器上的 VS Code，基于 PyTorch 模板。 | NVIDIA
| 浏览器中的 VS Code :8080 | NVIDIA, AMD |
图像、视频与 3D
| 模板 | 安装内容 | 访问端口 | GPU |
|---|---|---|---|
| ComfyUI 基于节点的图像和视频生成，支持 Stable Diffusion、Flux、Wan 等模型。 | NVIDIA
| 网页界面 :8188 | NVIDIA, AMD |
| Blender 使用 Cycles 在 CUDA 或 OptiX 上进行无界面渲染；在带 RT 核心的 GPU（RTX PRO 6000、L40S）上速度最快。 |
| SSH | NVIDIA |
基础镜像
| 模板 | 安装内容 | 访问端口 | GPU |
|---|---|---|---|
| CUDA 13 预装 NVIDIA 驱动、CUDA 工具包、cuDNN、NCCL 和可访问 GPU 的 Docker 的 Ubuntu。 |
| SSH | NVIDIA |
| ROCm 7 预装 AMD GPU 驱动、ROCm、RCCL 和可访问 GPU 的 Docker 的 Ubuntu。 |
| SSH | AMD |
| Ubuntu 24.04 LTS 纯净系统，仅含 GPU 驱动：其他一切由您自行安装，您拥有 root 权限。 | NVIDIA
| SSH | NVIDIA, AMD |
| 自定义 Docker 镜像 任意公开 Docker 镜像，服务器启动时自动运行，可访问所有 GPU。 | NVIDIA
| 您设置的端口 | NVIDIA, AMD |
选项
- 要部署的模型（vLLM、SGLang）：Hugging Face 模型 ID，首次启动时下载，并在服务器的所有 GPU 上提供服务。
- 要下载的模型（Ollama、Open WebUI）：Ollama 模型名称，首次启动时拉取。
- 自定义 Docker 镜像：任意公开镜像，可设置端口和命令。它作为服务运行，可访问所有 GPU，停止后会自动重启。
- 环境变量与启动脚本，适用于所有模板：变量写入
/etc/coregpu/template.env，脚本在首次启动时以 root 身份运行一次。服务器交付后，两者都会从我们的系统中删除。
访问网页应用或 API
网页界面和 API 只监听服务器的 localhost，因此默认不会暴露在互联网上。请从您的电脑通过 SSH 隧道访问；控制台中的服务器页面会给出具体命令：
ssh -N -L 8888:localhost:8888 root@203.0.113.10
# then open http://localhost:8888应用以 coregpu-app 服务运行：systemctl restart coregpu-app 可重启它，journalctl -u coregpu-app -f 可查看日志。如需公开提供 API，请将其置于您自己的带身份验证的反向代理之后。
root 权限
部署时，可选择 root 密码（为您生成或自行设置）、SSH 密钥，或两者兼用。密码在您的浏览器中以 SHA-512 crypt（即 /etc/shadow 的格式）进行哈希处理：它永远不会发送给我们，服务器交付后其哈希值也会被删除。密码登录受 fail2ban 保护：输错五次，该地址会被封禁一小时。仅使用 SSH 密钥时，密码登录保持关闭。您可以在控制台的服务器页面修改 root 密码。
版本与更新
准备服务器时，模板会安装各组件的最新稳定版本，NVIDIA NGC 容器则使用最新的月度版本。运行 nvidia-smi 或 rocm-smi 查看驱动，pip list 查看 Python 包（位于 /opt/venv，已加入 PATH），docker images 查看容器。您可以自行升级任何组件。
自带镜像
任意公开镜像都可使用“自定义 Docker 镜像”模板，也可以从 Ubuntu 24.04 LTS 开始，自行安装所需内容：您拥有 root 权限。