部署独享 GPU 服务器

vL vLLM大模型推理 高吞吐量的大模型推理服务，提供 OpenAI 兼容 API，并分布在服务器的所有 GPU 上。 OpenAI 兼容 API :8000 PyTorch训练与微调 系统中预装 PyTorch、Transformers 和 Accelerate，可直接用于多 GPU 训练与微调。 Ollama大模型推理 用一条命令和简洁的 REST API 运行 gpt-oss、Llama、Qwen、DeepSeek 等开源模型。 Ollama API :11434 JupyterLabNotebook 与 IDE 基于 PyTorch 模板的 JupyterLab，作为服务随服务器一起启动。 JupyterLab :8888 CU ComfyUI图像、视频与 3D 基于节点的图像和视频生成，支持 Stable Diffusion、Flux、Wan 等模型。 网页界面 :8188 SG SGLang大模型推理 高速的大模型与多模态推理服务，支持前缀缓存（RadixAttention）和 OpenAI 兼容 API。 OpenAI 兼容 API :30000 OW Open WebUI大模型推理 为您自己的模型提供私有的 ChatGPT 式界面，由同一台服务器上的 Ollama 提供推理。 网页界面 :3000 NVIDIA PyTorch (NGC)训练与微调 NVIDIA 每月发布的 PyTorch 容器，针对 Hopper 和 Blackwell 优化，内置 Transformer Engine。 Ax Axolotl训练与微调 基于配置文件的微调（LoRA、QLoRA、全参数），支持 Llama、Qwen、Mistral、Gemma 等模型。 Us Unsloth训练与微调 在 JupyterLab 中进行更快、更省显存的 LoRA 与 QLoRA 微调。 JupyterLab :8888 code-serverNotebook 与 IDE 在浏览器中使用运行于服务器上的 VS Code，基于 PyTorch 模板。 浏览器中的 VS Code :8080 LF LLaMA-Factory训练与微调 通过网页界面或命令行微调一百多种开源模型。 网页界面 :7860 NVIDIA Triton Inference Server大模型推理 通过 HTTP 和 gRPC 部署 PyTorch、ONNX、TensorRT 和 TensorRT-LLM 模型，支持动态批处理。 HTTP API :8000 NVIDIA NeMo训练与微调 NVIDIA 用于大规模预训练和微调大模型的框架，基于 Megatron Core 构建。 JX JAX训练与微调 带 CUDA 的 JAX，以及 Flax 和 Optax，安装在系统的 Python 环境中。 TensorFlow训练与微调 支持 GPU 的 TensorFlow 和 Keras 3，安装在系统的 Python 环境中。 Blender图像、视频与 3D 使用 Cycles 在 CUDA 或 OptiX 上进行无界面渲染；在带 RT 核心的 GPU（RTX PRO 6000、L40S）上速度最快。 CUDA 13基础镜像 预装 NVIDIA 驱动、CUDA 工具包、cuDNN、NCCL 和可访问 GPU 的 Docker 的 Ubuntu。 Ubuntu 24.04 LTS基础镜像 纯净系统，仅含 GPU 驱动：其他一切由您自行安装，您拥有 root 权限。 自定义 Docker 镜像基础镜像 任意公开 Docker 镜像，服务器启动时自动运行，可访问所有 GPU。