Шаблон определяет, с чем вы получаете сервер: драйверы GPU плюс фреймворк, сервер инференса или приложение — установленные и запущенные за вас. Шаблон выбирается при развёртывании, а root-доступ позволяет изменить что угодно.
Инференс LLM
| Шаблон | Что устанавливается | Где открыть | GPU |
|---|---|---|---|
| vLLM Высокопроизводительный инференс LLM с API, совместимым с OpenAI, распределённый по всем GPU сервера. | NVIDIA
| API, совместимый с OpenAI :8000 | NVIDIA, AMD |
| Ollama Запуск открытых моделей — gpt-oss, Llama, Qwen, DeepSeek и других — одной командой и через простой REST API. | NVIDIA
| API Ollama :11434 | NVIDIA, AMD |
| SGLang Быстрый инференс LLM и мультимодальных моделей с кэшированием префиксов (RadixAttention) и API, совместимым с OpenAI. |
| API, совместимый с OpenAI :30000 | NVIDIA |
| Open WebUI Собственный интерфейс в стиле ChatGPT для ваших моделей, которые обслуживает Ollama на том же сервере. |
| Веб-интерфейс :3000 | NVIDIA |
| NVIDIA Triton Inference Server Инференс моделей PyTorch, ONNX, TensorRT и TensorRT-LLM по HTTP и gRPC с динамическим батчингом. |
| HTTP API :8000API gRPC :8001Метрики :8002 | NVIDIA |
Обучение и дообучение
| Шаблон | Что устанавливается | Где открыть | GPU |
|---|---|---|---|
| PyTorch PyTorch с Transformers и Accelerate прямо в системе — всё готово для обучения и дообучения на нескольких GPU. | NVIDIA
| SSH | NVIDIA, AMD |
| NVIDIA PyTorch (NGC) Ежемесячный контейнер PyTorch от NVIDIA, оптимизированный для Hopper и Blackwell, с Transformer Engine. |
| SSH | NVIDIA |
| Axolotl Дообучение по конфигурационному файлу (LoRA, QLoRA, полное) для Llama, Qwen, Mistral, Gemma и других моделей. |
| SSH | NVIDIA |
| Unsloth Ускоренное дообучение LoRA и QLoRA с меньшим расходом памяти GPU, в JupyterLab. |
| JupyterLab :8888 | NVIDIA |
| LLaMA-Factory Дообучение более сотни открытых моделей через веб-интерфейс или из командной строки. |
| Веб-интерфейс :7860 | NVIDIA |
| NVIDIA NeMo Фреймворк NVIDIA для масштабного предобучения и дообучения больших моделей на базе Megatron Core. |
| SSH | NVIDIA |
| JAX JAX с CUDA, а также Flax и Optax в Python-окружении системы. |
| SSH | NVIDIA |
| TensorFlow TensorFlow и Keras 3 с поддержкой GPU в Python-окружении системы. |
| SSH | NVIDIA |
Ноутбуки и IDE
| Шаблон | Что устанавливается | Где открыть | GPU |
|---|---|---|---|
| JupyterLab JupyterLab поверх шаблона PyTorch — служба, которая запускается вместе с сервером. | NVIDIA
| JupyterLab :8888 | NVIDIA, AMD |
| code-server VS Code в вашем браузере, работающий на сервере поверх шаблона PyTorch. | NVIDIA
| VS Code в браузере :8080 | NVIDIA, AMD |
Изображения, видео и 3D
| Шаблон | Что устанавливается | Где открыть | GPU |
|---|---|---|---|
| ComfyUI Генерация изображений и видео в виде графа узлов для Stable Diffusion, Flux, Wan и других моделей. | NVIDIA
| Веб-интерфейс :8188 | NVIDIA, AMD |
| Blender Рендеринг без интерфейса движком Cycles на CUDA или OptiX; быстрее всего на GPU с RT-ядрами (RTX PRO 6000, L40S). |
| SSH | NVIDIA |
Базовые образы
| Шаблон | Что устанавливается | Где открыть | GPU |
|---|---|---|---|
| CUDA 13 Ubuntu с драйвером NVIDIA, CUDA Toolkit, cuDNN, NCCL и Docker с доступом к GPU. |
| SSH | NVIDIA |
| ROCm 7 Ubuntu с драйвером GPU AMD, ROCm, RCCL и Docker с доступом к GPU. |
| SSH | AMD |
| Ubuntu 24.04 LTS Чистая ОС только с драйвером GPU: всё остальное ставите сами, у вас есть root. | NVIDIA
| SSH | NVIDIA, AMD |
| Свой Docker-образ Любой публичный Docker-образ, который запускается при загрузке сервера с доступом ко всем GPU. | NVIDIA
| Ваши порты | NVIDIA, AMD |
Параметры
- Модель для запуска (vLLM, SGLang): идентификатор модели Hugging Face; она скачивается при первой загрузке и работает на всех GPU сервера.
- Модели для загрузки (Ollama, Open WebUI): названия моделей Ollama, которые скачиваются при первой загрузке.
- Свой Docker-образ: любой публичный образ со своими портами и командой. Он работает как служба с доступом ко всем GPU и перезапускается, если остановится.
- Переменные окружения и скрипт запуска — для любого шаблона: переменные записываются в
/etc/coregpu/template.env, а скрипт выполняется один раз от root при первой загрузке. После передачи сервера и то и другое удаляется из наших систем.
Как открыть веб-приложение или API
Веб-интерфейсы и API слушают только localhost сервера, поэтому по умолчанию ничего не открыто в интернет. Открывайте их со своего компьютера через SSH-туннель; точную команду покажет страница сервера в консоли:
ssh -N -L 8888:localhost:8888 root@203.0.113.10
# then open http://localhost:8888Приложения работают как служба coregpu-app: systemctl restart coregpu-app перезапускает её, а journalctl -u coregpu-app -f показывает журнал. Чтобы открыть API для внешнего мира, поставьте перед ним собственный обратный прокси с аутентификацией.
Root-доступ
При развёртывании выберите пароль root — сгенерированный или свой, — SSH-ключи или и то и другое. Пароль хешируется в вашем браузере в формате SHA-512 crypt, том же, что в /etc/shadow: к нам он не попадает, а его хеш удаляется после передачи сервера. Вход по паролю защищён fail2ban: после пяти неверных попыток адрес блокируется на час. Если оставить только SSH-ключи, вход по паролю будет отключён. Пароль root можно сменить на странице сервера в консоли.
Версии и обновления
При подготовке сервера шаблоны ставят последнюю стабильную версию каждого компонента, а контейнеры NVIDIA NGC — последний ежемесячный выпуск. Версию драйвера покажут nvidia-smi или rocm-smi, Python-пакеты — pip list (они в /opt/venv, этот путь уже в PATH), контейнеры — docker images. Обновить можно что угодно самостоятельно.
Собственный образ
Для любого публичного образа есть шаблон «Свой Docker-образ», а можно начать с Ubuntu 24.04 LTS и поставить всё нужное самостоятельно: у вас есть root-доступ.