Развернуть выделенный GPU-сервер

vL vLLMИнференс LLM Высокопроизводительный инференс LLM с API, совместимым с OpenAI, распределённый по всем GPU сервера. API, совместимый с OpenAI :8000 PyTorchОбучение и дообучение PyTorch с Transformers и Accelerate прямо в системе — всё готово для обучения и дообучения на нескольких GPU. OllamaИнференс LLM Запуск открытых моделей — gpt-oss, Llama, Qwen, DeepSeek и других — одной командой и через простой REST API. API Ollama :11434 JupyterLabНоутбуки и IDE JupyterLab поверх шаблона PyTorch — служба, которая запускается вместе с сервером. JupyterLab :8888 CU ComfyUIИзображения, видео и 3D Генерация изображений и видео в виде графа узлов для Stable Diffusion, Flux, Wan и других моделей. Веб-интерфейс :8188 SG SGLangИнференс LLM Быстрый инференс LLM и мультимодальных моделей с кэшированием префиксов (RadixAttention) и API, совместимым с OpenAI. API, совместимый с OpenAI :30000 OW Open WebUIИнференс LLM Собственный интерфейс в стиле ChatGPT для ваших моделей, которые обслуживает Ollama на том же сервере. Веб-интерфейс :3000 NVIDIA PyTorch (NGC)Обучение и дообучение Ежемесячный контейнер PyTorch от NVIDIA, оптимизированный для Hopper и Blackwell, с Transformer Engine. Ax AxolotlОбучение и дообучение Дообучение по конфигурационному файлу (LoRA, QLoRA, полное) для Llama, Qwen, Mistral, Gemma и других моделей. Us UnslothОбучение и дообучение Ускоренное дообучение LoRA и QLoRA с меньшим расходом памяти GPU, в JupyterLab. JupyterLab :8888 code-serverНоутбуки и IDE VS Code в вашем браузере, работающий на сервере поверх шаблона PyTorch. VS Code в браузере :8080 LF LLaMA-FactoryОбучение и дообучение Дообучение более сотни открытых моделей через веб-интерфейс или из командной строки. Веб-интерфейс :7860 NVIDIA Triton Inference ServerИнференс LLM Инференс моделей PyTorch, ONNX, TensorRT и TensorRT-LLM по HTTP и gRPC с динамическим батчингом. HTTP API :8000 NVIDIA NeMoОбучение и дообучение Фреймворк NVIDIA для масштабного предобучения и дообучения больших моделей на базе Megatron Core. JX JAXОбучение и дообучение JAX с CUDA, а также Flax и Optax в Python-окружении системы. TensorFlowОбучение и дообучение TensorFlow и Keras 3 с поддержкой GPU в Python-окружении системы. BlenderИзображения, видео и 3D Рендеринг без интерфейса движком Cycles на CUDA или OptiX; быстрее всего на GPU с RT-ядрами (RTX PRO 6000, L40S). CUDA 13Базовые образы Ubuntu с драйвером NVIDIA, CUDA Toolkit, cuDNN, NCCL и Docker с доступом к GPU. Ubuntu 24.04 LTSБазовые образы Чистая ОС только с драйвером GPU: всё остальное ставите сами, у вас есть root. Свой Docker-образБазовые образы Любой публичный Docker-образ, который запускается при загрузке сервера с доступом ко всем GPU.