Глоссарий

Глоссарий GPU-облаков. Термины, за которыми стоят цена и производительность.

Что на самом деле означают HBM3e, NVLink, SXM, FP4 или GPU-час и как каждый из этих терминов влияет на стоимость GPU-сервера или скорость его работы. 35 терминов, по одному абзацу на каждый.

35 терминов
6 тем
Данные из спецификаций производителей

Оборудование

Выделенный GPU: GPU, закреплённый за одним клиентом на весь срок аренды: он не делится с другими арендаторами, не разбивается на части и не используется в режиме разделения времени. Вам доступны вся его память, вычислительная мощность и пропускная способность интерконнекта.
Сервер bare metal: Физический сервер, арендуемый целиком, без гипервизора между клиентом и оборудованием, поэтому клиент сам управляет операционной системой, драйверами и низкоуровневыми настройками. Выделенный сервер также может предоставляться как виртуальная машина для одного клиента с пробросом GPU.
SXM: Сокетный GPU-модуль NVIDIA для плат HGX, который используется в H100, H200, B200 и B300. GPU формата SXM работают на более высокой мощности, чем PCIe-карты, и соединяются друг с другом через NVLink.
OAM: OCP Accelerator Module (OAM) — открытый форм-фактор GPU-модулей. AMD Instinct MI300X, MI325X, MI350X и MI355X используют модули OAM на платах UBB на 8 GPU, связанных Infinity Fabric.
PCIe-карта с GPU: GPU на стандартной PCIe-карте расширения, например NVIDIA L40S (PCIe 4.0) или RTX PRO 6000 Blackwell в серверном исполнении (PCIe 5.0). Несколько карт в одном сервере обмениваются данными по PCIe, а не через сетку NVLink, поэтому такой вариант лучше подходит для схемы «одна модель на GPU», чем для тесно связанного обучения на нескольких GPU.
HGX: Серверная базовая плата NVIDIA на 8 GPU (HGX H100, H200, B200 и B300), на которой восемь GPU SXM объединены в один домен NVLink. Производители серверов строят на её основе готовые серверы HGX.
NVL72 (стоечные системы): NVIDIA GB200 NVL72 и GB300 NVL72 — стойки с жидкостным охлаждением, в которых 72 GPU Blackwell и CPU Grace объединены в один домен NVLink. Они продаются только целыми стойками; в сервере HGX — 8 GPU.
TDP: Расчётная тепловая мощность — максимальная мощность, которую GPU рассчитан потреблять длительно, в ваттах: 350 Вт у L40S, 700 Вт у H100 SXM, 1 100 Вт у B300 и до 1 400 Вт у AMD MI355X с жидкостным охлаждением. От неё зависит, какое питание и охлаждение должен обеспечить дата-центр.

Память и числовые форматы

HBM, HBM3 и HBM3e: Память с высокой пропускной способностью: DRAM, уложенная стеком рядом с кристаллом GPU в одном корпусе и дающая терабайты в секунду пропускной способности. У H100 SXM — 80 ГБ HBM3 на 3,35 ТБ/с, у H200 — 141 ГБ HBM3e на 4,8 ТБ/с, у B200 и B300 — 180 ГБ и 288 ГБ HBM3e на 8 ТБ/с.
GDDR6, GDDR7: Графическая память, распаянная вокруг GPU на PCIe-картах: дешевле и медленнее HBM. У L40S — 48 ГБ GDDR6 на 864 ГБ/с, у RTX PRO 6000 Blackwell — 96 ГБ GDDR7 на 1,6 ТБ/с.
Пропускная способность памяти: Скорость, с которой GPU читает и записывает собственную память, в ТБ/с. Генерация токенов в LLM (декодирование) обычно упирается в пропускную способность, а не в вычисления, поэтому именно она задаёт число токенов в секунду для конкретной модели.
BF16: Bfloat16 — 16-битный формат с плавающей запятой с диапазоном FP32. Это стандартная точность для обучения; модель в нём занимает 2 байта на параметр: около 140 ГБ для модели 70B.
FP8: 8-битный формат с плавающей запятой, который поддерживают GPU NVIDIA Hopper и Blackwell, Ada Lovelace и AMD CDNA 3 и CDNA 4. По сравнению с BF16 он вдвое сокращает объём памяти и примерно вдвое повышает производительность тензорных ядер; широко применяется для инференса и всё чаще — для обучения.
FP4: 4-битный формат с плавающей запятой, который нативно выполняют GPU NVIDIA Blackwell (B200, B300, RTX PRO 6000) и AMD CDNA 4 (MI350X, MI355X). Модель в нём занимает полбайта на параметр, а производительность инференса максимальна — ценой некоторой потери точности.
Квантизация: Хранение весов модели, а иногда и активаций, в пониженной точности (FP8, INT8, FP4 или INT4, например AWQ или GPTQ), чтобы модель занимала меньше памяти и работала быстрее. 4-битные веса работают на любом GPU; для вычислений в FP4 нужен Blackwell или CDNA 4.
KV-кэш: Память, которую LLM хранит для ключей и значений механизма внимания каждого обрабатываемого токена. Она растёт с длиной контекста и числом одновременных запросов: модели 70B с GQA (grouped-query attention) нужно около 0,33 МБ на токен в BF16, то есть примерно 42 ГБ на одну последовательность длиной 128K токенов.

Вычисления и интерконнект

PFLOPS: плотные (dense) и разреженные (sparse): Квадриллионы операций с плавающей запятой в секунду. Производители указывают производительность тензорных ядер и в плотном режиме (dense), и со структурированной разреженностью 2:4, которая удваивает цифру; CoreGPU всегда указывает dense-показатели — те, которых достигает большинство нагрузок.
Тензорные и матричные ядра: Блоки внутри GPU, которые выполняют умножение матриц — основу нейросетей — в низкой точности (FP16, BF16, FP8, FP4). У NVIDIA они называются Tensor Cores, у AMD — Matrix Cores.
NVLink и NVSwitch: Интерконнект NVIDIA для связи GPU между собой. В сервере HGX на 8 GPU чипы NVSwitch соединяют каждый GPU со всеми остальными: 900 ГБ/с на GPU с NVLink 4 на Hopper (H100, H200) и 1,8 ТБ/с с NVLink 5 на Blackwell (B200, B300).
Infinity Fabric: Связь AMD между GPU Instinct на плате на 8 GPU: 896 ГБ/с на GPU у MI300X и MI325X, 1,08 ТБ/с у MI350X и MI355X.
Параллелизм по данным, тензорный и конвейерный: Способы распределить обучение или инференс по нескольким GPU: при параллелизме по данным модель копируется, а батч делится; при тензорном параллелизме каждый слой разбивается между GPU; при конвейерном группы слоёв размещаются на разных GPU. Тензорному параллелизму нужны самые быстрые каналы связи, например NVLink.
NCCL и RCCL: Библиотеки коллективных коммуникаций (all-reduce, all-gather), которые используются при обучении на нескольких GPU NVIDIA (NCCL) и AMD (RCCL). Их тесты пропускной способности — стандартный способ убедиться, что интерконнект нового сервера работает на полной скорости.
MIG: Multi-Instance GPU — функция NVIDIA, которая делит один GPU на изолированные части с собственной памятью и вычислительными ресурсами. Облака используют её, чтобы продавать доли GPU; выделенный GPU никогда не разделяется.

Программное обеспечение

CUDA: Платформа NVIDIA для программирования её GPU с библиотеками (cuDNN, cuBLAS, NCCL), на которых построены PyTorch, TensorFlow, JAX и большая часть ПО для ИИ.
ROCm и HIP: Открытая программная платформа AMD для GPU Instinct. HIP — её CUDA-подобный программный интерфейс; PyTorch, JAX, Triton, vLLM и SGLang работают на ROCm, а инструменты AMD HIPIFY переносят код CUDA на HIP.
vLLM: Сервер инференса LLM с открытым исходным кодом: обслуживает модели через API, совместимый с OpenAI, и за счёт постраничного внимания (paged attention) и непрерывного батчинга обеспечивает высокую пропускную способность. Работает на GPU NVIDIA и AMD.

Цены и оплата

GPU-час: Один GPU, использованный в течение одного часа, — единица тарификации почасовых GPU-облаков. В месяце примерно 730 часов, поэтому цена в месяц, разделённая на 730, даёт почасовой эквивалент.
Цены по запросу, спотовые и зарезервированные: Оплата по запросу — почасовая или посекундная, без обязательств; спотовые (прерываемые) мощности дешевле, но их могут отозвать с коротким уведомлением; зарезервированные цены (с обязательствами) снижают ставку в обмен на срок от 1 до 36 месяцев, который оплачивается независимо от того, используются GPU или нет.
Помесячная оплата GPU: Одна фиксированная цена за GPU за каждый месяц аренды сервера — независимо от того, чем занят GPU. В CoreGPU месяц начинается с момента выдачи сервера, продлевается из предоплаченного баланса и может быть остановлен в конце любого месяца.
Точка безубыточности по загрузке: Число часов в месяц, начиная с которого помесячная цена обходится дешевле почасовой оплаты. Поскольку цена CoreGPU составляет около 75% от медианы цен по запросу, точка безубыточности — около 540 ч в месяц, то есть примерно 18 ч в сутки.
Рыночная медиана (CoreGPU): Ориентир, относительно которого CoreGPU устанавливает цены: медианная публичная цена по запросу на тот же GPU у специализированных GPU-облаков, умноженная на 730 часов. Гиперскейлеры не учитываются; каждая цена CoreGPU минимум на 25% ниже этой величины.
Поставка: Фиксированная партия GPU, которую CoreGPU выставляет на продажу за один раз. Счётчики наличия показывают остаток в текущей поставке; у распроданного GPU указана дата следующей поставки — по той же цене за GPU.

Платежи

Пополнение и бонус: Зачисление долларов США на баланс CoreGPU путём отправки криптовалюты. Пополнения — от $100, на них начисляется бонус: от +5% при пополнении на $100 до +30% при пополнении от $1 000; серверы и продления оплачиваются с баланса.
USDT в сети TRON (TRC-20): Долларовый стейблкоин Tether, выпущенный в сети TRON. CoreGPU принимает USDT только в сети TRON: USDT, отправленные через Ethereum, BNB Chain или любую другую сеть на адрес TRON, не могут быть зачислены.
Подтверждения: Количество блоков, добавленных после транзакции, по достижении которого она считается окончательной. Пополнение CoreGPU зачисляется, как только сеть его подтвердит: в Solana — меньше чем за минуту, для USDT в TRON — за 1–3 мин, в Ethereum — за 2–5 мин, для Bitcoin — за 10–30 мин, для Monero — примерно за 20 мин (10 подтверждений).

Применяйте термины на практике

Сравните память, пропускную способность и FP8 или FP4 бок о бок, а затем арендуйте подходящий GPU помесячно.

Сравнить GPU Все GPU и цены