Коротко. Подбирайте GPU под самую большую модель, которую нужно разместить, а затем — под нужную скорость. Для моделей от 7B до 13B и генерации изображений самый дешёвый подходящий вариант — NVIDIA L40S ($849 за GPU в месяц). До 70B на одной карте: RTX PRO 6000 Blackwell ($1 199) вмещает модель в FP8. Для 70B в BF16 или длинных контекстов на одном GPU у AMD MI300X ($1 749) есть 192 ГБ, а H200 ($2 699) — выбор для 70B в FP8 на CUDA. В обучении и работе с самыми большими моделями лидируют B200 ($4 449), B300 ($4 899) и AMD MI355X ($2 449), а для инференса у них есть FP4.
Быстрый выбор
| Если вам нужно | Выбор | Почему | В месяц |
|---|---|---|---|
| Разворачивать модели от 7B до 13B, генерировать изображения | NVIDIA L40S | 48 ГБ хватает для модели 13B в BF16 — по самой низкой цене | $849 за GPU |
| Разворачивать модели до 70B на одной карте, рендерить, монтировать видео | NVIDIA RTX PRO 6000 | 96 ГБ GDDR7 хватает для 70B в FP8; тензорные ядра с FP4 и RT-ядра | $1 199 за GPU |
| Разворачивать 70B в BF16 или с длинным контекстом на одном GPU | AMD MI300X | 192 ГБ HBM3 со скоростью 5,3 ТБ/с; vLLM и SGLang работают на ROCm | $1 749 за GPU |
| Разворачивать 70B в FP8 на CUDA | NVIDIA H200 | 141 ГБ HBM3e со скоростью 4,8 ТБ/с, программный стек Hopper | $2 699 за GPU |
| Обучать с NVLink при ограниченном бюджете | NVIDIA H100 | Самый дешёвый NVLink-узел с 8 GPU, эталон для рецептов обучения | $15 992 за 8 GPU |
| Предобучать или полностью дообучать большие модели | NVIDIA B200 | 4,5 PF FP8 (dense), 180 ГБ со скоростью 8 ТБ/с, NVLink 5 и мощный FP64 | $4 449 за GPU |
| Разворачивать рассуждающие модели и модели больше 400B | NVIDIA B300 | 288 ГБ HBM3e и 13,5 PF FP4 (dense) | $4 899 за GPU |
| То же самое на ROCm — за полцены | AMD MI355X | 288 ГБ HBM3E, 5,0 PF FP8 и 10,1 PF FP4 | $2 449 за GPU |
| Научные расчёты в двойной точности (FP64) | B200 или MI355X | B300 жертвует производительностью FP64 ради производительности в задачах ИИ | от $2 449 за GPU |
Как выбрать: четыре вопроса
- Сколько памяти нужно модели? Веса занимают число параметров, умноженное на число байт на параметр (2 в BF16, 1 в FP8, 0,5 при 4-битной квантизации), плюс около 20% на активации и среду выполнения, плюс KV-кэш для длинных контекстов и большого числа пользователей. От этого зависит, сколько GPU вам нужно: см. сколько памяти GPU вам нужно.
- Что ограничивает задачу — пропускная способность памяти или вычисления? Генерация токенов в основном упирается в пропускную способность: H200 (4,8 ТБ/с) декодирует быстрее, чем H100 (3,35 ТБ/с), при той же вычислительной мощности. Обучение и обработка промпта упираются в вычисления: сравнивайте производительность FP8 или FP4 (dense).
- Занимает ли модель несколько GPU? Тензорному параллелизму нужен NVLink или Infinity Fabric между GPU внутри сервера. PCIe-карты (L40S, RTX PRO 6000) лучше всего подходят для схемы «одна модель на GPU».
- CUDA или ROCm? PyTorch, JAX, vLLM и SGLang работают на обеих платформах. Ядрам только под CUDA и TensorRT-LLM нужна NVIDIA; AMD Instinct даёт больше памяти на доллар.
Отдача на каждый доллар
Цена за ГБ памяти GPU и за PFLOPS FP8 (dense) в расчёте на GPU в месяц в CoreGPU:
| GPU | Память | Пропускная способность | FP8 (dense) | За GPU / месяц | За ГБ памяти | За PFLOPS FP8 |
|---|---|---|---|---|---|---|
| NVIDIA L40S | 48 ГБ GDDR6 | 864 ГБ/с | 0,73 PF | $849 | $17,69 | $1 163 |
| NVIDIA RTX PRO 6000 | 96 ГБ GDDR7 | 1,6 ТБ/с | 1 PF | $1 199 | $12,49 | $1 199 |
| AMD MI300X | 192 ГБ HBM3 | 5,3 ТБ/с | 2,6 PF | $1 749 | $9,11 | $673 |
| NVIDIA H100 | 80 ГБ HBM3 | 3,35 ТБ/с | 1,98 PF | $1 999 | $24,99 | $1 010 |
| AMD MI350X | 288 ГБ HBM3E | 8 ТБ/с | 4,6 PF | $2 249 | $7,81 | $489 |
| AMD MI325X | 256 ГБ HBM3E | 6 ТБ/с | 2,6 PF | $2 299 | $8,98 | $884 |
| AMD MI355X | 288 ГБ HBM3E | 8 ТБ/с | 5 PF | $2 449 | $8,50 | $490 |
| NVIDIA H200 | 141 ГБ HBM3e | 4,8 ТБ/с | 1,98 PF | $2 699 | $19,14 | $1 363 |
| NVIDIA B200 | 180 ГБ HBM3e | 8 ТБ/с | 4,5 PF | $4 449 | $24,72 | $989 |
| NVIDIA B300 | 288 ГБ HBM3e | 8 ТБ/с | 4,5 PF | $4 899 | $17,01 | $1 089 |
В USD, без налогов. Цены проверены 4 нояб. 2026 г.; актуальные цены и наличие — на странице цен.
AMD Instinct лидирует по обоим показателям: у MI350X и MI355X цена за ГБ памяти ниже $9, а за PFLOPS FP8 — ниже $500. Среди GPU NVIDIA больше всего FP8 на доллар даёт B200, чуть опережая H100, а больше всего памяти на доллар — RTX PRO 6000.
NVIDIA или AMD?
Выбирайте NVIDIA, если ваш стек зависит от ядер только под CUDA, TensorRT-LLM или рецептов, оптимизированных под Hopper и Blackwell, либо если нужна самая быстрая связь между GPU: NVLink 5 со скоростью 1,8 ТБ/с на B200 и B300. Выбирайте AMD Instinct, если ваши модели работают на PyTorch, JAX, vLLM или SGLang: больше памяти и производительности FP8 на доллар означают меньше GPU на модель. Сравнение характеристик бок о бок — в разделе сравнения GPU.
Когда помесячная аренда оправдана
Помесячная цена выгоднее почасовой оплаты, когда GPU занят дольше, чем примерно 540 часов в месяц, то есть около 18 часов в день: это обучение, дообучение и постоянно работающий инференс. Для нескольких часов тестов почасовой инстанс обойдётся дешевле. Расчёт для каждого GPU — в статье почасовая или помесячная аренда GPU, а все цены в месяц — на странице цен.
