Для большинства задач с LLM число нужных GPU определяет память, а не пиковые FLOPS. Ниже — как её рассчитать и какие конфигурации из нашего каталога подходят.
Веса: параметры × байты
Веса модели занимают parameters × bytes per parameter. Байт на параметр: 2 в BF16, 1 в FP8, 0,5 в FP4. При инференсе добавьте около 20% на активации, контекст CUDA и фрагментацию.
| Размер модели | BF16 | FP8 | FP4 |
|---|---|---|---|
| 7B | 14 ГБ | 7 ГБ | 3,5 ГБ |
| 13B | 26 ГБ | 13 ГБ | 6,5 ГБ |
| 34B | 68 ГБ | 34 ГБ | 17 ГБ |
| 70B | 140 ГБ | 70 ГБ | 35 ГБ |
| 405B | 810 ГБ | 405 ГБ | 203 ГБ |
KV-кэш растёт вместе с контекстом
Для каждого обрабатываемого токена KV-кэш хранит 2 × layers × KV heads × head dimension × bytes. Для модели 70B с 80 слоями, 8 KV-головами и размерностью головы 128 это около 0,33 МБ на токен в BF16, то есть примерно 42 ГБ на одну последовательность в 128K токенов. Параллельные запросы умножают эту цифру: планируйте память как длина контекста × число одновременных запросов.
Дообучению нужно гораздо больше
- Полное дообучение с Adam в смешанной точности требует около 16 байт на параметр (веса, градиенты, состояния оптимизатора и мастер-веса): около 1,1 ТБ для модели 70B без учёта активаций.
- LoRA оставляет базовую модель замороженной: нужны веса в BF16 (140 ГБ для 70B) плюс небольшие адаптеры и активации.
- QLoRA загружает базовую модель в 4-битном формате: около 35 ГБ для 70B, что помещается на один большой GPU.
Подходящие конфигурации
| Задача | Требуется памяти | Помещается на |
|---|---|---|
| Инференс 7B–13B в BF16 | 17–31 ГБ | 1× L40S (48 ГБ) |
| Инференс 34B в BF16 или 70B в FP8 | 82–84 ГБ | 1× RTX PRO 6000 (96 ГБ) или 1× H200 |
| Инференс 70B в BF16 | ~170 ГБ | 1× MI300X (192 ГБ), 1× B300 или 2× H200 |
| Инференс 405B в FP8 | ~490 ГБ | 2× B300, 4× H200 или 4× MI300X |
| Инференс 405B в BF16 | ~970 ГБ | 4× B300, 4× MI325X или 8× H200 |
| QLoRA для 70B | ~50 ГБ | 1× H200 или 1× RTX PRO 6000 |
| Полное дообучение 70B | 1,1 ТБ + активации | 8× B300 или 8× MI355X (2,3 ТБ); 8× H200 — только с выгрузкой на CPU |
Это отправные точки для весов и умеренного контекста. Длинным контекстам и высокой параллельности нужен дополнительный запас памяти под KV-кэш.
Практические правила
- Выбирайте меньше GPU, но крупнее: тензорный параллелизм через NVLink быстрый, но каждое разбиение добавляет затраты на коммуникацию.
- На современных GPU FP8 вдвое сокращает память под веса при незначительной потере качества; на Blackwell и CDNA 4 FP4 сокращает её ещё вдвое.
- Смотрите на объём памяти на доллар, а не только на цену за GPU: см. строку «цена за ГБ» в наших сравнениях.
