Как проверить новый сервер на 8 GPU перед долгим запуском

Каждую поставку мы прогоняем под нагрузкой до начала продаж, но любой сервер всё равно стоит проверить, прежде чем доверять ему неделю вычислений. Быстрые проверки занимают несколько минут, полная диагностика — около получаса.

1. Инвентаризация и состояние

nvidia-smi                              # 8 GPUs, expected model and memory
nvidia-smi -q -d ECC | grep -i -A3 "Volatile"   # uncorrectable ECC must be 0
nvidia-smi -q -d PERFORMANCE            # no thermal or power throttling at idle

На AMD: rocm-smi, rocm-smi --showmeminfo vram и amd-smi metric --ecc.

2. Топология

nvidia-smi topo -m

На сервере HGX для каждой пары GPU должно отображаться NV с числом линков. Значение SYS или PHB между двумя GPU SXM означает, что трафик пойдёт через CPU: создайте обращение. На AMD вывод rocm-smi --showtopo должен показывать XGMI между всеми GPU.

3. Каналы PCIe

nvidia-smi -q | grep -A2 -i "Link Width"

Текущая и максимальная ширина канала должны совпадать (x16) для каждого GPU.

4. Диагностика

dcgmi diag -r 3        # NVIDIA DCGM, 10 to 30 minutes

На AMD аналогичные тесты памяти, PCIe и стресс-тесты выполняет ROCm Validation Suite (rvs).

5. Пропускная способность коллективных операций

git clone https://github.com/NVIDIA/nccl-tests.git && cd nccl-tests && make -j
./build/all_reduce_perf -b 8 -e 8G -f 2 -g 8

Смотрите на столбец busbw для сообщений максимального размера. Значение должно приближаться к пропускной способности NVLink платформы в одном направлении: например, до 450 ГБ/с на H100 SXM (NVLink 4) и примерно вдвое больше на Blackwell (NVLink 5). Результаты намного ниже указывают на проблему с топологией или драйвером. На AMD используйте rccl-tests с теми же аргументами.

6. Короткий прогон под нагрузкой

Запустите свой реальный шаг обучения на 10 минут и отслеживайте частоты, энергопотребление и температуру через nvidia-smi dmon или rocm-smi. Стабильные частоты под нагрузкой — лучший признак исправного узла.

Если проверка не пройдена

Создайте обращение в консоли и приложите имя хоста и вывод команд. Если сервер не проходит эти проверки при выдаче, мы его заменим. Подробнее — в нашем SLA.