КП на GPU-сервер для инференса LLM: разбор запроса клиента

Разбираем реальный запрос клиента на GPU-серверы для локального инференса языковой модели: что в требованиях сформулировано точно, где скрыты подводные камни, какую платформу выбрать, как посчитать питание и как оформить ответ на каждый вопрос заказчика. Статья написана как пошаговая инструкция для менеджеров, которые готовят коммерческие предложения на GPU-серверы.

1. Запрос клиента

Руководитель IT-отдела просит КП на GPU-серверы для локального инференса языковой модели. Модель и производитель платформы — на наш выбор. Ключевые требования:

Клиент просит указать: модель платформы и материнской платы, процессоры и раскладку памяти по каналам; цену, срок и наличие; гарантию на сервер и GPU, в том числе при последующем добавлении карт; схему подключения слотов PCIe; число и мощность блоков питания, схему резервирования и максимальное потребление с 4 и 8 картами.

2. Разбор требований: что верно, что уточнить, что невозможно

3. Выбор платформы

GIGABYTE G494-ZB4-AAP2Основной вариант ASUS ESC8000A-E13PАльтернатива на AMD ASUS ESC8000-E12PВариант на Intel Xeon 6

По спецификациям производителей на ноябрь 2026 года. Перед отправкой КП сверяйте список совместимых GPU (QVL) для конкретной ревизии платформы.

4. Базовая конфигурация для всех вариантов

5. Варианты по GPU: что получает клиент

RTX PRO 6000 Max-Q96 ГБ · 300 Вт · турбина RTX PRO 6000 Server Edition96 ГБ · 600 Вт · пассивная NVIDIA L40S48 ГБ · 350 Вт · пассивная NVIDIA H200 NVL141 ГБ · 600 Вт · NVLink

Ориентиры — середина диапазона открытых прайсов РФ на ноябрь 2026 года, без платформы, монтажа и НДС. Разброс цен на H200 NVL в РФ большой — от 4 до 6+ млн ₽ за карту, поэтому 8 × H200 NVL — это 32–50 млн ₽ только за карты. Цена в КП — только по актуальному предложению поставщика. RTX PRO 6000 Max-Q заметно дешевле Server Edition (1,8–2,6 млн ₽ против 2,5–2,9 млн ₽) — это ещё один аргумент за варианты 1–2, если платформа официально поддерживает Max-Q.

6. Схема подключения PCIe: пары GPU под одним процессором

Клиенту важно, чтобы пары GPU, которые совместно обслуживают модель, были подключены к одному процессору: обмен между картами тогда не проходит через межпроцессорную шину. В G494-ZB4-AAP2 восемь GPU-слотов разделены на две группы по четыре, каждая за своим коммутатором PCIe 5.0:

• 2 GPU — ставим в одну группу (слоты 1–2): обе карты за одним коммутатором и одним процессором, обмен идёт напрямую через коммутатор (P2P) на скорости PCIe 5.0 x16.
• 4 GPU — заполняем одну группу целиком: все четыре карты за одним коммутатором, для H200 NVL — четырёхпутевой NVLink-мост.
• 8 GPU — две группы по 4; модель разворачивают с тензорным параллелизмом внутри группы и конвейерным между группами.

7. Питание: потребление с 4 и 8 картами

Считаем пиковое потребление: TDP карт плюс платформа (2 процессора по 280–320 Вт, 24 модуля памяти, вентиляторы на максимальных оборотах, накопители и сеть) — 1,1–1,5 кВт.

• Схема 3+1: при отказе одного блока три оставшихся (9 кВт при 220–240 В) держат сервер с 8 картами по 600 Вт.
• Два независимых ввода (A/B, схема 2+2): на одном вводе остаётся 6 кВт — меньше пиковых ~6,3 кВт. Для полной защиты от отказа ввода с 8 картами по 600 Вт ограничиваем мощность GPU до 450–500 Вт (H200 NVL официально настраивается от 400 до 600 Вт). Для Max-Q и L40S схема 2+2 работает без ограничений.
• Требования к площадке: 4 розетки C19/C20 на 16 А, 220–240 В; стойка не менее 7–8 кВт под один сервер с 8 картами по 600 Вт; ИБП на эту мощность.

8. Дооснащение +2 и +4 карты и гарантия

Ориентиры для понимания порядка сумм; в КП — цены поставщика на дату предложения.

Как отвечать про гарантию

• Сервер: срок и формат (ремонт или замена компонентов, реакция «следующий рабочий день», выезд инженера — включён или опция) — по условиям поставщика платформы. Указываем отдельной строкой.
• GPU: отдельный срок — у ускорителей он часто отличается от гарантии на платформу. Указываем формат (замена или ремонт), срок обмена и есть ли подменный фонд.
• Добавление карт: гарантия на сервер сохраняется, если устанавливаются карты из списка совместимости платформы той же модели, установку выполняет поставщик или она проводится по согласованной процедуре. На новые карты действует их собственный гарантийный срок с даты поставки.
• Расширенная гарантия: предлагаем опцию продления (например, до 4–5 лет) — для оборудования 24/7 клиенты выбирают её часто.

9. Шаблон ответа клиенту

10. Чек-лист менеджера для похожих запросов

1. Проверить, существуют ли запрошенные GPU в нужном исполнении: PCIe или SXM (H20, H100/H200 SXM, B200 — только SXM на платах HGX).
2. Сверить GPU со списком совместимости платформы, особенно для карт с турбиной (Max-Q) и мощностью 600 Вт.
3. Посчитать каналы памяти: EPYC 9004/9005 — 12 на процессор, Xeon 6700/6500 — 8, Xeon 5-го поколения — 8. Объём = каналы × размер модуля; не забывать про модули 24/48/96 ГБ. В 2026 году память — одна из самых дорогих строк спецификации, считаем её отдельно.
4. Проверить статус платформы у производителя и дистрибьютора: «анонсирована» и «есть на складе» — разные вещи.
5. Посчитать питание: сумма TDP GPU + 1,1–1,5 кВт на платформу; проверить схему 3+1 и 2+2.
6. Уточнить у клиента площадку: мощность на стойку, розетки C19, ИБП.
7. Приложить блок-схему PCIe и порядок установки карт.
8. Для H200 NVL — включить NVLink-мосты и учесть их замену при росте с 2 до 4 карт.
9. Разделить гарантию на сервер и GPU; прописать условия дооснащения.
10. Предложить улучшения по скорости загрузки (NVMe) и сети (10/25 GbE) отдельными опциями, не меняя базовый вариант по ТЗ.
11. Показать, какие модели поместятся в каждый вариант (таблицы из руководства по сборке и обзора «Какое железо нужно популярным нейросетям»), и при необходимости посчитать нагрузку по методике из статьи про FLOPS.
12. Если бюджет ограничен — предложить промежуточный вариант из статьи о бюджетных сборках или аренду с правом выкупа.
13. Предложить услугу «под ключ»: развёртывание модели, интеграции и поддержку.