Почему нельзя просто взять игровую карту и поставить её в сервер
Это первое, что нужно уметь объяснять клиенту, потому что вопрос «а почему не 4090 или 5090, они же дешевле» возникает всегда. Различий пять, и все они про эксплуатацию, а не про «попугаи».
Пассивное охлаждение
NVIDIA прямо указывает тепловое решение серверных карт как пассивное и описывает 6000 SE как рассчитанную на многокарточные серверы, требующие пассивного охлаждения. Вентиляторов на плате нет, воздух гонит шасси. Вне сервера с организованным продувом карта не работает.
Память с ECC
У 6000 SE в спецификации значится 96 ГБ GDDR7 с коррекцией ошибок. При нагрузке 24/7 на многодневном инференсе или рендере одиночный сбой бита без ECC означает испорченный результат без каких-либо сообщений об ошибке.
Разный набор выходов
У 6000 SE указаны четыре DisplayPort 2.1 — то есть она может работать и как графическая карта в ЦОД. У 4500 SE строки видеовыходов в спецификации нет вовсе: это чисто headless-ускоритель.
Разделяемость: MIG и vGPU
Карту можно нарезать на изолированные инстансы с собственной памятью, кэшем и ядрами либо раздать удалённым пользователям через vGPU. У 6000 SE до четырёх инстансов, у 4500 SE — до двух по 16 ГБ.
Сертификация системы
Серверы RTX PRO имеют статус NVIDIA-Certified и проверены с инструментами партнёров в рамках AI Factory Validated Design. Это гарантия совместимости со стеком AI Enterprise и сетевыми решениями NVIDIA.
Конфигурируемая мощность
У 6000 SE потребление заявлено как диапазон 400–600 Вт. Карта настраивается под тепловой бюджет шасси, а не наоборот. У потребительских карт такой возможности нет.
Аргумент в разговоре с клиентом — не производительность, а предсказуемость и управляемость. Игровая карта дешевле в закупке и дороже во владении: она не делится между пользователями, у неё нет ECC, её нельзя ограничить по мощности под шасси, и она не входит в сертифицированную конфигурацию, за которую отвечают вендор сервера и NVIDIA.
Четыре изменения поколения, за которые платят
Blackwell — поколение, пришедшее на смену Ada Lovelace. Для продажи серверных карт значимы ровно четыре его свойства; остальное — детали для инженеров.
| Технология | Что говорит NVIDIA | Что даёт заказчику |
|---|---|---|
| Tensor-ядра 5-го поколения и FP4 | До 3 раз выше производительность относительно предыдущего поколения, добавлена поддержка точности FP4. У 6000 SE — второе поколение Transformer Engine | Веса модели занимают вчетверо меньше памяти, чем в FP16. Именно отсюда берётся кратный прирост в инференсе LLM, а не из числа CUDA-ядер |
| Память GDDR7 | Существенно увеличенные пропускная способность и объём | Позволила дать 96 ГБ на одной карте — объём, ранее доступный только на дорогих SXM-платформах |
| RT-ядра 4-го поколения | До 2 раз выше производительность; RTX Mega Geometry даёт до 100 раз больше треугольников с трассировкой лучей | Рендер, цифровые двойники, симуляции, Omniverse. Это то, чего нет у «чисто вычислительных» ускорителей |
| NVENC 9 и NVDEC 6 | Поддержка 4:2:2 в H.264 и HEVC, улучшенное качество AV1, удвоенная пропускная способность декодирования H.264 | Видеоаналитика, транскодинг, стриминг, медиапроизводство — сегменты, где карта продаётся вообще без разговоров про ИИ |
Ключ к пониманию всей линейки: RTX PRO — это карты, которые умеют и считать ИИ, и строить графику. Универсальность — их основное конкурентное свойство и главный аргумент в продаже.
Две карты рядом
Обе построены на Blackwell, обе пассивные, обе PCIe Gen5 x16, обе поддерживают MIG. На этом сходство заканчивается: это карты для разных бюджетов тепла и разных задач.
| Параметр | RTX PRO 6000 Blackwell SE | RTX PRO 4500 Blackwell SE |
|---|---|---|
| Ядра CUDA | 24 064 | 10 496 |
| RT-ядра (4-е пок.) | 188 | 82 |
| Видеопамять | 96 ГБ GDDR7 с ECC | 32 ГБ GDDR7 |
| Пропускная способность | 1597 ГБ/с | 800 ГБ/с |
| Шина памяти | 512 бит | 256 бит |
| Tensor Core FP4 | 4 PFLOPS | 1,6 PFLOPS |
| Tensor Core FP8 | 2 PFLOPS | 811 TFLOPS |
| Tensor Core FP16 / BF16 | 1 PFLOPS | 406 TFLOPS |
| Tensor Core TF32 | 234 TFLOPS | 203 TFLOPS |
| Одинарная точность FP32 | 120 TFLOPS | 51 TFLOPS |
| Пик RT-ядер | 355 TFLOPS | 154 TFLOPS |
| Потребление | 400–600 Вт (конфигурируемое) | 165 Вт |
| Форм-фактор | Воздух: 2 слота, 11,2 × 26,7 см · Жидкость: 1 слот, FHXL | 1 слот, 11,2 × 26,7 см |
| Охлаждение | Пассивное | Пассивное |
| Интерфейс | PCIe Gen 5 x16 | PCI Express 5.0 x16 |
| MIG | До 4 изолированных инстансов | До 2 инстансов по 16 ГБ |
| Видеодвижки | 4 NVENC / 4 NVDEC | 3 NVENC / 3 NVDEC |
| Видеовыходы | 4 × DisplayPort 2.1 | В спецификации не указаны |
| Конфиденциальные вычисления | В спецификации не указаны | Поддерживаются |
| Разъём питания | В спецификации не указан | 1 × PCIe CEM5 16-pin |
| Кого сменяет | NVIDIA L40S | NVIDIA L4 |
Строки «в спецификации не указаны» оставлены намеренно: NVIDIA публикует для двух карт немного разные наборы параметров, и додумывать недостающее по аналогии — как раз тот путь, которым в обзоры попадают неверные цифры.
Осторожно: три разных продукта с почти одинаковым названием
Самая частая ошибка в спецификациях и коммерческих предложениях. «RTX PRO 6000 Blackwell» — это семейство из трёх карт, плюс серверная 4500 отдельно.
| Параметр | Server Edition | Workstation Edition | Max-Q Workstation |
|---|---|---|---|
| Память | 96 ГБ GDDR7 ECC | 96 ГБ GDDR7 ECC | 96 ГБ GDDR7 ECC |
| Потребление | 400–600 Вт | 600 Вт | 300 Вт |
| Охлаждение | Пассивное | Сквозной поток с двух сторон | Активное |
| Габариты | 11,2 × 26,7 см, 2 слота | 13,7 × 30,5 см, 2 слота | 11,2 × 26,7 см, 2 слота |
| Видеовыходы | 4 × DisplayPort 2.1 | 4 × DisplayPort 2.1 | 4 × DisplayPort 2.1 |
| Шина | PCIe Gen 5 x16 | PCIe Gen 5 x16 | PCIe Gen 5 x16 |
| Назначение по NVIDIA | Многокарточные серверы с пассивным охлаждением: инференс, дообучение, распределённый рендер, HPC, виртуальные рабочие станции | Максимальная производительность в однокарточной рабочей станции | Плотные конфигурации рабочих станций, до четырёх карт |
Max-Q — практичный компромисс для клиента, которому нужна плотность, но нет серверной стойки: вдвое меньше тепла при том же объёме памяти, до четырёх карт в станции. Обратите внимание и на формулировку NVIDIA про Server Edition: дообучение там названо прямо, то есть fine-tuning входит в заявленный сценарий, в отличие от обучения с нуля.
Соотношение «памяти на ватт» у двух серверных карт близкое, а вот плотность на слот разная кардинально: 165 Вт в одном слоте против 600 Вт в двух. Выбор между ними — это выбор между «одна большая модель» и «много параллельных потоков». По вычислениям разрыв двух-двух с половиной кратный, по энергопотреблению — почти четырёхкратный.
Место в линейке ЦОД NVIDIA
Самая ценная компетенция в продаже этих карт — уметь сказать, когда они не подходят. Линейка ЦОД делится на два ствола: универсальные PCIe-карты RTX PRO и вычислительные ускорители под обучение.
| Решение | Роль по описанию NVIDIA | Графика и RT | Интерконнект |
|---|---|---|---|
| RTX PRO 4500 SE | Инференс небольших и средних моделей, обработка данных и data science, видеоаналитика, виртуализация. Для ЦОД, периферии и облака | Есть | PCI Express 5.0 x16 |
| RTX PRO 6000 SE | Инференс, дообучение, распределённый рендер, HPC, виртуальные рабочие станции. Универсальный GPU для ЦОД | Есть | PCIe Gen 5 x16 |
| H-серия и B-серия | Отдельные продуктовые линейки NVIDIA для сценариев, где нужна связность GPU через NVLink | Ограниченно | NVLink / NVSwitch |
В спецификациях обеих карт интерконнектом указан только PCI Express; строки NVLink нет. Карты общаются через PCIe, пул памяти между ними не собирается. Восемь карт по 96 ГБ — это не «768 ГБ под одну модель», а восемь независимых по памяти ускорителей. Большой объём на каждой карте компенсирует это для параллельного инференса, но для одной модели, не влезающей в 96 ГБ, нужен либо тензорный параллелизм с потерями на PCIe, либо платформа с NVLink.
Аргументы смены поколения
- Против L40S: NVIDIA заявляет, что серверы RTX PRO выполняют симуляции и генерацию синтетических данных до 4 раз быстрее систем на L40S, и описывает 6000 SE как дающую значительный скачок относительно L40S в мультимодальных агентных и генеративных приложениях.
- Против L4: для 4500 SE NVIDIA заявляет более чем пятикратный прирост относительно предыдущего поколения L4 в инференсе небольших и средних моделей — при использовании оптимизированных фреймворков NVIDIA и микросервисов NIM.
- Против систем без GPU: для понимания видео средствами ИИ NVIDIA заявляет до 100-кратного прироста относительно систем только на CPU и сокращение занимаемого места и энергопотребления более чем на 95 %. Для векторных баз данных — до 50 раз. Это самый сильный аргумент в разговоре с заказчиком, у которого стоит парк CPU-серверов.
Важная оговорка к двум последним цифрам: сравнение 50 и 100 крат ведётся между сервером на восьми картах 4500 SE и процессорной системой (для векторных баз — AMD 9654 на 192 виртуальных ядрах, 33 млн векторов в Milvus 2.5.25, HNSW против cuVS CAGRA; для видео — двухпроцессорный AMD 9654 и модель Qwen3-VL-8B). Это корректное сравнение платформ, но не карты с картой, и грамотный технический специалист со стороны заказчика об этом спросит.
Технологии, которые продают карту
Характеристики в таблице продают инженеру. Коммерческому заказчику продают вот эти вещи — они превращают железо в услугу, которую можно перепродать или разделить между отделами.
| Технология | Механика | Ценность для заказчика |
|---|---|---|
| MIG | Аппаратное деление GPU на изолированные инстансы, у каждого своя память с высокой пропускной способностью, кэш и вычислительные ядра плюс гарантированное качество обслуживания. У 6000 SE до четырёх, у 4500 SE — до двух по 16 ГБ | Гарантированное качество обслуживания для каждого арендатора. Одна карта обслуживает несколько независимых задач без взаимного влияния — основа для биллинга и мультитенантности |
| vGPU | В связке с ПО NVIDIA RTX Virtual Workstation и Virtual PC карта виртуализуется для удалённых пользователей. Поддерживается разделение времени поверх MIG, что позволяет одновременно выполнять задачи ИИ и графики. В vGPU 20 добавлены AI Virtual Workstation Toolkit и фиксированное распределение долей | Инженеры и дизайнеры работают на тонких клиентах, а лицензии CAD и данные не покидают периметр. Часто именно этот сценарий, а не ИИ, оплачивает закупку |
| ECC | Коррекция ошибок видеопамяти, заявлена для 96 ГБ GDDR7 у 6000 SE | Условие для продакшн-нагрузки 24/7 и типовое требование в тендерах на инфраструктуру |
| Конфиденциальные вычисления | Для 4500 SE в таблице характеристик указана поддержка | Аргумент в регулируемых отраслях: защита данных и моделей во время обработки |
| NVIDIA AI Enterprise | Набор инструментов, библиотек и фреймворков, включая микросервисы NIM и NeMo | Отдельная строка в счёте и одновременно снятие возражения «а кто будет это поддерживать» |
| NVIDIA-Certified | Серверы RTX PRO имеют статус и проверены с инструментами партнёров в рамках AI Factory Validated Design | Гарантия совместимости с сетью NVIDIA, BlueField-3 и стеком AI Enterprise. Снимает риск интеграции с заказчика и с интегратора |
| NVIDIA Run:ai | Платформа оркестрации задач и GPU, повышающая утилизацию и общую пропускную способность | Дозагрузка простаивающих карт — прямой аргумент к окупаемости |
MIG стоит показывать в цифрах денег, а не гигабайт. Одна RTX PRO 6000 SE, поделённая на четыре инстанса, — это четыре рабочих места разработчика ИИ или четыре независимых сервиса инференса на одной физической карте. И обратное правило: под 4500 SE нельзя планировать четырёх пользователей, у неё максимум два инстанса. Эта деталь регулярно теряется при подготовке КП.
Сервер как система, а не как коробка с картами
Здесь проходит граница между «знать железо» и «понимать серверные технологии». Карта — меньшая часть инженерной сложности. Остальное — шасси, сеть, питание и охлаждение. Референсные конфигурации описывает NVIDIA, конкретные машины — их производители.
NVIDIA Четыре референсные конфигурации
NVIDIA определяет RTX PRO Server как универсальную платформу ЦОД и приводит четыре примера на базе модульных референс-дизайнов MGX. Это эталон, относительно которого оценивается любое предложение вендора.
| Конфигурация | GPU | Сеть | DPU |
|---|---|---|---|
| MGX 6U | 8 × RTX PRO 6000 SE, жидкостное охлаждение | ConnectX-8 SuperNIC с коммутатором PCIe Gen 6 | BlueField-3 |
| MGX 4U | 8 × RTX PRO 6000 SE | ConnectX-8 SuperNIC с коммутатором PCIe Gen 6 | BlueField-3 |
| MGX 2U | 2 × RTX PRO 6000 SE | ConnectX-7 либо BlueField-3 SuperNIC | BlueField-3 |
| MGX 2U | 8 × RTX PRO 4500 SE | ConnectX-7 SuperNIC | BlueField-3 |
Последняя строка легко теряется, а зря: восемь младших карт помещаются в два юнита. Это 256 ГБ памяти и 12,8 PFLOPS FP4 в 2U при 1,3 кВт на GPU против 4,8 кВт у восьми старших карт. Для видеоаналитики и инференса небольших моделей это самая плотная официальная конфигурация.
NVIDIA Что даёт коммутатор в SuperNIC
Главное архитектурное изменение последних поколений NVIDIA описывает так: ConnectX-8 SuperNIC PCIe Switch — плата, объединяющая несколько SuperNIC, каждый из которых сочетает сверхбыструю сеть с 48-полосным коммутатором PCIe Gen 6. Решение устраняет отдельные коммутаторы PCIe, удваивает пропускную способность между GPU, упрощает разводку платы и обеспечивает до 800 Гбит/с. Рядом с ним в конфигурациях стоит BlueField-3 DPU, который, по описанию NVIDIA, разгружает сеть, доступ к данным и защиту с процессора и даёт изоляцию по модели нулевого доверия. Сетевую подсистему дополняет Spectrum-X: за счёт адаптивной маршрутизации RoCE и управления перегрузкой ускоряет работу с хранилищем почти на 50 %.
У восьмикарточных PCIe-серверов топологии две, и разницу полезно уметь объяснять. В коммутируемой карты подключены к выделенным микросхемам PCIe-коммутатора, а уже он идёт наверх к процессорам: любая карта общается с любой на полной ширине, не выходя за пределы коммутатора, и линий получается больше, чем дают сами процессоры. В прямой каждая карта воткнута в корневой комплекс процессора: дешевле и на один хоп ближе к системной памяти, но карты делятся между сокетами, и обмен между половинами идёт через межпроцессорную шину. AGS-6220V2 построена по прямой схеме, AGS-4UMGX-R1 — по коммутируемой. Что это не буквоедство, видно по обеим сторонам отрасли: NVIDIA создала ConnectX-8 SuperNIC именно чтобы убрать отдельные коммутаторы, сохранив их выигрыш, а AWS отдельно отмечает крайне низкую задержку обмена между GPU, находящимися на одном коммутаторе PCIe.
Вендоры Три класса машин
2U, 2–4 GPU
Обычные стоечные серверы Cisco, Dell, HPE, Lenovo, Supermicro — все они значатся в списке ведущих системных партнёров NVIDIA. Ставятся в существующую стойку заказчика. Точка входа в ускоренные вычисления для компании, у которой уже есть свой ЦОД.
4U MGX, 8 GPU
Специализированная платформа на референс-дизайне NVIDIA MGX с ConnectX-8 и BlueField-3. Это строительный блок кластера, а не «сервер с видеокартами». Примеры: INNO3D AGS-4UMGX-R1, Gigabyte XL44-SX2-AAS1, ZOTAC ZRS-MGX-R1, Supermicro SYS-522GA-NRT.
6U, 8 GPU
Платформы вроде INNO3D AGS-6220V2. Те же восемь карт, но в полтора раза большем объёме: запас по воздуху, обслуживаемость и цена вместо плотности и высокоскоростной сети. Самостоятельная рабочая машина, а не узел кластера.
Вендор Разбор конкретной платформы: INNO3D AGS-6220V2
Полезно поставить рядом с референсом MGX машину другой философии. Это 6U на восемь RTX PRO 6000 Blackwell Server Edition, и почти каждое её решение противоположно логике MGX. Данные — из даташита INNO3D на SKU AGS-6220V2P2-B00.
| Узел | Реализация | Что это значит на практике |
|---|---|---|
| Тип поставки | Barebone. Шасси, материнская плата, 4 БП, модуль OCP 25 Гбит/с, ключ VROC, рельсы и радиаторы предустановлены. Без процессоров, памяти и накопителей | Это платформа, не готовый сервер. CPU, DDR5, NVMe и восемь карт — отдельные позиции КП с отдельными сроками |
| Форм-фактор | 6U, 900 × 438 × 264 мм | Восемь карт в 6U против восьми в 4U у референса. Глубина 900 мм — проверяйте глубину стойки с учётом кабель-менеджмента |
| Слоты GPU | 8 × PCIe 5.0 x16, FHFL, двойной ширины. Прямое подключение к CPU без коммутатора PCIe | Каждая карта получает честные x16. Но 8 × x16 — это 128 линий на два сокета: карты делятся 4+4, и обмен между половинами идёт через межпроцессорную шину. Для тензорного параллелизма это узкое место |
| Процессоры | 2 × Intel Xeon Scalable 4-го и 5-го поколения, LGA 4677, чипсет C741. Ограничение 350 Вт TDP на процессор | Потолок отсекает часть старших моделей — сверяйте выбранный SKU до заказа |
| Память | 32 слота DDR5 RDIMM / RDIMM-3DS, 8 каналов на CPU. RDIMM до 96 ГБ, RDIMM-3DS до 256 ГБ на модуль. 5600 MT/s при 1DPC и 4400 при 2DPC для 5-го поколения Xeon | Потолок около 8 ТБ. Полное заполнение роняет частоту с 5600 до 4400 |
| Сеть | 1 слот OCP, модуль 25 Гбит/с в комплекте, плюс 1GbE порт управления BMC | Главное отличие от референса. Ни ConnectX-8, ни BlueField-3, ни 400 Гбит/с. Это одиночная машина, не элемент кластера |
| Хранилище | 12 отсеков 3,5/2,5″ (8 × SATA-3 + 4 × NVMe), 1 × M.2 NVMe внутри, RAID Intel VROC 0/1/10/5 | Восемь из двенадцати отсеков только SATA. Под быстрый датасет остаются четыре NVMe |
| Питание | 4 × 2700 Вт CRPS, 3+1, 80 PLUS Platinum | 8100 Вт полезной мощности. Расчёт: 8 × 600 Вт GPU + 2 × 350 Вт CPU + память, диски и вентиляторы — порядка 6,5 кВт. Питание нужно 200–240 В, разъёмы C19/C20 |
| Охлаждение | 16 вентиляторов горячей замены: 8 внутренних и 8 в задней части | Главное преимущество 6U: воздуха много, вентиляторы меняются без остановки |
| Управление | Выделенный порт IPMI, VGA, 2 × USB 3.2 Gen1. Разъём TPM с интерфейсом SPI, модуль TPM 2.0 — опция | При тендерном требовании по TPM модуль заказывается отдельно |
| Операционные системы | Windows Server 2022/2019, RHEL 9.2–8.6, SLES 15 SP4, Ubuntu 22.04 LTS, VMware ESXi 8.0U1 / 7.0U3i, Citrix Hypervisor 8.2 LTSR CU1 | Поддержка ESXi и Citrix — сигнал, что платформа рассчитана в том числе на VDI |
Титульный лист выпущен на SKU AGS-6220V2P2-B00 (item 0K219-B001), а шапка страницы характеристик — на AGS-6220V2P2-B10. Похоже на опечатку или соседнюю ревизию комплектации, но артикул при заказе нужно подтверждать письменно: от него зависит, что предустановлено в шасси. Там же мелкая нестыковка по памяти: в одной строке 4800/4400 MHz, ниже для 5-го поколения Xeon — 5600 MT/s при 1DPC.
Вендор Тот же производитель, другая философия: INNO3D AGS-4UMGX-R1
У INNO3D есть и вторая платформа под те же карты — 4U на референс-дизайне NVIDIA MGX, с ConnectX-8 SuperNIC и BlueField-3. Сравнение двух машин одного вендора нагляднее любого межбрендового: видно ровно то, за что доплачивают, без поправок на разницу в качестве сборки и сервисе.
| Узел | AGS-4UMGX-R1 · MGX | AGS-6220V2 · 6U |
|---|---|---|
| Форм-фактор | NVIDIA MGX 4U, 858 × 440 × 175 мм | 6U, 900 × 438 × 264 мм |
| Топология GPU | 8 × PCIe Gen 5 x16 под восемь RTX PRO 6000 SE плюс отдельный слот Gen 5 x16 под BlueField-3 | 8 × PCIe 5.0 x16, прямое подключение к CPU без коммутатора |
| Сеть | ConnectX-8 SuperNIC: 8 портов по 400 Гбит/с QSFP, плюс 2 × 10GbE и 1GbE BMC | OCP-модуль 25 Гбит/с плюс 1GbE BMC |
| DPU | BlueField-3 в выделенном слоте | Нет |
| Процессоры | 2 × Intel Xeon 6 (Granite Rapids / Sierra Forest), серии 6500 и 6700, разъём LGA 4710 | 2 × Intel Xeon Scalable 4-го и 5-го поколения, LGA 4677, лимит 350 Вт |
| Память | 32 слота DDR5 RDIMM / MRDIMM, 8 каналов на CPU. 6400 MT/s при 1DPC, 5200 при 2DPC. Модули 32, 64, 96 и 128 ГБ | 32 слота DDR5 RDIMM / RDIMM-3DS. 5600 MT/s при 1DPC, 4400 при 2DPC |
| Хранилище | 8 отсеков 2,5″ горячей замены, до восьми E1.S высотой 25 мм; внутри 2 × M.2 NVMe Gen 5 x4 | 12 отсеков (8 × SATA-3 + 4 × NVMe), внутри 1 × M.2 NVMe |
| Питание | 4 × 3200 Вт CRPS, 3+1, 80 PLUS Titanium | 4 × 2700 Вт CRPS, 3+1, 80 PLUS Platinum |
| Охлаждение | 10 вентиляторов 80 мм горячей замены, разделены по зонам: 5 на зону GPU и 5 на зону HPM | 16 вентиляторов: 8 внутренних и 8 в задней части |
| TPM | TPM 2.0 распаян, аппаратный корень доверия Microchip CEC1736 | Только разъём TPM, модуль — опция |
| Условия эксплуатации | 0–35 °C, влажность 8–90 % | 10–35 °C, влажность 8–80 % |
| Шасси | Производства Chenbro | Не указано |
| Назначение по вендору | NVIDIA Omniverse Enterprise, крупные цифровые двойники, HPC, инференс и дообучение LLM | Обучение с переносом, дообучение, обучение и инференс LLM, ИИ-облако, HPC |
Разница между машинами — не в числе карт, а в связности и в классе обвязки. MGX-версия даёт восемь портов по 400 Гбит/с против одного на 25, выделенный BlueField-3, процессоры на поколение новее, память на ступень быстрее, блоки питания классом выше и большей мощности, распаянный TPM вместо опционального. И при этом она компактнее: 4U против 6U и 85,8 см глубины против 90. Тезис «шесть юнитов ради воздуха» на этом фоне выглядит слабее: у MGX-платформы вентиляторов меньше, десять против шестнадцати, но они разделены по зонам GPU и HPM — при вдвое меньшем объёме и более мощном питании это говорит о более продуманной, а не более щедрой схеме охлаждения. Шестиюнитовая машина остаётся осмысленным выбором там, где нужен автономный узел подешевле, но обосновывать её теперь придётся ценой, а не инженерными преимуществами.
| Критерий | Референс MGX 4U NV | INNO3D 6U Вендор | Массовые 2U Вендор |
|---|---|---|---|
| GPU | 8 | 8 | 2–4 |
| Плотность на стойку | Высокая | Низкая | Средняя |
| Сеть между узлами | ConnectX-8, до 800 Гбит/с, BlueField-3 | OCP 25 Гбит/с | Зависит от конфигурации |
| Топология PCIe | Коммутируемая фабрика Gen 6 в SuperNIC | Прямое подключение, карты 4+4 между сокетами | Прямое подключение |
| Тип поставки | Обычно готовая система | Barebone | Готовая система с поддержкой вендора |
| Назначение | Строительный блок кластера | Самодостаточный узел: инференс, рендер, VDI | Первый шаг в ускоренные вычисления |
| Обслуживаемость | Плотная компоновка | Модульная, запас по объёму, горячая замена вентиляторов | Стандартная стоечная |
Формулировка для КП: конфигурацию по референсу MGX покупают, когда планируют расти в кластер. Шестиюнитовую платформу покупают, когда нужно много вычислений в одной машине, и разница в цене платформы уходит в карты. Если в горизонте двух лет появится второй сервер и распределённая нагрузка, отсутствие высокоскоростной сети станет тупиком.
| Вендор | Модель | Формат | GPU | Особенность по данным вендора |
|---|---|---|---|---|
| INNO3D | AGS-4UMGX-R1 | 4U MGX | 8 | ConnectX-8 SuperNIC с 8 портами по 400 Гбит/с, BlueField-3 в отдельном слоте, Xeon 6, 4 × 3200 Вт Titanium, TPM 2.0 распаян |
| INNO3D | AGS-6220V2 | 6U | 8 | Barebone, прямое подключение без коммутатора, OCP 25 Гбит/с, 4 × 2700 Вт Platinum, 16 вентиляторов |
| Lenovo | ThinkSystem SR650a V4 | 2U | 4 | Карту можно ограничить по питанию до 450 Вт, чтобы разместить четыре штуки в шасси |
| Supermicro | SYS-522GA-NRT, SYS-422GL-NR | 4U / 5U | 8 | Одними из первых внедрили плату MGX PCIe Switch с ConnectX-8 |
| Gigabyte | XL44-SX2-AAS1 | 4U MGX | 8 | Два Xeon 6700/6500, 32 слота DDR5, БП 3+1 по 3200 Вт Titanium, BlueField-3 и 4 × ConnectX-8 |
| ZOTAC | ZRS-MGX-R1 | 4U MGX | 8 | Xeon 6-го поколения, 32 слота DIMM, 8 портов по 400 Гбит/с на ConnectX-8, БП 3+1 по 3200 Вт |
| ASUS | ESC8000A-E13 | 4U | 8 | На платформе AMD EPYC |
Тепловой бюджет шасси, а не характеристики карты, определяет итоговую конфигурацию. Показательный пример у Lenovo: карту можно ограничить по питанию до 450 Вт — именно ради того, чтобы поставить в шасси четыре штуки. Это ровно то, для чего NVIDIA и сделала мощность конфигурируемой в диапазоне 400–600 Вт. Прежде чем обещать заказчику восемь карт, считается подведённая мощность на стойку и способность зала отвести тепло.
У NVIDIA есть собственные инструменты: Qualified System Catalog — каталог систем, прошедших квалификацию с конкретным GPU, с фильтром по модели карты; программа NVIDIA-Certified Systems; и AI Factory Validated Design как эталон конфигурации. Отдельное наблюдение для закупки: в списке системных партнёров на странице RTX PRO Server значатся Cisco, Dell, HPE, Lenovo и Supermicro как ведущие, плюс Advantech, ASRock Rack, ASUS, Compal, Eviden, Foxconn, GIGABYTE, Inventec, MiTAC, MSI, Pegatron, QCT, Wistron и Wiwynn. INNO3D в этом списке нет — при том, что у компании есть платформа в форм-факторе NVIDIA MGX с ConnectX-8 SuperNIC и BlueField-3, то есть совпадающая с референсной конфигурацией NVIDIA по составу. Отсутствие в перечне партнёров и наличие MGX-продукта — вещи совместимые: список не обязан быть исчерпывающим. Но вывод от этого не меняется: подтверждение должно приходить из каталога NVIDIA, а не со страницы продукта. Проверяйте по Qualified System Catalog с фильтром по нужной карте и запрашивайте у дистрибьютора документальное подтверждение статуса.
AGS-6220V2: чем брать и где не спорить
Этот слой собран для разговора с заказчиком. Каждый аргумент дан вместе с границей, за которой он перестаёт работать: технический специалист со стороны клиента найдёт эти границы сам, и лучше назвать их первым — это переводит разговор из режима проверки в режим совместного подбора.
Восемь опорных аргументов
Самый дешёвый вход в восемь карт
$121 700 против $158 210 за MGX-платформу — экономия $36 510, почти четверть бюджета. Обе платформы barebone, так что цены сравнимы напрямую. Эти деньги уходят в процессоры, память и диски, а не в шасси.
Граница: экономия исчезает, если заказчику нужна сеть на 400 Гбит/с — внешние адаптеры и коммутатор съедят разницу.
Barebone как свобода
Процессоры, память и NVMe заказчик берёт по своим контрактам и своим ценам. При нынешнем дефиците DDR5 это реальный рычаг: можно поставить память из собственного запаса.
Граница: против готовых серверов аргумент работает, против MGX-платформ — нет: они тоже поставляются barebone. Не выдавайте это за отличие от AGS-4UMGX-R1.
Два поколения Xeon на выбор
Разъём LGA 4677 принимает и 4-е, и 5-е поколение Xeon Scalable. Заказчик может использовать имеющийся парк или взять более доступные модели. У MGX-платформ на LGA 4710 такой опции нет.
Граница: лимит 350 Вт на сокет отсекает часть старших SKU.
Двенадцать отсеков вместо восьми
8 × SATA плюс 4 × NVMe. Для медиаархивов, тёплых данных и датасетов, которые не нужно читать на скорости NVMe, SATA в разы дешевле за терабайт.
Граница: под быстрый рабочий датасет остаются только четыре отсека NVMe.
Обслуживаемость и запас объёма
16 вентиляторов горячей замены, модульная компоновка, свободный доступ внутрь. Ниже требования к квалификации выездного инженера, меньше простоя при замене узлов.
Граница: в колокации с оплатой за юнит 6U обходится в полтора раза дороже 4U.
Прямое подключение к CPU
Каждая карта получает честные x16, на один хоп ближе к системной памяти, проще прошивочный стек и меньше точек отказа. Для восьми независимых потоков инференса коммутатор не даёт ничего.
Граница: карты делятся 4+4 между сокетами, обмен между половинами идёт через межпроцессорную шину.
Запас мощности почти в четверть
8100 Вт полезной мощности по схеме 3+1 при расчётном потреблении около 6,5 кВт. Есть куда расти по процессорам, дискам и будущим картам.
Граница: нужен ввод 200–240 В и разъёмы C19/C20 — в старых стойках это отдельный разговор.
Окупаемость за полгода
Против AWS по требованию при круглосуточной загрузке машина окупается за 6,2 месяца, а выгоднее аренды становится уже при 21,7 % загрузки. Это самый сильный числовой аргумент в арсенале — см. слой 08.
Граница: при загрузке ниже пятой части времени честнее рекомендовать облако.
Задачи, под которые машину можно продавать уверенно
| Задача | Почему подходит | Опора в разговоре |
|---|---|---|
| Инференс LLM примерно до 70 млрд параметров | 96 ГБ и 1597 ГБ/с на карту, нативный FP4 | AWS и Microsoft независимо друг от друга называют этот порог границей для одной карты |
| Много независимых моделей и мультитенантность | MIG до четырёх изолированных инстансов на карту | До 32 изолированных инстансов на систему с гарантированным качеством обслуживания — основа для биллинга |
| Агентные сервисы и RAG | Объём памяти под длинный контекст и KV-кэш | Microsoft прямо называет RAG на моделях до 70B целевым сценарием для этой карты |
| Дообучение существующих моделей | Достаточная память и FP8/BF16 | NVIDIA прямо называет fine-tuning в сценариях Server Edition — это не натяжка |
| VDI и виртуальные рабочие станции | vGPU поверх MIG, разделение времени между ИИ и графикой | В даташите заявлены VMware ESXi 8.0U1 и Citrix Hypervisor 8.2 — платформа изначально рассчитана на этот сценарий |
| Рендер, Omniverse, OpenUSD, цифровые двойники | 188 RT-ядер 4-го поколения, пик 355 TFLOPS | Ровно то, чего нет у чисто вычислительных ускорителей: конкурент на H-серии этот сценарий не закроет |
| Видеоаналитика, транскодинг, стриминг | Четыре NVENC и четыре NVDEC на карту | 32 движка кодирования и 32 декодирования на систему; поддержка 4:2:2 в H.264 и HEVC |
| Векторный поиск, аналитика, data science | Ускорение через cuVS и стек CUDA-X | NVIDIA заявляет до 50 крат против процессорной системы на построении индексов |
| Научные расчёты и симуляции на FP32 | 120 TFLOPS FP32 на карту | Один узел закрывает то, что раньше требовало небольшого кластера |
| Локальный ИИ в регулируемых отраслях | Данные и модели не покидают периметр заказчика | Сравнение с облаком в слое 08 показывает, что при постоянной загрузке это ещё и дешевле |
Задачи, под которые продавать эту машину не нужно
Список ниже полезнее предыдущего. Проданная не под ту задачу система возвращается вместе с репутацией, а вовремя названное ограничение почти всегда конвертируется в другую позицию из вашего же портфеля.
| Задача | Почему не подходит | Что предложить вместо |
|---|---|---|
| Обучение крупных моделей с нуля | У карт нет NVLink, память не собирается в общий пул. Обучение вне заявленных NVIDIA сценариев для обеих карт RTX PRO | Платформы с NVLink на H- или B-серии, либо аренда мощностей на время обучения |
| Распределённое обучение и инференс на нескольких узлах | Сеть — один модуль OCP на 25 Гбит/с. Для межузлового обмена этого не хватает на порядок | INNO3D AGS-4UMGX-R1: восемь портов по 400 Гбит/с на ConnectX-8 плюс BlueField-3 |
| Тензорный параллелизм на всех восьми картах с жёстким SLA | 128 линий на два сокета означают деление карт 4+4; обмен между половинами идёт через межпроцессорную шину | AGS-4UMGX-R1 с коммутируемой фабрикой PCIe Gen 6 внутри SuperNIC |
| Доступ к хранилищу через GPUDirect Storage и RDMA по фабрике | Нет DPU: разгружать сеть и доступ к данным нечем | AGS-4UMGX-R1 с BlueField-3 в выделенном слоте |
| Плотное размещение в колокации с оплатой за юнит | 6U на восемь карт против 4U у MGX — на 50 % больше платы за место при той же вычислительной мощности | AGS-4UMGX-R1 либо конфигурация MGX 2U на восьми RTX PRO 4500 SE |
| Тендер с обязательным TPM 2.0 | На плате только разъём с интерфейсом SPI, сам модуль — опция | Дозаказать модуль либо предложить AGS-4UMGX-R1, где TPM 2.0 распаян вместе с корнем доверия Microchip CEC1736 |
| Конвейеры с большими датасетами на быстрых дисках | Только четыре отсека NVMe из двенадцати; внутренний M.2 один | AGS-4UMGX-R1 с восемью E1.S, либо внешнее хранилище |
| Требование конфиденциальных вычислений | NVIDIA указывает поддержку в спецификации RTX PRO 4500 SE; для 6000 SE такой строки нет | Конфигурация MGX 2U на RTX PRO 4500 SE — там это заявлено официально |
| Тяжёлый препроцессинг данных на процессорах | Xeon 4-го и 5-го поколения с лимитом 350 Вт, память 5600 MT/s при 1DPC | AGS-4UMGX-R1 на Xeon 6 с памятью 6400 MT/s |
| Размещение на периферии с нестабильным климатом | Рабочий диапазон 10–35 °C, влажность до 80 % без конденсата | Специализированные периферийные платформы; либо доработка помещения |
| Стойка глубиной менее 950 мм | Шасси 900 мм плюс кабель-менеджмент физически не помещается | AGS-4UMGX-R1 глубиной 858 мм |
Из одиннадцати неподходящих сценариев семь закрываются другой машиной из вашего же портфеля. Правильная реакция на «нам нужна распределённая нагрузка» или «у нас колокация с оплатой за юнит» — не защита 6220V2, а переход к AGS-4UMGX-R1. Сделка при этом становится крупнее: MGX-платформа дороже на 30 %. Продавать надо портфель, а не одну позицию.
Возражения, которые прозвучат, и честные ответы
| Возражение | Честный ответ |
|---|---|
| «Почему не игровые карты, они дешевле» | Пассивное охлаждение под продув шасси, ECC, MIG и vGPU, конфигурируемая мощность 400–600 Вт под тепловой бюджет, сертификация системы. Игровая карта дешевле в закупке и дороже во владении: не делится между пользователями и не входит в поддерживаемую конфигурацию |
| «У конкурента те же восемь карт в 4U, а у вас 6U» | Согласиться прямо. Наши преимущества здесь — цена, обслуживаемость и вдвое больше отсеков хранения. Если для заказчика важнее плотность и сеть, предложить AGS-4UMGX-R1: это тоже наша машина |
| «INNO3D нет в списке системных партнёров на странице NVIDIA» | Признать. Перечень на странице продукта не является исчерпывающим, и у нас есть платформа в форм-факторе MGX с ConnectX-8 и BlueField-3. Предложить проверку в NVIDIA Qualified System Catalog и запросить письменное подтверждение статуса через дистрибьютора — это снимает вопрос документально, а не на словах |
| «Это barebone, нам нужен готовый сервер» | Перечислить недостающие позиции сразу: два процессора, память, накопители. Предложить интеграцию и назвать сроки. Заодно объяснить, что при дефиците памяти самостоятельная закупка часто выигрывает и по цене, и по срокам |
| «Дорого» | Перевести из цены в стоимость владения. Против AWS по требованию окупаемость 6,2 месяца при круглосуточной загрузке, выгода начинается уже с 21,7 % загрузки. Спросить, сколько часов в сутки карты будут реально заняты — этот вопрос решает сделку сильнее, чем скидка |
| «Возьмём в облаке» | Согласиться для пилота и для пиков — это честно и укрепляет доверие. Затем показать порог: выше примерно четверти загрузки покупка дешевле. Оптимальная схема — купить под базовую нагрузку и добирать пики в облаке |
| «Нам нужно обучать свои модели» | Уточнить: обучение с нуля или дообучение. Fine-tuning NVIDIA прямо называет в сценариях Server Edition, и здесь машина уместна. Обучение с нуля — не наш сценарий, и лучше сказать это сразу |
Каждое из них проверяется за минуту и стоит доверия ко всему остальному предложению. Не говорить «768 ГБ под одну модель» — память не пулится, это восемь независимых по памяти карт. Не упоминать NVLink — в спецификациях обеих карт указан только PCI Express. Не обещать статус NVIDIA-Certified до проверки конкретной конфигурации в каталоге. И не переносить приросты в 50 и 100 крат на эту машину: они получены на сервере с восемью RTX PRO 4500 SE в сравнении с процессорной системой, а не на 6000 SE и не против другого GPU.
Подбор конфигурации
Главная ошибка при подборе — считать терафлопсы. Для инференса первичен объём видеопамяти: если веса модели не помещаются в память GPU целиком, система уходит в системную оперативную память, и скорость падает радикально.
| Задача заказчика | Карта | Платформа | Что проверить |
|---|---|---|---|
| Инференс LLM примерно до 70 млрд параметров | 6000 SE | 2U на две карты | И AWS, и Microsoft называют этот порог границей для одной карты. Уточнить длину контекста и объём KV-кэша |
| Инференс более крупных моделей | 6000 SE | 4U или 6U на восемь карт | Тензорный параллелизм; помнить о потерях на PCIe из-за отсутствия NVLink |
| Множество небольших моделей | 4500 SE | MGX 2U на восемь карт | Считать по плотности на слот и числу параллельных потоков, а не по суммарным TFLOPS |
| Видеоаналитика, транскодинг | 4500 SE | MGX 2U, периферийные шасси | Три блока NVENC и три NVDEC на карту — ключевой параметр, а не CUDA-ядра |
| Обработка данных, векторный поиск | 4500 SE | MGX 2U на восемь карт | NVIDIA заявляет до 50 крат против CPU на построении векторных индексов |
| Виртуальные рабочие станции | Обе | 2U или 4U | Лицензии vGPU и число инстансов MIG: четыре у старшей карты, два у младшей |
| Рендер, Omniverse, симуляции | 6000 SE | MGX 4U или 6U | RT-ядра обязательны; пик RT у старшей карты вдвое выше |
| Дообучение существующих моделей | 6000 SE | 4U или 6U | Fine-tuning прямо назван NVIDIA в сценариях Server Edition |
| Пилот без капитальных затрат | 6000 SE | AWS G7e, Azure NCv6, Google Cloud G4 | См. слой 08 |
| Обучение крупных моделей с нуля | Вне заявленных сценариев обеих карт. Интерконнектом указан только PCI Express, строки NVLink нет | ||
Чек-лист вопросов перед подготовкой спецификации
- Какие модели и в какой точности запускаются? Отсюда требуемый объём VRAM; порог около 70 млрд параметров в FP8 — граница для одной старшей карты.
- Длина контекста и число одновременных сессий? Отсюда объём KV-кэша, который часто и определяет выбор.
- Обучение или только инференс? Если дообучение занимает малую часть времени, железо подбирается под инференс, а тяжёлые задачи арендуются.
- Нужна ли графика и трассировка лучей? Если да — альтернатив RTX PRO в этом бюджете практически нет.
- Сколько независимых потребителей? Четыре инстанса MIG у 6000 SE против двух по 16 ГБ у 4500 SE.
- Сколько киловатт подведено к стойке и как отводится тепло? Это ограничение чаще всего и сокращает конфигурацию.
- Воздух или жидкость? У 6000 SE это разные форм-факторы: два слота против одного слота FHXL.
- Планируется ли второй сервер? Тогда сеть выбирается сразу: 25GbE достаточно для одиночной машины и становится тупиком для распределённой нагрузки.
- Готовая система или barebone? От этого зависит число позиций в КП и сроки поставки.
Экономика и рынок
Начать придётся с оговорки: NVIDIA не публикует цены на эти продукты. Любые цифры цены в обзорах — оценки третьих сторон, и в этом справочнике их нет. Цена запрашивается у партнёра либо через NVIDIA Marketplace. Зато сравнимую экономику можно построить по документации облачных провайдеров.
| Платформа | Конфигурация | Особенности |
|---|---|---|
| AWS EC2 G7e | До 8 карт, суммарно до 768 ГБ памяти GPU, процессоры Intel Emerald Rapids, до 192 vCPU, до 2048 ГиБ системной памяти, до 15,2 ТБ локального NVMe, до 1600 Гбит/с сети через EFA | До 2,3 × производительности инференса относительно G6e. GPUDirect P2P между картами по PCIe, GPUDirect RDMA поверх EFA, GPUDirect Storage с FSx for Lustre. По данным AWS, одна карта тянет модель на 70 млрд параметров в FP8 |
| Azure NC RTX PRO 6000 BSE v6 | Хост на Intel Granite Rapids с частотой всех ядер до 4,2 ГГц; дробные и полные конфигурации на основе MIG | Карты пробрасываются через SR-IOV, что ограничивает сбор части телеметрии GPU. Поддержка AKS. Целевые сценарии: цифровые двойники и Omniverse, инференс и RAG до 70 млрд параметров, рендер, VDI на RTX Virtual Workstation, научная визуализация на FP32 |
| Google Cloud G4 | Дробные виртуальные машины с профилями vGPU на 12, 24, 48 и 96 ГБ | По данным технического блога NVIDIA, профили рассчитаны на сценарии от стриминга до высокоточного 3D-рендера и симуляции сенсоров робототехники |
Три модели потребления, между которыми выбирает заказчик
Покупка сервера
Оправдана при постоянной загрузке 24/7, требованиях к локализации данных и предсказуемом горизонте эксплуатации. Даёт контроль над данными и фиксированную стоимость.
Аренда выделенного сервера
Компромисс: нет капитальных затрат, но конфигурация фиксирована. Профили MIG позволяют провайдеру продавать доли карты, а заказчику — брать ровно нужный объём памяти.
Публичное облако
Карта доступна у трёх гиперскейлеров. Годится для пиков, тестов и пилота перед закупкой; при постоянной нагрузке обычно дороже собственного железа.
Что считать в TCO
Стоимость карт, лицензии AI Enterprise и vGPU, электроэнергия и охлаждение (восемь старших карт — до 4,8 кВт только на GPU против 1,3 кВт у восьми младших), место в стойке, поддержка вендора, стоимость простоя. Плотность на слот у 4500 SE часто выигрывает по TCO там, где 6000 SE выигрывает по пиковой производительности.
Вендор Провайдер Расчёт на конкретных цифрах
Модель ниже построена на реальной цене платформы и проверяемых тарифах. Все допущения вынесены в таблицу — меняя их, вы получаете свой ответ, а не чужой.
| Позиция | AGS-6220V2 · 6U | AGS-4UMGX-R1 · MGX |
|---|---|---|
| Процессоры | Нет | Нет, значатся как опция конфигурации |
| Память | Нет | Нет, значится как опция конфигурации |
| Накопители | Нет | Нет, внутренний и фронтальные значатся как опции |
| Блоки питания | 4 предустановлены | 4 предустановлены |
| Вентиляторы | 16 | 10 предустановлены |
| Радиаторы и рамки процессоров | 2 радиатора с креплением | 2 радиатора и 4 рамки |
| Рельсы для стойки | Есть | Есть, L-образные |
| Сетевой модуль | 25 Гбит/с OCP предустановлен | ConnectX-8 значится в характеристиках; в описании комплектации отдельной строкой нет — уточнять |
| DPU | Нет | BlueField-3 значится в характеристиках; в описании комплектации отдельной строкой нет — уточнять |
| Ключ RAID | Intel VROC предустановлен | Не указан |
| Кабели питания | 4 × C19–C20 | Не указаны |
Главное, что снимает частый вопрос: barebone обе платформы. Память и накопители докупаются в любом случае, поэтому сравнение цен $121 700 против $158 210 корректно — обе цифры на одинаковой базе. Мелкие позиции при этом в пользу 6U: сетевой модуль, ключ VROC и кабели питания там уже в коробке.
| Параметр | Значение | Происхождение |
|---|---|---|
| Платформа 6U с 8 × RTX PRO 6000 SE, barebone | $121 700 | Коммерческое предложение. Конкурирующие 6U приняты по той же цене |
| Платформа MGX 4U с 8 картами, barebone | $158 210 | Принято +30 % к цене 6U. Тоже без процессоров, памяти и накопителей — см. таблицу 16 |
| Доукомплектование 6U: 2 × Xeon 4-го или 5-го пок., 1 ТБ DDR5, NVMe | ≈ $20 000 | Оценка. Уточняется у поставщика |
| Доукомплектование MGX 4U: 2 × Xeon 6, 1 ТБ DDR5 или MRDIMM, E1.S | ≈ $25 000 | Оценка. Дороже по трём причинам: процессоры под LGA 4710, память на 6400 MT/s и накопители E1.S датацентрового класса |
| Если заказчику нужен объём холодных данных | разрыв растёт | У 6U восемь отсеков SATA — самые дешёвые терабайты. У MGX только E1.S. При требовании в десятки терабайт разница в доукомплектовании легко удваивается |
| Потребление системы | 6,0 кВт | 8 × 600 Вт GPU + 2 × 350 Вт CPU + 0,5 кВт на память, диски и вентиляторы |
| КПД блоков питания | 94 % / 96 % | 80 PLUS Platinum у 6U, Titanium у MGX 4U — по даташитам |
| PUE машинного зала | 1,4 | Допущение. Для современного ЦОД бывает ниже |
| Электроэнергия | $0,20 / кВт·ч | Допущение. Чувствительность показана ниже |
| AWS g7e.48xlarge, 8 карт, по требованию | $33,14 / час | us-east-1. Совпадает у четырёх независимых агрегаторов цен AWS; проверяйте в калькуляторе AWS |
| AWS g7e.48xlarge, spot | от $12,78 / час | Минимальная цена, зависит от зоны доступности и риска вытеснения |
| Горизонт расчёта | 3 года | Допущение |
| Не включено | Лицензии NVIDIA AI Enterprise и vGPU, расширенная поддержка вендора, стойко-место или колокация, коммутаторы и оптика за пределами сервера, персонал, трафик. У AWS отдельно тарифицируется исходящий трафик | |
| Статья | 6U (INNO3D и конкуренты) | MGX 4U | AWS по требованию | AWS spot |
|---|---|---|---|---|
| Капитальные затраты | $141 700 | $183 210 | — | — |
| Электроэнергия за год | $15 656 | $15 330 | включено | включено |
| Итого за 3 года при загрузке 24/7 | $188 669 | $229 200 | $871 032 | $335 803 |
| Стоимость GPU-часа при 100 % загрузке | $0,90 | $1,09 | $4,14 | $1,60 |
| Стоимость GPU-часа при 50 % загрузке | $1,79 | $2,18 | $4,14 | $1,60 |
| Окупаемость против цены по требованию при 24/7 | 6,2 месяца | 8,0 месяцев | — | — |
Ключевая асимметрия: у собственного железа затраты почти целиком постоянные, у облака — почти целиком переменные. Поэтому облако не дороже «вообще», оно дороже при высокой загрузке. Строка со стоимостью GPU-часа при 50 % это показывает: у собственной машины она удваивается, у облака остаётся прежней.
| Сценарий | 6U | MGX 4U |
|---|---|---|
| Порог загрузки против цены по требованию | 21,7 % | 26,3 % |
| Порог загрузки против spot | 56,2 % | 68,3 % |
| В часах за 3 года против цены по требованию | 5 692 из 26 280 | 6 915 из 26 280 |
| При электроэнергии $0,10 / кВт·ч | порог 19,0 % | — |
| При электроэнергии $0,30 / кВт·ч | порог 24,4 % | — |
Две последние строки показывают, что цена электроэнергии влияет на итог заметно слабее загрузки: утроение тарифа сдвигает порог всего на пять процентных пунктов. Первый вопрос заказчику — не «сколько у вас стоит киловатт-час», а «сколько часов в сутки карты будут реально заняты».
Первое. Если карты загружены больше четверти времени, покупка дешевле аренды по требованию, а при круглосуточной загрузке машина окупается примерно за полгода. Против spot-цен порог заметно выше — около 56 %, — но spot не даёт гарантии доступности и не годится под продакшн. Второе. Облако выигрывает в трёх ситуациях: пилот до закупки, пиковые нагрузки поверх собственного парка и проекты короче года. Разумная схема — купить под базовую нагрузку и добирать пики в облаке. Третье. Разница между 6U и MGX 4U в пороге загрузки — меньше пяти процентных пунктов. Если заказчик всё равно проходит по загрузке, выбор между платформами определяется не деньгами, а тем, нужна ли ему сеть для роста в кластер.
Полезная арифметика для разговора, но вести её надо аккуратно. Восемь карт по цене маркетплейса NVIDIA — это $106 000. Значит, в шестиюнитовой платформе на само шасси приходится около $15 700, а в MGX 4U — около $52 210. Премия составляет $36 510.
Что в неё входит. Шасси в форм-факторе MGX 4U, материнская плата под Xeon 6 на разъёме LGA 4710 с памятью до 6400 MT/s, блоки питания класса Titanium на 3200 Вт вместо Platinum на 2700, восемь портов по 400 Гбит/с на ConnectX-8 и выделенный BlueField-3. В пересчёте на порт — около $4 560 за каждые 400 Гбит/с, и это до того, как заказчик купит коммутатор.
Чего в неё не входит — важная поправка. Сами процессоры Xeon 6 премией не покрываются: их нет ни в одной из двух поставок. Премия покрывает плату, принимающую Xeon 6, а процессоры покупаются отдельно и на MGX обойдутся дороже, чем Xeon 4-го или 5-го поколения на 6220V2. Это добавляется к разнице, а не входит в неё.
Что обязательно подтвердить письменно. В описании комплектации AGS-4UMGX-R1 ни ConnectX-8, ни BlueField-3 не перечислены отдельной строкой: оба фигурируют только в характеристиках формулировкой «Configured with». Читается как «входит в сконфигурированную систему», но при разнице в $36 510 это надо получить от поставщика в письменном виде. Прямой вопрос: входят ли плата ConnectX-8 SuperNIC и модуль BlueField-3 в цену AGS-4UMGX-R1 или тарифицируются отдельно. Если отдельно — вся арифметика выше рассыпается и сравнение нужно строить заново.
Чего премия точно не отбивает. Энергоэффективность: переход с Platinum на Titanium экономит $326 в год, то есть около $980 за три года — 2,7 % от премии. Titanium надо продавать как тепловой запас и надёжность, а не как экономию на счетах.
По данным NVIDIA, модель Llama Nemotron Super в формате NVFP4 на одной RTX PRO 6000 даёт до трёхкратного выигрыша по соотношению цены и производительности относительно FP8 на H100. Это разворот привычной логики: более дешёвая универсальная карта оказывается выгоднее флагманского ускорителя на инференсе — при условии, что модель помещается в память. Косвенно это подтверждает и рынок: AWS независимо измерила до 2,3 крат прироста инференса на инстансах G7e относительно предыдущего поколения на L40S.
Куда идти дальше
NVIDIA Источник всех данных о картах и технологиях
- RTX PRO 6000 Blackwell Server Edition · RTX PRO 4500 Blackwell Server Edition — спецификации и заявления о производительности.
- Семейство RTX PRO 6000 Blackwell — сравнительная таблица трёх редакций, источник данных для таблицы 3.
- RTX PRO Server — четыре референсные конфигурации, сетевые технологии, список системных партнёров.
- Даташиты: 6000 SE · 4500 SE · RTX PRO Server · Data Center GPU Line Card.
- MGX · Multi-Instance GPU · Виртуализация GPU · ConnectX-8 SuperNIC · BlueField-3 · Spectrum-X.
- Технический блог о 4500 SE и vGPU 20 · Пресс-релиз о серверах RTX PRO.
- Инструменты проверки: Qualified System Catalog · NVIDIA-Certified Systems · AI Factory Validated Design · NVIDIA Marketplace.
- Результаты MLPerf — независимо верифицируемые тесты.
Вендоры Источник всех данных о серверах
- INNO3D AGS-4UMGX-R1 и даташит в PDF — платформа MGX 4U.
- INNO3D AGS-6220V2 и даташит в PDF — платформа 6U.
- Lenovo Press: 6000 SE в ThinkSystem и 4500 SE — матрицы совместимости и ограничения мощности слота. Один такой документ заменяет десять обзоров.
- Gigabyte: решения RTX PRO · ZOTAC ZRS-MGX-R1 · Supermicro: портфель систем.
Провайдеры Источник данных об облаке
Дополнительное чтение не источник цифр
Материалы ниже удобны для первого знакомства с темой на родном языке, но цифры в них следует сверять с первоисточниками выше — именно расхождения в этих публикациях стали причиной переработки справочника.
- RUCytrix — RTX PRO 6000 Server Edition, самый «серверный» из русскоязычных разборов.
- RUItelon — универсальный GPU для ИИ, графики и VDI, о позиционировании.
- RUServerMall — 1, 2, 4 или 8 GPU в сервере, о логике выбора шасси.
- RUВидео: сборка ASUS ESC8000A-E13 с 8 картами — редкий русскоязычный материал по этому классу машин.
- UAAlfa-Server — огляд RTX PRO 4500 SE з рекомендованою конфігурацією сервера.
- UAAlfa-Server — огляд лінійки RTX PRO Blackwell.
- ENServeTheHome — PCIe GPU in Server Guide, эталонный разбор платформ; их YouTube-канал — лучшее видео по теме.
Глоссарий
| Термин | Расшифровка | Значение |
|---|---|---|
| MIG | Multi-Instance GPU | Аппаратное деление карты на изолированные GPU с гарантированным качеством обслуживания |
| vGPU | Virtual GPU | Виртуализация GPU для VDI; применяются лицензии vWS и vPC |
| MGX | NVIDIA MGX | Модульный референс-дизайн серверной платформы |
| SuperNIC | ConnectX-8 SuperNIC | Сетевой адаптер с 48-полосным коммутатором PCIe Gen 6 |
| DPU | Data Processing Unit | BlueField-3: разгрузка сети, доступа к данным и защиты с процессора |
| GPUDirect P2P | Peer to Peer | Прямой обмен между GPU по PCIe без участия системной памяти |
| SR-IOV | Single Root I/O Virtualization | Способ проброса устройства в виртуальные машины; применяется в Azure NCv6 |
| FP4 / NVFP4 | Четырёхбитный формат | Формат вычислений, вчетверо уплотняющий веса относительно FP16 |
| NVENC / NVDEC | Encoder / Decoder | Аппаратные блоки кодирования и декодирования видео |
| KV-кэш | Key-Value cache | Память под контекст диалога; часто определяет реальный расход VRAM |
| FHFL / FHXL | Full Height Full Length / Extra Length | Полноразмерная плата и её удлинённый вариант для жидкостной версии |
| Barebone | — | Платформа без процессоров, памяти и накопителей |
| Headless | — | Работа без подключённого монитора |