Чому не можна просто взяти ігрову карту й поставити її в сервер
Це перше, що треба вміти пояснювати клієнтові, бо питання «а чому не 4090 чи 5090, вони ж дешевші» виникає завжди. Відмінностей шість, і всі вони про експлуатацію, а не про «папуги».
Пасивне охолодження
NVIDIA прямо вказує теплове рішення серверних карт як пасивне й описує 6000 SE як розраховану на багатокарткові сервери, що потребують пасивного охолодження. Вентиляторів на платі немає, повітря жене шасі. Поза сервером з організованим продувом карта не працює.
Пам'ять з ECC
У 6000 SE в специфікації значиться 96 ГБ GDDR7 з корекцією помилок. За навантаження 24/7 на багатоденному інференсі або рендері поодинокий збій біта без ECC означає зіпсований результат без жодних повідомлень про помилку.
Різний набір виходів
У 6000 SE вказано чотири DisplayPort 2.1 — тобто вона може працювати і як графічна карта в ЦОД. У 4500 SE рядка відеовиходів у специфікації немає взагалі: це суто headless-прискорювач.
Подільність: MIG і vGPU
Карту можна нарізати на ізольовані інстанси з власною пам'яттю, кешем і ядрами або роздати віддаленим користувачам через vGPU. У 6000 SE до чотирьох інстансів, у 4500 SE — до двох по 16 ГБ.
Сертифікація системи
Сервери RTX PRO мають статус NVIDIA-Certified і перевірені з інструментами партнерів у межах AI Factory Validated Design. Це гарантія сумісності зі стеком AI Enterprise та мережевими рішеннями NVIDIA.
Конфігуровна потужність
У 6000 SE споживання заявлено як діапазон 400–600 Вт. Карта налаштовується під тепловий бюджет шасі, а не навпаки. У споживчих карт такої можливості немає.
Аргумент у розмові з клієнтом — не продуктивність, а передбачуваність і керованість. Ігрова карта дешевша в закупівлі й дорожча у володінні: вона не ділиться між користувачами, не має ECC, її не можна обмежити за потужністю під шасі, і вона не входить до сертифікованої конфігурації, за яку відповідають вендор сервера і NVIDIA.
Чотири зміни покоління, за які платять
Blackwell — покоління, що прийшло на зміну Ada Lovelace. Для продажу серверних карт значущі рівно чотири його властивості; решта — деталі для інженерів.
| Технологія | Що каже NVIDIA | Що дає замовнику |
|---|---|---|
| Tensor-ядра 5-го покоління та FP4 | До 3 разів вища продуктивність відносно попереднього покоління, додано підтримку точності FP4. У 6000 SE — друге покоління Transformer Engine | Ваги моделі займають учетверо менше пам'яті, ніж у FP16. Саме звідси береться кратний приріст в інференсі LLM, а не з кількості CUDA-ядер |
| Пам'ять GDDR7 | Суттєво збільшені пропускна здатність і обсяг | Дозволила дати 96 ГБ на одній карті — обсяг, раніше доступний лише на дорогих SXM-платформах |
| RT-ядра 4-го покоління | До 2 разів вища продуктивність; RTX Mega Geometry дає до 100 разів більше трикутників із трасуванням променів | Рендер, цифрові двійники, симуляції, Omniverse. Це те, чого немає у «суто обчислювальних» прискорювачів |
| NVENC 9 і NVDEC 6 | Підтримка 4:2:2 у H.264 та HEVC, покращена якість AV1, подвоєна пропускна здатність декодування H.264 | Відеоаналітика, транскодування, стримінг, медіавиробництво — сегменти, де карта продається взагалі без розмов про ШІ |
Ключ до розуміння всієї лінійки: RTX PRO — це карти, які вміють і рахувати ШІ, і будувати графіку. Універсальність — їхня основна конкурентна властивість і головний аргумент у продажу.
Дві карти поруч
Обидві побудовані на Blackwell, обидві пасивні, обидві PCIe Gen5 x16, обидві підтримують MIG. На цьому схожість завершується: це карти для різних бюджетів тепла й різних задач.
| Параметр | RTX PRO 6000 Blackwell SE | RTX PRO 4500 Blackwell SE |
|---|---|---|
| Ядра CUDA | 24 064 | 10 496 |
| RT-ядра (4-те пок.) | 188 | 82 |
| Відеопам'ять | 96 ГБ GDDR7 з ECC | 32 ГБ GDDR7 |
| Пропускна здатність | 1597 ГБ/с | 800 ГБ/с |
| Шина пам'яті | 512 біт | 256 біт |
| Tensor Core FP4 | 4 PFLOPS | 1,6 PFLOPS |
| Tensor Core FP8 | 2 PFLOPS | 811 TFLOPS |
| Tensor Core FP16 / BF16 | 1 PFLOPS | 406 TFLOPS |
| Tensor Core TF32 | 234 TFLOPS | 203 TFLOPS |
| Одинарна точність FP32 | 120 TFLOPS | 51 TFLOPS |
| Пік RT-ядер | 355 TFLOPS | 154 TFLOPS |
| Споживання | 400–600 Вт (конфігуровне) | 165 Вт |
| Форм-фактор | Повітря: 2 слоти, 11,2 × 26,7 см · Рідина: 1 слот, FHXL | 1 слот, 11,2 × 26,7 см |
| Охолодження | Пасивне | Пасивне |
| Інтерфейс | PCIe Gen 5 x16 | PCI Express 5.0 x16 |
| MIG | До 4 ізольованих інстансів | До 2 інстансів по 16 ГБ |
| Відеорушії | 4 NVENC / 4 NVDEC | 3 NVENC / 3 NVDEC |
| Відеовиходи | 4 × DisplayPort 2.1 | У специфікації не вказані |
| Конфіденційні обчислення | У специфікації не вказані | Підтримуються |
| Роз'єм живлення | У специфікації не вказаний | 1 × PCIe CEM5 16-pin |
| Кого змінює | NVIDIA L40S | NVIDIA L4 |
Рядки «у специфікації не вказані» залишено навмисно: NVIDIA публікує для двох карт дещо різні набори параметрів, і додумувати відсутнє за аналогією — саме той шлях, яким до оглядів потрапляють хибні цифри.
Обережно: три різні продукти з майже однаковою назвою
Найчастіша помилка в специфікаціях і комерційних пропозиціях. «RTX PRO 6000 Blackwell» — це сімейство з трьох карт, плюс серверна 4500 окремо.
| Параметр | Server Edition | Workstation Edition | Max-Q Workstation |
|---|---|---|---|
| Пам'ять | 96 ГБ GDDR7 ECC | 96 ГБ GDDR7 ECC | 96 ГБ GDDR7 ECC |
| Споживання | 400–600 Вт | 600 Вт | 300 Вт |
| Охолодження | Пасивне | Наскрізний потік з двох боків | Активне |
| Габарити | 11,2 × 26,7 см, 2 слоти | 13,7 × 30,5 см, 2 слоти | 11,2 × 26,7 см, 2 слоти |
| Відеовиходи | 4 × DisplayPort 2.1 | 4 × DisplayPort 2.1 | 4 × DisplayPort 2.1 |
| Шина | PCIe Gen 5 x16 | PCIe Gen 5 x16 | PCIe Gen 5 x16 |
| Призначення за NVIDIA | Багатокарткові сервери з пасивним охолодженням: інференс, дотренування, розподілений рендер, HPC, віртуальні робочі станції | Максимальна продуктивність в однокартковій робочій станції | Щільні конфігурації робочих станцій, до чотирьох карт |
Max-Q — практичний компроміс для клієнта, якому потрібна щільність, але немає серверної стійки: удвічі менше тепла за того самого обсягу пам'яті, до чотирьох карт у станції. Зверніть увагу й на формулювання NVIDIA щодо Server Edition: дотренування названо прямо, тобто fine-tuning входить до заявленого сценарію, на відміну від навчання з нуля.
Співвідношення «пам'яті на ват» у двох серверних карт близьке, а от щільність на слот різна кардинально: 165 Вт в одному слоті проти 600 Вт у двох. Вибір між ними — це вибір між «однією великою моделлю» і «багатьма паралельними потоками». За обчисленнями розрив дво-двох з половиною кратний, за енергоспоживанням — майже чотирикратний.
Місце в лінійці ЦОД NVIDIA
Найцінніша компетенція у продажу цих карт — уміти сказати, коли вони не підходять. Лінійка ЦОД ділиться на два стовбури: універсальні PCIe-карти RTX PRO та обчислювальні прискорювачі під навчання.
| Рішення | Роль за описом NVIDIA | Графіка і RT | Інтерконект |
|---|---|---|---|
| RTX PRO 4500 SE | Інференс невеликих і середніх моделей, обробка даних і data science, відеоаналітика, віртуалізація. Для ЦОД, периферії та хмари | Є | PCI Express 5.0 x16 |
| RTX PRO 6000 SE | Інференс, дотренування, розподілений рендер, HPC, віртуальні робочі станції. Універсальний GPU для ЦОД | Є | PCIe Gen 5 x16 |
| H-серія та B-серія | Окремі продуктові лінійки NVIDIA для сценаріїв, де потрібна зв'язність GPU через NVLink | Обмежено | NVLink / NVSwitch |
У специфікаціях обох карт інтерконектом вказано лише PCI Express; рядка NVLink немає. Карти спілкуються через PCIe, пул пам'яті між ними не збирається. Вісім карт по 96 ГБ — це не «768 ГБ під одну модель», а вісім незалежних за пам'яттю прискорювачів. Великий обсяг на кожній карті компенсує це для паралельного інференсу, але для однієї моделі, що не вміщується у 96 ГБ, потрібен або тензорний паралелізм із втратами на PCIe, або платформа з NVLink.
Аргументи зміни покоління
- Проти L40S: NVIDIA заявляє, що сервери RTX PRO виконують симуляції та генерацію синтетичних даних до 4 разів швидше за системи на L40S, і описує 6000 SE як таку, що дає значний стрибок відносно L40S у мультимодальних агентних і генеративних застосунках.
- Проти L4: для 4500 SE NVIDIA заявляє понад п'ятикратний приріст відносно попереднього покоління L4 в інференсі невеликих і середніх моделей — за використання оптимізованих фреймворків NVIDIA та мікросервісів NIM.
- Проти систем без GPU: для розуміння відео засобами ШІ NVIDIA заявляє до 100-кратного приросту відносно систем лише на CPU і скорочення займаного місця та енергоспоживання більш ніж на 95 %. Для векторних баз даних — до 50 разів. Це найсильніший аргумент у розмові із замовником, у якого стоїть парк CPU-серверів.
Важливе застереження до двох останніх цифр: порівняння 50 і 100 крат ведеться між сервером на восьми картах 4500 SE та процесорною системою (для векторних баз — AMD 9654 на 192 віртуальних ядрах, 33 млн векторів у Milvus 2.5.25, HNSW проти cuVS CAGRA; для відео — двопроцесорний AMD 9654 і модель Qwen3-VL-8B). Це коректне порівняння платформ, але не карти з картою, і грамотний технічний фахівець з боку замовника про це запитає.
Технології, які продають карту
Характеристики в таблиці продають інженерові. Комерційному замовникові продають ось ці речі — вони перетворюють залізо на послугу, яку можна перепродати або розділити між відділами.
| Технологія | Механіка | Цінність для замовника |
|---|---|---|
| MIG | Апаратний поділ GPU на ізольовані інстанси, у кожного власна пам'ять із високою пропускною здатністю, кеш і обчислювальні ядра плюс гарантована якість обслуговування. У 6000 SE до чотирьох, у 4500 SE — до двох по 16 ГБ | Гарантована якість обслуговування для кожного орендаря. Одна карта обслуговує кілька незалежних задач без взаємного впливу — основа для білінгу й мультитенантності |
| vGPU | У зв'язці з ПЗ NVIDIA RTX Virtual Workstation і Virtual PC карта віртуалізується для віддалених користувачів. Підтримується поділ часу поверх MIG, що дозволяє одночасно виконувати задачі ШІ та графіки. У vGPU 20 додано AI Virtual Workstation Toolkit і фіксований розподіл часток | Інженери й дизайнери працюють на тонких клієнтах, а ліцензії CAD і дані не залишають периметр. Часто саме цей сценарій, а не ШІ, оплачує закупівлю |
| ECC | Корекція помилок відеопам'яті, заявлена для 96 ГБ GDDR7 у 6000 SE | Умова для продакшн-навантаження 24/7 і типова вимога в тендерах на інфраструктуру |
| Конфіденційні обчислення | Для 4500 SE у таблиці характеристик указано підтримку | Аргумент у регульованих галузях: захист даних і моделей під час обробки |
| NVIDIA AI Enterprise | Набір інструментів, бібліотек і фреймворків, включно з мікросервісами NIM та NeMo | Окремий рядок у рахунку й водночас зняття заперечення «а хто це підтримуватиме» |
| NVIDIA-Certified | Сервери RTX PRO мають статус і перевірені з інструментами партнерів у межах AI Factory Validated Design | Гарантія сумісності з мережею NVIDIA, BlueField-3 і стеком AI Enterprise. Знімає ризик інтеграції із замовника та з інтегратора |
| NVIDIA Run:ai | Платформа оркестрації задач і GPU, що підвищує утилізацію та загальну пропускну здатність | Дозавантаження карт, які простоюють, — прямий аргумент до окупності |
MIG варто показувати в цифрах грошей, а не гігабайтів. Одна RTX PRO 6000 SE, поділена на чотири інстанси, — це чотири робочі місця розробника ШІ або чотири незалежні сервіси інференсу на одній фізичній карті. І зворотне правило: під 4500 SE не можна планувати чотирьох користувачів, у неї максимум два інстанси. Ця деталь регулярно губиться під час підготовки КП.
Сервер як система, а не як коробка з картами
Тут проходить межа між «знати залізо» і «розуміти серверні технології». Карта — менша частина інженерної складності. Решта — шасі, мережа, живлення й охолодження. Референсні конфігурації описує NVIDIA, конкретні машини — їхні виробники.
NVIDIA Чотири референсні конфігурації
NVIDIA визначає RTX PRO Server як універсальну платформу ЦОД і наводить чотири приклади на базі модульних референс-дизайнів MGX. Це еталон, відносно якого оцінюється будь-яка пропозиція вендора.
| Конфігурація | GPU | Мережа | DPU |
|---|---|---|---|
| MGX 6U | 8 × RTX PRO 6000 SE, рідинне охолодження | ConnectX-8 SuperNIC з комутатором PCIe Gen 6 | BlueField-3 |
| MGX 4U | 8 × RTX PRO 6000 SE | ConnectX-8 SuperNIC з комутатором PCIe Gen 6 | BlueField-3 |
| MGX 2U | 2 × RTX PRO 6000 SE | ConnectX-7 або BlueField-3 SuperNIC | BlueField-3 |
| MGX 2U | 8 × RTX PRO 4500 SE | ConnectX-7 SuperNIC | BlueField-3 |
Останній рядок легко губиться, а дарма: вісім молодших карт уміщуються у два юніти. Це 256 ГБ пам'яті та 12,8 PFLOPS FP4 у 2U за 1,3 кВт на GPU проти 4,8 кВт у восьми старших карт. Для відеоаналітики та інференсу невеликих моделей це найщільніша офіційна конфігурація.
NVIDIA Що дає комутатор у SuperNIC
Головну архітектурну зміну останніх поколінь NVIDIA описує так: ConnectX-8 SuperNIC PCIe Switch — плата, що об'єднує кілька SuperNIC, кожен з яких поєднує надшвидку мережу з 48-смуговим комутатором PCIe Gen 6. Рішення усуває окремі комутатори PCIe, подвоює пропускну здатність між GPU, спрощує розведення плати й забезпечує до 800 Гбіт/с. Поруч із ним у конфігураціях стоїть BlueField-3 DPU, який, за описом NVIDIA, розвантажує мережу, доступ до даних і захист із процесора та дає ізоляцію за моделлю нульової довіри. Мережеву підсистему доповнює Spectrum-X: завдяки адаптивній маршрутизації RoCE та керуванню перевантаженням прискорює роботу зі сховищем майже на 50 %.
У восьмикарткових PCIe-серверів топології дві, і різницю корисно вміти пояснювати. У комутованій карти під'єднані до виділених мікросхем PCIe-комутатора, а вже він іде вгору до процесорів: будь-яка карта спілкується з будь-якою на повній ширині, не виходячи за межі комутатора, і ліній виходить більше, ніж дають самі процесори. У прямій кожна карта встромлена в кореневий комплекс процесора: дешевше й на один хоп ближче до системної пам'яті, але карти діляться між сокетами, а обмін між половинами йде через міжпроцесорну шину. AGS-6220V2 побудована за прямою схемою, AGS-4UMGX-R1 — за комутованою. Що це не буквоїдство, видно з обох боків галузі: NVIDIA створила ConnectX-8 SuperNIC саме щоб прибрати окремі комутатори, зберігши їхній виграш, а AWS окремо відзначає вкрай низьку затримку обміну між GPU, що перебувають на одному комутаторі PCIe.
Вендори Три класи машин
2U, 2–4 GPU
Звичайні стійкові сервери Cisco, Dell, HPE, Lenovo, Supermicro — усі вони значаться у списку провідних системних партнерів NVIDIA. Ставляться в наявну стійку замовника. Точка входу в прискорені обчислення для компанії, яка вже має власний ЦОД.
4U MGX, 8 GPU
Спеціалізована платформа на референс-дизайні NVIDIA MGX з ConnectX-8 і BlueField-3. Це будівельний блок кластера, а не «сервер з відеокартами». Приклади: INNO3D AGS-4UMGX-R1, Gigabyte XL44-SX2-AAS1, ZOTAC ZRS-MGX-R1, Supermicro SYS-522GA-NRT.
6U, 8 GPU
Платформи на кшталт INNO3D AGS-6220V2. Ті самі вісім карт, але у півтора раза більшому об'ємі: запас за повітрям, обслуговуваність і ціна замість щільності та високошвидкісної мережі. Самостійна робоча машина, а не вузол кластера.
Вендор Розбір конкретної платформи: INNO3D AGS-6220V2
Корисно поставити поруч із референсом MGX машину іншої філософії. Це 6U на вісім RTX PRO 6000 Blackwell Server Edition, і майже кожне її рішення протилежне логіці MGX. Дані — з даташита INNO3D на SKU AGS-6220V2P2-B00.
| Вузол | Реалізація | Що це означає на практиці |
|---|---|---|
| Тип постачання | Barebone. Шасі, материнська плата, 4 БЖ, модуль OCP 25 Гбіт/с, ключ VROC, рейки й радіатори передвстановлені. Без процесорів, пам'яті та накопичувачів | Це платформа, не готовий сервер. CPU, DDR5, NVMe і вісім карт — окремі позиції КП з окремими термінами |
| Форм-фактор | 6U, 900 × 438 × 264 мм | Вісім карт у 6U проти восьми у 4U в референса. Глибина 900 мм — перевіряйте глибину стійки з урахуванням кабель-менеджменту |
| Слоти GPU | 8 × PCIe 5.0 x16, FHFL, подвійної ширини. Пряме під'єднання до CPU без комутатора PCIe | Кожна карта отримує чесні x16. Але 8 × x16 — це 128 ліній на два сокети: карти діляться 4+4, і обмін між половинами йде через міжпроцесорну шину. Для тензорного паралелізму це вузьке місце |
| Процесори | 2 × Intel Xeon Scalable 4-го і 5-го покоління, LGA 4677, чипсет C741. Обмеження 350 Вт TDP на процесор | Стеля відсікає частину старших моделей — звіряйте обраний SKU до замовлення |
| Пам'ять | 32 слоти DDR5 RDIMM / RDIMM-3DS, 8 каналів на CPU. RDIMM до 96 ГБ, RDIMM-3DS до 256 ГБ на модуль. 5600 MT/s за 1DPC і 4400 за 2DPC для 5-го покоління Xeon | Стеля близько 8 ТБ. Повне заповнення знижує частоту з 5600 до 4400 |
| Мережа | 1 слот OCP, модуль 25 Гбіт/с у комплекті, плюс 1GbE порт керування BMC | Головна відмінність від референса. Ні ConnectX-8, ні BlueField-3, ні 400 Гбіт/с. Це одинична машина, не елемент кластера |
| Сховище | 12 відсіків 3,5/2,5″ (8 × SATA-3 + 4 × NVMe), 1 × M.2 NVMe усередині, RAID Intel VROC 0/1/10/5 | Вісім із дванадцяти відсіків лише SATA. Під швидкий датасет лишаються чотири NVMe |
| Живлення | 4 × 2700 Вт CRPS, 3+1, 80 PLUS Platinum | 8100 Вт корисної потужності. Розрахунок: 8 × 600 Вт GPU + 2 × 350 Вт CPU + пам'ять, диски й вентилятори — близько 6,5 кВт. Живлення потрібне 200–240 В, роз'єми C19/C20 |
| Охолодження | 16 вентиляторів гарячої заміни: 8 внутрішніх і 8 у задній частині | Головна перевага 6U: повітря багато, вентилятори змінюються без зупинки |
| Керування | Виділений порт IPMI, VGA, 2 × USB 3.2 Gen1. Роз'єм TPM з інтерфейсом SPI, модуль TPM 2.0 — опція | За тендерної вимоги щодо TPM модуль замовляється окремо |
| Операційні системи | Windows Server 2022/2019, RHEL 9.2–8.6, SLES 15 SP4, Ubuntu 22.04 LTS, VMware ESXi 8.0U1 / 7.0U3i, Citrix Hypervisor 8.2 LTSR CU1 | Підтримка ESXi і Citrix — сигнал, що платформа розрахована зокрема на VDI |
Титульний аркуш випущено на SKU AGS-6220V2P2-B00 (item 0K219-B001), а шапка сторінки характеристик — на AGS-6220V2P2-B10. Схоже на друкарську помилку або сусідню ревізію комплектації, але артикул під час замовлення треба підтверджувати письмово: від нього залежить, що передвстановлено в шасі. Там же дрібна нестиковка щодо пам'яті: в одному рядку 4800/4400 MHz, нижче для 5-го покоління Xeon — 5600 MT/s за 1DPC.
Вендор Той самий виробник, інша філософія: INNO3D AGS-4UMGX-R1
У INNO3D є й друга платформа під ті самі карти — 4U на референс-дизайні NVIDIA MGX, з ConnectX-8 SuperNIC і BlueField-3. Порівняння двох машин одного вендора наочніше за будь-яке міжбрендове: видно рівно те, за що доплачують, без поправок на різницю в якості складання та сервісі.
| Вузол | AGS-4UMGX-R1 · MGX | AGS-6220V2 · 6U |
|---|---|---|
| Форм-фактор | NVIDIA MGX 4U, 858 × 440 × 175 мм | 6U, 900 × 438 × 264 мм |
| Топологія GPU | 8 × PCIe Gen 5 x16 під вісім RTX PRO 6000 SE плюс окремий слот Gen 5 x16 під BlueField-3 | 8 × PCIe 5.0 x16, пряме під'єднання до CPU без комутатора |
| Мережа | ConnectX-8 SuperNIC: 8 портів по 400 Гбіт/с QSFP, плюс 2 × 10GbE і 1GbE BMC | OCP-модуль 25 Гбіт/с плюс 1GbE BMC |
| DPU | BlueField-3 у виділеному слоті | Немає |
| Процесори | 2 × Intel Xeon 6 (Granite Rapids / Sierra Forest), серії 6500 і 6700, роз'єм LGA 4710 | 2 × Intel Xeon Scalable 4-го і 5-го покоління, LGA 4677, ліміт 350 Вт |
| Пам'ять | 32 слоти DDR5 RDIMM / MRDIMM, 8 каналів на CPU. 6400 MT/s за 1DPC, 5200 за 2DPC. Модулі 32, 64, 96 і 128 ГБ | 32 слоти DDR5 RDIMM / RDIMM-3DS. 5600 MT/s за 1DPC, 4400 за 2DPC |
| Сховище | 8 відсіків 2,5″ гарячої заміни, до восьми E1.S висотою 25 мм; усередині 2 × M.2 NVMe Gen 5 x4 | 12 відсіків (8 × SATA-3 + 4 × NVMe), усередині 1 × M.2 NVMe |
| Живлення | 4 × 3200 Вт CRPS, 3+1, 80 PLUS Titanium | 4 × 2700 Вт CRPS, 3+1, 80 PLUS Platinum |
| Охолодження | 10 вентиляторів 80 мм гарячої заміни, розділені за зонами: 5 на зону GPU і 5 на зону HPM | 16 вентиляторів: 8 внутрішніх і 8 у задній частині |
| TPM | TPM 2.0 розпаяний, апаратний корінь довіри Microchip CEC1736 | Лише роз'єм TPM, модуль — опція |
| Умови експлуатації | 0–35 °C, вологість 8–90 % | 10–35 °C, вологість 8–80 % |
| Шасі | Виробництва Chenbro | Не вказано |
| Призначення за вендором | NVIDIA Omniverse Enterprise, великі цифрові двійники, HPC, інференс і дотренування LLM | Навчання з перенесенням, дотренування, навчання та інференс LLM, ШІ-хмара, HPC |
Різниця між машинами — не в кількості карт, а у зв'язності та класі обв'язки. MGX-версія дає вісім портів по 400 Гбіт/с проти одного на 25, виділений BlueField-3, процесори на покоління новіші, пам'ять на щабель швидша, блоки живлення класом вище і більшої потужності, розпаяний TPM замість опційного. І при цьому вона компактніша: 4U проти 6U і 85,8 см глибини проти 90. Теза «шість юнітів заради повітря» на цьому тлі виглядає слабше: у MGX-платформи вентиляторів менше, десять проти шістнадцяти, але вони розділені за зонами GPU і HPM — за вдвічі меншого об'єму і потужнішого живлення це говорить про більш продуману, а не щедрішу схему охолодження. Шестиюнітова машина лишається осмисленим вибором там, де потрібен автономний вузол дешевше, але обґрунтовувати її тепер доведеться ціною, а не інженерними перевагами.
| Критерій | Референс MGX 4U NV | INNO3D 6U Вендор | Масові 2U Вендор |
|---|---|---|---|
| GPU | 8 | 8 | 2–4 |
| Щільність на стійку | Висока | Низька | Середня |
| Мережа між вузлами | ConnectX-8, до 800 Гбіт/с, BlueField-3 | OCP 25 Гбіт/с | Залежить від конфігурації |
| Топологія PCIe | Комутована фабрика Gen 6 у SuperNIC | Пряме під'єднання, карти 4+4 між сокетами | Пряме під'єднання |
| Тип постачання | Зазвичай готова система | Barebone | Готова система з підтримкою вендора |
| Призначення | Будівельний блок кластера | Самодостатній вузол: інференс, рендер, VDI | Перший крок у прискорені обчислення |
| Обслуговуваність | Щільне компонування | Модульна, запас за об'ємом, гаряча заміна вентиляторів | Стандартна стійкова |
Формулювання для КП: конфігурацію за референсом MGX купують, коли планують рости в кластер. Шестиюнітову платформу купують, коли потрібно багато обчислень в одній машині, і різниця в ціні платформи йде в карти. Якщо в горизонті двох років з'явиться другий сервер і розподілене навантаження, відсутність високошвидкісної мережі стане глухим кутом.
| Вендор | Модель | Формат | GPU | Особливість за даними вендора |
|---|---|---|---|---|
| INNO3D | AGS-4UMGX-R1 | 4U MGX | 8 | ConnectX-8 SuperNIC з 8 портами по 400 Гбіт/с, BlueField-3 в окремому слоті, Xeon 6, 4 × 3200 Вт Titanium, TPM 2.0 розпаяний |
| INNO3D | AGS-6220V2 | 6U | 8 | Barebone, пряме під'єднання без комутатора, OCP 25 Гбіт/с, 4 × 2700 Вт Platinum, 16 вентиляторів |
| Lenovo | ThinkSystem SR650a V4 | 2U | 4 | Карту можна обмежити за живленням до 450 Вт, щоб розмістити чотири штуки в шасі |
| Supermicro | SYS-522GA-NRT, SYS-422GL-NR | 4U / 5U | 8 | Одними з перших упровадили плату MGX PCIe Switch з ConnectX-8 |
| Gigabyte | XL44-SX2-AAS1 | 4U MGX | 8 | Два Xeon 6700/6500, 32 слоти DDR5, БЖ 3+1 по 3200 Вт Titanium, BlueField-3 і 4 × ConnectX-8 |
| ZOTAC | ZRS-MGX-R1 | 4U MGX | 8 | Xeon 6-го покоління, 32 слоти DIMM, 8 портів по 400 Гбіт/с на ConnectX-8, БЖ 3+1 по 3200 Вт |
| ASUS | ESC8000A-E13 | 4U | 8 | На платформі AMD EPYC |
Тепловий бюджет шасі, а не характеристики карти, визначає підсумкову конфігурацію. Показовий приклад у Lenovo: карту можна обмежити за живленням до 450 Вт — саме заради того, щоб поставити в шасі чотири штуки. Це рівно те, для чого NVIDIA й зробила потужність конфігуровною в діапазоні 400–600 Вт. Перш ніж обіцяти замовникові вісім карт, рахується підведена потужність на стійку і здатність залу відвести тепло.
У NVIDIA є власні інструменти: Qualified System Catalog — каталог систем, що пройшли кваліфікацію з конкретним GPU, з фільтром за моделлю карти; програма NVIDIA-Certified Systems; і AI Factory Validated Design як еталон конфігурації. Окреме спостереження для закупівлі: у списку системних партнерів на сторінці RTX PRO Server значаться Cisco, Dell, HPE, Lenovo і Supermicro як провідні, плюс Advantech, ASRock Rack, ASUS, Compal, Eviden, Foxconn, GIGABYTE, Inventec, MiTAC, MSI, Pegatron, QCT, Wistron і Wiwynn. INNO3D у цьому списку немає — попри те, що компанія має платформу у форм-факторі NVIDIA MGX з ConnectX-8 SuperNIC і BlueField-3, тобто таку, що збігається з референсною конфігурацією за складом. Відсутність у переліку партнерів і наявність MGX-продукту — речі сумісні: список не зобов'язаний бути вичерпним. Але висновок від цього не змінюється: підтвердження має надходити з каталогу NVIDIA, а не зі сторінки продукту. Перевіряйте за Qualified System Catalog з фільтром за потрібною картою і запитуйте в дистриб'ютора документальне підтвердження статусу.
AGS-6220V2: чим брати і де не сперечатися
Цей шар зібрано для розмови із замовником. Кожен аргумент подано разом із межею, за якою він перестає працювати: технічний фахівець з боку клієнта знайде ці межі сам, і краще назвати їх першим — це переводить розмову з режиму перевірки в режим спільного добору.
Вісім опорних аргументів
Найдешевший вхід у вісім карт
$121 700 проти $158 210 за MGX-платформу — економія $36 510, майже чверть бюджету. Обидві платформи barebone, тож ціни порівнянні напряму. Ці гроші йдуть у процесори, пам'ять і диски, а не в шасі.
Межа: економія зникає, якщо замовникові потрібна мережа на 400 Гбіт/с — зовнішні адаптери й комутатор з'їдять різницю.
Barebone як свобода
Процесори, пам'ять і NVMe замовник бере за своїми контрактами і своїми цінами. За нинішнього дефіциту DDR5 це реальний важіль: можна поставити пам'ять із власного запасу.
Межа: проти готових серверів аргумент працює, проти MGX-платформ — ні: вони теж постачаються barebone. Не видавайте це за відмінність від AGS-4UMGX-R1.
Два покоління Xeon на вибір
Роз'єм LGA 4677 приймає і 4-те, і 5-те покоління Xeon Scalable. Замовник може використати наявний парк або взяти доступніші моделі. У MGX-платформ на LGA 4710 такої опції немає.
Межа: ліміт 350 Вт на сокет відсікає частину старших SKU.
Дванадцять відсіків замість восьми
8 × SATA плюс 4 × NVMe. Для медіаархівів, теплих даних і датасетів, які не треба читати на швидкості NVMe, SATA у рази дешевший за терабайт.
Межа: під швидкий робочий датасет лишаються лише чотири відсіки NVMe.
Обслуговуваність і запас об'єму
16 вентиляторів гарячої заміни, модульне компонування, вільний доступ усередину. Нижчі вимоги до кваліфікації виїзного інженера, менше простою під час заміни вузлів.
Межа: у колокації з оплатою за юніт 6U обходиться у півтора раза дорожче за 4U.
Пряме під'єднання до CPU
Кожна карта отримує чесні x16, на один хоп ближче до системної пам'яті, простіший прошивковий стек і менше точок відмови. Для восьми незалежних потоків інференсу комутатор не дає нічого.
Межа: карти діляться 4+4 між сокетами, обмін між половинами йде через міжпроцесорну шину.
Запас потужності майже на чверть
8100 Вт корисної потужності за схемою 3+1 за розрахункового споживання близько 6,5 кВт. Є куди рости за процесорами, дисками й майбутніми картами.
Межа: потрібен ввід 200–240 В і роз'єми C19/C20 — у старих стійках це окрема розмова.
Окупність за пів року
Проти AWS на вимогу за цілодобового навантаження машина окупається за 6,2 місяця, а вигіднішою за оренду стає вже за 21,7 % завантаження. Це найсильніший числовий аргумент в арсеналі — див. шар 08.
Межа: за завантаження нижче п'ятої частини часу чесніше рекомендувати хмару.
Задачі, під які машину можна продавати впевнено
| Задача | Чому підходить | Опора в розмові |
|---|---|---|
| Інференс LLM приблизно до 70 млрд параметрів | 96 ГБ і 1597 ГБ/с на карту, нативний FP4 | AWS і Microsoft незалежно одне від одного називають цей поріг межею для однієї карти |
| Багато незалежних моделей і мультитенантність | MIG до чотирьох ізольованих інстансів на карту | До 32 ізольованих інстансів на систему з гарантованою якістю обслуговування — основа для білінгу |
| Агентні сервіси та RAG | Обсяг пам'яті під довгий контекст і KV-кеш | Microsoft прямо називає RAG на моделях до 70B цільовим сценарієм для цієї карти |
| Дотренування наявних моделей | Достатня пам'ять і FP8/BF16 | NVIDIA прямо називає fine-tuning у сценаріях Server Edition — це не натяжка |
| VDI та віртуальні робочі станції | vGPU поверх MIG, поділ часу між ШІ та графікою | У даташиті заявлені VMware ESXi 8.0U1 і Citrix Hypervisor 8.2 — платформа початково розрахована на цей сценарій |
| Рендер, Omniverse, OpenUSD, цифрові двійники | 188 RT-ядер 4-го покоління, пік 355 TFLOPS | Рівно те, чого немає у суто обчислювальних прискорювачів: конкурент на H-серії цей сценарій не закриє |
| Відеоаналітика, транскодування, стримінг | Чотири NVENC і чотири NVDEC на карту | 32 рушії кодування і 32 декодування на систему; підтримка 4:2:2 у H.264 та HEVC |
| Векторний пошук, аналітика, data science | Прискорення через cuVS і стек CUDA-X | NVIDIA заявляє до 50 крат проти процесорної системи на побудові індексів |
| Наукові розрахунки й симуляції на FP32 | 120 TFLOPS FP32 на карту | Один вузол закриває те, що раніше потребувало невеликого кластера |
| Локальний ШІ в регульованих галузях | Дані й моделі не залишають периметр замовника | Порівняння з хмарою в шарі 08 показує, що за постійного завантаження це ще й дешевше |
Задачі, під які продавати цю машину не треба
Список нижче корисніший за попередній. Продана не під ту задачу система повертається разом із репутацією, а вчасно названа межа майже завжди конвертується в іншу позицію з вашого ж портфеля.
| Задача | Чому не підходить | Що запропонувати натомість |
|---|---|---|
| Навчання великих моделей з нуля | У карт немає NVLink, пам'ять не збирається в спільний пул. Навчання поза заявленими NVIDIA сценаріями для обох карт RTX PRO | Платформи з NVLink на H- або B-серії, або оренда потужностей на час навчання |
| Розподілене навчання та інференс на кількох вузлах | Мережа — один модуль OCP на 25 Гбіт/с. Для міжвузлового обміну цього бракує на порядок | INNO3D AGS-4UMGX-R1: вісім портів по 400 Гбіт/с на ConnectX-8 плюс BlueField-3 |
| Тензорний паралелізм на всіх восьми картах із жорстким SLA | 128 ліній на два сокети означають поділ карт 4+4; обмін між половинами йде через міжпроцесорну шину | AGS-4UMGX-R1 з комутованою фабрикою PCIe Gen 6 усередині SuperNIC |
| Доступ до сховища через GPUDirect Storage і RDMA по фабриці | Немає DPU: розвантажувати мережу й доступ до даних нічим | AGS-4UMGX-R1 з BlueField-3 у виділеному слоті |
| Щільне розміщення в колокації з оплатою за юніт | 6U на вісім карт проти 4U у MGX — на 50 % більша плата за місце за тієї самої обчислювальної потужності | AGS-4UMGX-R1 або конфігурація MGX 2U на восьми RTX PRO 4500 SE |
| Тендер з обов'язковим TPM 2.0 | На платі лише роз'єм з інтерфейсом SPI, сам модуль — опція | Дозамовити модуль або запропонувати AGS-4UMGX-R1, де TPM 2.0 розпаяний разом із коренем довіри Microchip CEC1736 |
| Конвеєри з великими датасетами на швидких дисках | Лише чотири відсіки NVMe з дванадцяти; внутрішній M.2 один | AGS-4UMGX-R1 з вісьмома E1.S, або зовнішнє сховище |
| Вимога конфіденційних обчислень | NVIDIA вказує підтримку в специфікації RTX PRO 4500 SE; для 6000 SE такого рядка немає | Конфігурація MGX 2U на RTX PRO 4500 SE — там це заявлено офіційно |
| Важкий препроцесинг даних на процесорах | Xeon 4-го і 5-го покоління з лімітом 350 Вт, пам'ять 5600 MT/s за 1DPC | AGS-4UMGX-R1 на Xeon 6 з пам'яттю 6400 MT/s |
| Розміщення на периферії з нестабільним кліматом | Робочий діапазон 10–35 °C, вологість до 80 % без конденсату | Спеціалізовані периферійні платформи; або доопрацювання приміщення |
| Стійка глибиною менш ніж 950 мм | Шасі 900 мм плюс кабель-менеджмент фізично не вміщується | AGS-4UMGX-R1 глибиною 858 мм |
З одинадцяти непридатних сценаріїв сім закриваються іншою машиною з вашого ж портфеля. Правильна реакція на «нам потрібне розподілене навантаження» або «у нас колокація з оплатою за юніт» — не захист 6220V2, а перехід до AGS-4UMGX-R1. Угода при цьому стає більшою: MGX-платформа дорожча на 30 %. Продавати треба портфель, а не одну позицію.
Заперечення, які прозвучать, і чесні відповіді
| Заперечення | Чесна відповідь |
|---|---|
| «Чому не ігрові карти, вони дешевші» | Пасивне охолодження під продув шасі, ECC, MIG і vGPU, конфігуровна потужність 400–600 Вт під тепловий бюджет, сертифікація системи. Ігрова карта дешевша в закупівлі й дорожча у володінні: не ділиться між користувачами і не входить до підтримуваної конфігурації |
| «У конкурента ті самі вісім карт у 4U, а у вас 6U» | Погодитися прямо. Наші переваги тут — ціна, обслуговуваність і вдвічі більше відсіків сховища. Якщо для замовника важливіші щільність і мережа, запропонувати AGS-4UMGX-R1: це теж наша машина |
| «INNO3D немає у списку системних партнерів на сторінці NVIDIA» | Визнати. Перелік на сторінці продукту не є вичерпним, і в нас є платформа у форм-факторі MGX з ConnectX-8 і BlueField-3. Запропонувати перевірку в NVIDIA Qualified System Catalog і запитати письмове підтвердження статусу через дистриб'ютора — це знімає питання документально, а не на словах |
| «Це barebone, нам потрібен готовий сервер» | Перелічити відсутні позиції одразу: два процесори, пам'ять, накопичувачі. Запропонувати інтеграцію й назвати терміни. Заразом пояснити, що за дефіциту пам'яті самостійна закупівля часто виграє і за ціною, і за термінами |
| «Дорого» | Перевести з ціни у вартість володіння. Проти AWS на вимогу окупність 6,2 місяця за цілодобового завантаження, вигода починається вже з 21,7 % завантаження. Запитати, скільки годин на добу карти будуть реально зайняті — це питання вирішує угоду сильніше, ніж знижка |
| «Візьмемо у хмарі» | Погодитися для пілота і для піків — це чесно й зміцнює довіру. Потім показати поріг: вище приблизно чверті завантаження купівля дешевша. Оптимальна схема — купити під базове навантаження й добирати піки у хмарі |
| «Нам треба навчати свої моделі» | Уточнити: навчання з нуля чи дотренування. Fine-tuning NVIDIA прямо називає у сценаріях Server Edition, і тут машина доречна. Навчання з нуля — не наш сценарій, і краще сказати це одразу |
Кожне з них перевіряється за хвилину й коштує довіри до всієї решти пропозиції. Не казати «768 ГБ під одну модель» — пам'ять не пулиться, це вісім незалежних за пам'яттю карт. Не згадувати NVLink — у специфікаціях обох карт указано лише PCI Express. Не обіцяти статус NVIDIA-Certified до перевірки конкретної конфігурації в каталозі. І не переносити прирости в 50 та 100 разів на цю машину: вони отримані на сервері з вісьмома RTX PRO 4500 SE у порівнянні з процесорною системою, а не на 6000 SE і не проти іншого GPU.
Добір конфігурації
Головна помилка під час добору — рахувати терафлопси. Для інференсу первинний обсяг відеопам'яті: якщо ваги моделі не вміщуються в пам'ять GPU цілком, система йде в системну оперативну пам'ять, і швидкість падає радикально.
| Задача замовника | Карта | Платформа | Що перевірити |
|---|---|---|---|
| Інференс LLM приблизно до 70 млрд параметрів | 6000 SE | 2U на дві карти | І AWS, і Microsoft називають цей поріг межею для однієї карти. Уточнити довжину контексту й обсяг KV-кешу |
| Інференс більших моделей | 6000 SE | 4U або 6U на вісім карт | Тензорний паралелізм; пам'ятати про втрати на PCIe через відсутність NVLink |
| Багато невеликих моделей | 4500 SE | MGX 2U на вісім карт | Рахувати за щільністю на слот і кількістю паралельних потоків, а не за сумарними TFLOPS |
| Відеоаналітика, транскодування | 4500 SE | MGX 2U, периферійні шасі | Три блоки NVENC і три NVDEC на карту — ключовий параметр, а не CUDA-ядра |
| Обробка даних, векторний пошук | 4500 SE | MGX 2U на вісім карт | NVIDIA заявляє до 50 крат проти CPU на побудові векторних індексів |
| Віртуальні робочі станції | Обидві | 2U або 4U | Ліцензії vGPU і кількість інстансів MIG: чотири у старшої карти, два у молодшої |
| Рендер, Omniverse, симуляції | 6000 SE | MGX 4U або 6U | RT-ядра обов'язкові; пік RT у старшої карти вдвічі вищий |
| Дотренування наявних моделей | 6000 SE | 4U або 6U | Fine-tuning прямо названо NVIDIA у сценаріях Server Edition |
| Пілот без капітальних витрат | 6000 SE | AWS G7e, Azure NCv6, Google Cloud G4 | Див. шар 08 |
| Навчання великих моделей з нуля | Поза заявленими сценаріями обох карт. Інтерконектом указано лише PCI Express, рядка NVLink немає | ||
Чек-лист питань перед підготовкою специфікації
- Які моделі й у якій точності запускаються? Звідси потрібний обсяг VRAM; поріг близько 70 млрд параметрів у FP8 — межа для однієї старшої карти.
- Довжина контексту й кількість одночасних сесій? Звідси обсяг KV-кешу, який часто й визначає вибір.
- Навчання чи лише інференс? Якщо дотренування займає малу частину часу, залізо добирається під інференс, а важкі задачі орендуються.
- Чи потрібна графіка й трасування променів? Якщо так — альтернатив RTX PRO у цьому бюджеті практично немає.
- Скільки незалежних споживачів? Чотири інстанси MIG у 6000 SE проти двох по 16 ГБ у 4500 SE.
- Скільки кіловат підведено до стійки і як відводиться тепло? Це обмеження найчастіше й скорочує конфігурацію.
- Повітря чи рідина? У 6000 SE це різні форм-фактори: два слоти проти одного слота FHXL.
- Чи планується другий сервер? Тоді мережа обирається одразу: 25GbE достатньо для одиничної машини і стає глухим кутом для розподіленого навантаження.
- Готова система чи barebone? Від цього залежить кількість позицій у КП і терміни постачання.
Економіка і ринок
Почати доведеться із застереження: NVIDIA не публікує цін на ці продукти. Будь-які цифри ціни в оглядах — оцінки третіх сторін, і в цьому довіднику їх немає. Ціна запитується у партнера або через NVIDIA Marketplace. Натомість порівнянну економіку можна побудувати за документацією хмарних провайдерів.
| Платформа | Конфігурація | Особливості |
|---|---|---|
| AWS EC2 G7e | До 8 карт, сумарно до 768 ГБ пам'яті GPU, процесори Intel Emerald Rapids, до 192 vCPU, до 2048 ГіБ системної пам'яті, до 15,2 ТБ локального NVMe, до 1600 Гбіт/с мережі через EFA | До 2,3 × продуктивності інференсу відносно G6e. GPUDirect P2P між картами по PCIe, GPUDirect RDMA поверх EFA, GPUDirect Storage з FSx for Lustre. За даними AWS, одна карта тягне модель на 70 млрд параметрів у FP8 |
| Azure NC RTX PRO 6000 BSE v6 | Хост на Intel Granite Rapids із частотою всіх ядер до 4,2 ГГц; дробові й повні конфігурації на основі MIG | Карти пробрасуються через SR-IOV, що обмежує збір частини телеметрії GPU. Підтримка AKS. Цільові сценарії: цифрові двійники та Omniverse, інференс і RAG до 70 млрд параметрів, рендер, VDI на RTX Virtual Workstation, наукова візуалізація на FP32 |
| Google Cloud G4 | Дробові віртуальні машини з профілями vGPU на 12, 24, 48 і 96 ГБ | За даними технічного блогу NVIDIA, профілі розраховані на сценарії від стримінгу до високоточного 3D-рендеру й симуляції сенсорів робототехніки |
Три моделі споживання, між якими обирає замовник
Купівля сервера
Виправдана за постійного завантаження 24/7, вимог до локалізації даних і передбачуваного горизонту експлуатації. Дає контроль над даними й фіксовану вартість.
Оренда виділеного сервера
Компроміс: немає капітальних витрат, але конфігурація фіксована. Профілі MIG дозволяють провайдерові продавати частки карти, а замовникові — брати рівно потрібний обсяг пам'яті.
Публічна хмара
Карта доступна у трьох гіперскейлерів. Годиться для піків, тестів і пілота перед закупівлею; за постійного навантаження зазвичай дорожча за власне залізо.
Що рахувати в TCO
Вартість карт, ліцензії AI Enterprise і vGPU, електроенергія й охолодження (вісім старших карт — до 4,8 кВт лише на GPU проти 1,3 кВт у восьми молодших), місце в стійці, підтримка вендора, вартість простою. Щільність на слот у 4500 SE часто виграє за TCO там, де 6000 SE виграє за піковою продуктивністю.
Вендор Провайдер Розрахунок на конкретних цифрах
Модель нижче побудована на реальній ціні платформи й перевірюваних тарифах. Усі припущення винесено в таблицю — змінюючи їх, ви отримуєте свою відповідь, а не чужу.
| Позиція | AGS-6220V2 · 6U | AGS-4UMGX-R1 · MGX |
|---|---|---|
| Процесори | Немає | Немає, значаться як опція конфігурації |
| Пам'ять | Немає | Немає, значиться як опція конфігурації |
| Накопичувачі | Немає | Немає, внутрішній і фронтальні значаться як опції |
| Блоки живлення | 4 передвстановлені | 4 передвстановлені |
| Вентилятори | 16 | 10 передвстановлених |
| Радіатори й рамки процесорів | 2 радіатори з кріпленням | 2 радіатори і 4 рамки |
| Рейки для стійки | Є | Є, L-подібні |
| Мережевий модуль | 25 Гбіт/с OCP передвстановлений | ConnectX-8 значиться в характеристиках; в описі комплектації окремим рядком немає — уточнювати |
| DPU | Немає | BlueField-3 значиться в характеристиках; в описі комплектації окремим рядком немає — уточнювати |
| Ключ RAID | Intel VROC передвстановлений | Не вказано |
| Кабелі живлення | 4 × C19–C20 | Не вказані |
Головне, що знімає часте питання: barebone обидві платформи. Пам'ять і накопичувачі докуповуються в будь-якому разі, тому порівняння цін $121 700 проти $158 210 коректне — обидві цифри на однаковій базі. Дрібні позиції при цьому на користь 6U: мережевий модуль, ключ VROC і кабелі живлення там уже в коробці.
| Параметр | Значення | Походження |
|---|---|---|
| Платформа 6U з 8 × RTX PRO 6000 SE, barebone | $121 700 | Комерційна пропозиція. Конкурентні 6U прийнято за тією самою ціною |
| Платформа MGX 4U з 8 картами, barebone | $158 210 | Прийнято +30 % до ціни 6U. Теж без процесорів, пам'яті й накопичувачів — див. таблицю 16 |
| Доукомплектування 6U: 2 × Xeon 4-го або 5-го пок., 1 ТБ DDR5, NVMe | ≈ $20 000 | Оцінка. Уточнюється в постачальника |
| Доукомплектування MGX 4U: 2 × Xeon 6, 1 ТБ DDR5 або MRDIMM, E1.S | ≈ $25 000 | Оцінка. Дорожче з трьох причин: процесори під LGA 4710, пам'ять на 6400 MT/s і накопичувачі E1.S датацентрового класу |
| Якщо замовникові потрібен обсяг холодних даних | розрив зростає | У 6U вісім відсіків SATA — найдешевші терабайти. У MGX лише E1.S. За вимоги в десятки терабайт різниця в доукомплектуванні легко подвоюється |
| Споживання системи | 6,0 кВт | 8 × 600 Вт GPU + 2 × 350 Вт CPU + 0,5 кВт на пам'ять, диски й вентилятори |
| ККД блоків живлення | 94 % / 96 % | 80 PLUS Platinum у 6U, Titanium у MGX 4U — за даташитами |
| PUE машинного залу | 1,4 | Припущення. Для сучасного ЦОД буває нижче |
| Електроенергія | $0,20 / кВт·год | Припущення. Чутливість показано нижче |
| AWS g7e.48xlarge, 8 карт, на вимогу | $33,14 / год | us-east-1. Збігається у чотирьох незалежних агрегаторів цін AWS; перевіряйте в калькуляторі AWS |
| AWS g7e.48xlarge, spot | від $12,78 / год | Мінімальна ціна, залежить від зони доступності й ризику витіснення |
| Горизонт розрахунку | 3 роки | Припущення |
| Не включено | Ліцензії NVIDIA AI Enterprise і vGPU, розширена підтримка вендора, стійко-місце або колокація, комутатори й оптика поза сервером, персонал, трафік. У AWS окремо тарифікується вихідний трафік | |
| Стаття | 6U (INNO3D і конкуренти) | MGX 4U | AWS на вимогу | AWS spot |
|---|---|---|---|---|
| Капітальні витрати | $141 700 | $183 210 | — | — |
| Електроенергія за рік | $15 656 | $15 330 | включено | включено |
| Разом за 3 роки за завантаження 24/7 | $188 669 | $229 200 | $871 032 | $335 803 |
| Вартість GPU-години за 100 % завантаження | $0,90 | $1,09 | $4,14 | $1,60 |
| Вартість GPU-години за 50 % завантаження | $1,79 | $2,18 | $4,14 | $1,60 |
| Окупність проти ціни на вимогу за 24/7 | 6,2 місяця | 8,0 місяців | — | — |
Ключова асиметрія: у власного заліза витрати майже цілком постійні, у хмари — майже цілком змінні. Тому хмара не дорожча «взагалі», вона дорожча за високого завантаження. Рядок із вартістю GPU-години за 50 % це показує: у власної машини вона подвоюється, у хмари лишається незмінною.
| Сценарій | 6U | MGX 4U |
|---|---|---|
| Поріг завантаження проти ціни на вимогу | 21,7 % | 26,3 % |
| Поріг завантаження проти spot | 56,2 % | 68,3 % |
| У годинах за 3 роки проти ціни на вимогу | 5 692 з 26 280 | 6 915 з 26 280 |
| За електроенергії $0,10 / кВт·год | поріг 19,0 % | — |
| За електроенергії $0,30 / кВт·год | поріг 24,4 % | — |
Два останні рядки показують, що ціна електроенергії впливає на підсумок помітно слабше за завантаження: потроєння тарифу зсуває поріг лише на п'ять відсоткових пунктів. Перше питання замовникові — не «скільки у вас коштує кіловат-година», а «скільки годин на добу карти будуть реально зайняті».
Перший. Якщо карти завантажені більш ніж чверть часу, купівля дешевша за оренду на вимогу, а за цілодобового завантаження машина окупається приблизно за пів року. Проти spot-цін поріг помітно вищий — близько 56 %, — але spot не дає гарантії доступності й не годиться під продакшн. Другий. Хмара виграє у трьох ситуаціях: пілот до закупівлі, пікові навантаження поверх власного парку і проєкти коротші за рік. Розумна схема — купити під базове навантаження й добирати піки у хмарі. Третій. Різниця між 6U і MGX 4U у порозі завантаження — менш ніж п'ять відсоткових пунктів. Якщо замовник усе одно проходить за завантаженням, вибір між платформами визначається не грошима, а тим, чи потрібна йому мережа для росту в кластер.
Корисна арифметика для розмови, але вести її треба акуратно. Вісім карт за ціною маркетплейсу NVIDIA — це $106 000. Отже, у шестиюнітовій платформі на саме шасі припадає близько $15 700, а в MGX 4U — близько $52 210. Премія становить $36 510.
Що в неї входить. Шасі у форм-факторі MGX 4U, материнська плата під Xeon 6 на роз'ємі LGA 4710 з пам'яттю до 6400 MT/s, блоки живлення класу Titanium на 3200 Вт замість Platinum на 2700, вісім портів по 400 Гбіт/с на ConnectX-8 і виділений BlueField-3. У перерахунку на порт — близько $4 560 за кожні 400 Гбіт/с, і це до того, як замовник купить комутатор.
Чого в неї не входить — важлива поправка. Самі процесори Xeon 6 премією не покриваються: їх немає в жодному з двох постачань. Премія покриває плату, що приймає Xeon 6, а процесори купуються окремо і на MGX обійдуться дорожче, ніж Xeon 4-го чи 5-го покоління на 6220V2. Це додається до різниці, а не входить у неї.
Що обов'язково підтвердити письмово. В описі комплектації AGS-4UMGX-R1 ні ConnectX-8, ні BlueField-3 не перелічені окремим рядком: вони фігурують лише в рядках характеристик формулюванням «Configured with». Читається як «входить у сконфігуровану систему», але за різниці в $36 510 це треба отримати від постачальника в письмовому вигляді. Пряме питання: чи входять плата ConnectX-8 SuperNIC і модуль BlueField-3 у ціну AGS-4UMGX-R1, чи тарифікуються окремо. Якщо окремо — уся арифметика вище розсипається і порівняння треба будувати заново.
Чого премія точно не відбиває. Енергоефективність: перехід з Platinum на Titanium заощаджує $326 на рік, тобто близько $980 за три роки — 2,7 % від премії. Titanium треба продавати як тепловий запас і надійність, а не як економію на рахунках.
За даними NVIDIA, модель Llama Nemotron Super у форматі NVFP4 на одній RTX PRO 6000 дає до трикратного виграшу за співвідношенням ціни й продуктивності відносно FP8 на H100. Це розворот звичної логіки: дешевша універсальна карта виявляється вигіднішою за флагманський прискорювач на інференсі — за умови, що модель уміщується в пам'ять. Опосередковано це підтверджує й ринок: AWS незалежно виміряла до 2,3 крат приросту інференсу на інстансах G7e відносно попереднього покоління на L40S.
Куди йти далі
NVIDIA Джерело всіх даних про карти й технології
- RTX PRO 6000 Blackwell Server Edition · RTX PRO 4500 Blackwell Server Edition — специфікації та заяви про продуктивність.
- Сімейство RTX PRO 6000 Blackwell — порівняльна таблиця трьох редакцій, джерело даних для таблиці 3.
- RTX PRO Server — чотири референсні конфігурації, мережеві технології, список системних партнерів.
- Даташити: 6000 SE · 4500 SE · RTX PRO Server · Data Center GPU Line Card.
- MGX · Multi-Instance GPU · Віртуалізація GPU · ConnectX-8 SuperNIC · BlueField-3 · Spectrum-X.
- Технічний блог про 4500 SE і vGPU 20 · Пресреліз про сервери RTX PRO.
- Інструменти перевірки: Qualified System Catalog · NVIDIA-Certified Systems · AI Factory Validated Design · NVIDIA Marketplace.
- Результати MLPerf — незалежно верифіковані тести.
Вендори Джерело всіх даних про сервери
- INNO3D AGS-4UMGX-R1 і даташит у PDF — платформа MGX 4U.
- INNO3D AGS-6220V2 і даташит у PDF — платформа 6U.
- Lenovo Press: 6000 SE у ThinkSystem і 4500 SE — матриці сумісності й обмеження потужності слота.
- Gigabyte: рішення RTX PRO · ZOTAC ZRS-MGX-R1 · Supermicro: портфель систем.
Провайдери Джерело даних про хмару
Додаткове читання не джерело цифр
Матеріали нижче зручні для першого знайомства з темою рідною мовою, але цифри в них слід звіряти з першоджерелами вище — саме розбіжності в цих публікаціях стали причиною переробки довідника.
- UAAlfa-Server — огляд RTX PRO 4500 SE з рекомендованою конфігурацією сервера.
- UAAlfa-Server — огляд лінійки RTX PRO Blackwell.
- ENServeTheHome — PCIe GPU in Server Guide, еталонний розбір платформ; їхній YouTube-канал — найкраще відео на тему.
- ENigor'sLAB про 4500 SE — пояснює, навіщо ця карта існує: щільність стійки, вати й TCO.
- RUCytrix — RTX PRO 6000 Server Edition, найбільш «серверний» із російськомовних розборів.
Глосарій
| Термін | Розшифрування | Значення |
|---|---|---|
| MIG | Multi-Instance GPU | Апаратний поділ карти на ізольовані GPU з гарантованою якістю обслуговування |
| vGPU | Virtual GPU | Віртуалізація GPU для VDI; застосовуються ліцензії vWS і vPC |
| MGX | NVIDIA MGX | Модульний референс-дизайн серверної платформи |
| SuperNIC | ConnectX-8 SuperNIC | Мережевий адаптер із 48-смуговим комутатором PCIe Gen 6 |
| DPU | Data Processing Unit | BlueField-3: розвантаження мережі, доступу до даних і захисту з процесора |
| GPUDirect P2P | Peer to Peer | Прямий обмін між GPU по PCIe без участі системної пам'яті |
| SR-IOV | Single Root I/O Virtualization | Спосіб пробросу пристрою у віртуальні машини; застосовується в Azure NCv6 |
| FP4 / NVFP4 | Чотирибітний формат | Формат обчислень, що вчетверо ущільнює ваги відносно FP16 |
| NVENC / NVDEC | Encoder / Decoder | Апаратні блоки кодування й декодування відео |
| KV-кеш | Key-Value cache | Пам'ять під контекст діалогу; часто визначає реальну витрату VRAM |
| FHFL / FHXL | Full Height Full Length / Extra Length | Повнорозмірна плата та її подовжений варіант для рідинної версії |
| Barebone | — | Платформа без процесорів, пам'яті й накопичувачів |
| Headless | — | Робота без під'єднаного монітора |