RTX PRO 4500 Edge у тесті: у 2,7 раза швидша за NVIDIA L4 в тому самому сервері

StorageReview протестувала серверну NVIDIA RTX PRO 4500 Blackwell у компактному HPE ProLiant DL145 Gen11 та порівняла її з L4 у тій самій системі. Це важлива умова: однакові процесори, пам’ять і охолодження дозволяють оцінити саме заміну прискорювача. У двох невеликих BF16-моделях нова карта в середньому забезпечила у 2,7 раза більшу швидкість видачі токенів.

RTX PRO 4500 Server Edition — пасивна однослотова карта повної висоти й довжини з PCIe Gen5, 32 ГБ GDDR7 та лімітом потужності 165 Вт. Вона має 10 496 CUDA-ядер, пропускну здатність пам’яті 800 ГБ/с, FP4 Tensor Cores і підтримку MIG із двома ізольованими екземплярами по 16 ГБ. На відміну від робочої станції, серверна версія не має відеовиходів і вентилятора, зате підтримує vGPU та конфіденційні обчислення.

Попередня L4 значно компактніша й економніша: 24 ГБ GDDR6, 300 ГБ/с, половинна висота та довжина, ліміт 72 Вт. Тому заміна не завжди механічно проста. Для RTX PRO 4500 потрібні повнорозмірний райзер і 16-контактне живлення. Сам факт одного слота не гарантує сумісності зі старим edge-сервером, а пасивне охолодження вимагає правильно спроєктованого повітряного потоку.

У практичному тесті нова карта втримувала час до першого токена нижче секунди за навантажень, де L4 вже створювала чергу. За короткого діалогу RTX PRO 4500 могла обслуговувати до 256 одночасних сесій, тоді як L4 частіше залишалася в діапазоні 32–64. Швидкість генерації для одного користувача зросла приблизно у 2,8 раза. Це помітно не лише в графіку, а й у відчутті відповіді інтерактивного сервісу.

Продуктивність має енергетичну ціну. Під навантаженням споживання всього DL145 зросло приблизно зі 196 до 301 Вт, а потужність самої карти — у 2,3 раза. Водночас на один згенерований токен RTX PRO 4500 виявилася у 1,3–1,4 раза ефективнішою на рівні GPU та приблизно у 1,9 раза — на рівні всього сервера. Фіксоване споживання CPU, пам’яті й вентиляторів робить швидшу карту вигіднішою для завершеної роботи.

Завдяки FP4 і 32 ГБ пам’яті прискорювач також запустив Gemma 4 26B-A4B, яку L4 не може виконувати нативно в такому режимі. На короткому контексті RTX PRO 4500 видала 647 токенів за секунду при 8 сесіях, 1613 при 32 і 4607 при 256. Але довгий контекст заповнює пам’ять: при 256 користувачах час до першого токена зріс до 62 секунд, тоді як 96-ГБ RTX PRO 6000 утримувала близько 560 мс.

Результат не слід перетворювати на універсальний рейтинг AI-карт. Перевірено один сервер, три відносно невеликі моделі та конкретні форми запитів. Для закупівлі треба враховувати ціну, доступність, довжину контексту, потрібну точність, віртуалізацію й ліміт живлення майданчика. Але для власника DL145 з L4 тест дає чіткий орієнтир: RTX PRO 4500 помітно збільшує щільність і швидкість інференсу, якщо шасі має потрібний райзер, живлення та охолодження.