Вузьке місце ШІ зміщується від GPU до пам’яті: SK hynix пояснила нову архітектуру

У великих системах штучного інтелекту продуктивність дедалі менше визначається лише кількістю обчислювальних блоків GPU. Професор ETH Zurich Онур Мутлу у матеріалі для SK hynix пояснив, що основним обмеженням стає переміщення ваг моделі, KV-кешу та проміжних результатів між пам’яттю й прискорювачами. Чим довше модель міркує та чим більше контексту тримає, тим частіше вона чекає на дані замість виконання арифметики.

Чому передавання даних дороге

У традиційній процесороцентричній системі інформація проходить через накопичувач, оперативну пам’ять, кілька рівнів кешу й лише потім потрапляє до обчислювального блока. Після операції результат часто рухається у зворотному напрямку. Складні механізми передвибірки, позачергового виконання й багатопотоковості приховують затримку, але самі займають площу кристала та споживають енергію.

Для LLM проблема особливо відчутна під час інференсу. Кожен новий токен потребує доступу до ваг і даних попереднього контексту. KV-кеш зростає разом із довжиною діалогу, а агент може робити багато послідовних кроків. Якщо пропускна здатність пам’яті не встигає, додаткові терафлопси прискорювача простоюють.

HBM допомагає, але не вирішує все

High Bandwidth Memory розміщується поруч із GPU і передає значно більше даних за секунду, ніж звичайні модулі серверної пам’яті. Саме тому HBM стала стратегічним компонентом AI-прискорювачів. Проте локальної HBM завжди обмежена кількість, а великі моделі та багато одночасних користувачів швидко заповнюють її.

Система повинна узгоджувати HBM, звичайну DRAM, SSD, мережу й зв’язки між прискорювачами. Якщо будь-який відрізок повільний, теоретична швидкість найдорожчого GPU не перетворюється на реальну продуктивність. Тому правильніше оцінювати весь шлях даних, а не одну цифру пропускної здатності на специфікації.

CXL, NVLink і спільні пули

CXL дає змогу підключати розширювачі пам’яті та створювати пули, якими можуть користуватися різні процесори й прискорювачі. Сервер із вільною ємністю не обов’язково повинен залишати її невикористаною, коли сусідньому вузлу бракує ресурсів. Такий поділ корисний для навантажень із великим KV-кешем, але доступ через зв’язок повільніший за локальну HBM і потребує розумного розподілу.

NVLink та NVSwitch виконують інше завдання: вони забезпечують швидкий обмін між GPU у вузлі або кластері. При розподілі моделі параметри, активації й частини кешу постійно переходять між прискорювачами. Навіть дуже швидкі окремі GPU не масштабуються, якщо мережа змушує їх чекати один на одного.

Обчислення ближче до даних

Memory-centric computing змінює базову логіку: замість постійно переносити великі масиви до центрального процесора, частину операцій виконують біля пам’яті. Як приклад наведено дослідницьку архітектуру Tesseract для графових задач. Розподілені прискорювачі обробляли локальні дані й обмінювалися лише необхідними результатами, що дало приблизно порядок приросту продуктивності й подібне зменшення енергоспоживання у відповідних експериментах.

Це не універсальна обіцянка прискорення будь-якого ШІ у десять разів. Результати стосуються конкретних дослідницьких навантажень та архітектур. Програмне забезпечення потрібно перебудовувати так, щоб операції справді виконувалися локально, а витрати на координацію не перевищували вигоду від меншого руху даних.

Дезагрегована інфраструктура

Інший напрям — відокремити CPU, GPU, пам’ять і сховище у спільні ресурси та збирати конфігурацію під задачу. Модель із великим контекстом може отримати більше ємності, а навантаження з високою інтенсивністю обчислень — більше прискорювачів. Це підвищує використання дорогого обладнання, проте збільшує вимоги до мережі, оркестрації та ізоляції даних.

У матеріалі також згадані експерименти з виконанням бітових операцій усередині наявних DRAM-чипів шляхом особливого керування рядками. Такі дослідження демонструють фізичну можливість processing-in-memory, але не означають, що звичайний модуль DDR5 завтра стане повноцінним процесором. Потрібні стандарти, контролери, компілятори та механізми виправлення помилок.

Що це означає для ринку

SK hynix зацікавлена у зростанні ролі пам’яті як один із найбільших виробників HBM та DRAM, тому матеріал слід читати з урахуванням комерційного контексту. Автор окремо зазначає, що викладені погляди є його власними. Водночас описане вузьке місце підтверджується практикою: ємність і пропускна здатність пам’яті вже визначають, яку модель можна запустити локально та скільки користувачів обслужить сервер.

Для покупця споживчої відеокарти висновок простий: більше TOPS або терафлопсів не гарантує кращої роботи з ШІ, якщо бракує VRAM або її пропускної здатності. Для датацентру вибір ще складніший — потрібно рахувати HBM, мережу, енергію та вартість простою прискорювачів. Наступний етап конкуренції відбуватиметься не тільки між GPU, а між цілими архітектурами руху даних.