SK hynix показала HBF, PIM і SALT-KV: нові рівні пам’яті для AI-інференсу

SK hynix на конференції AI Infra Summit 2026 представила три підходи до проблеми переміщення даних у системах штучного інтелекту: пам’ять HBF, обчислення PIM та програмно-апаратне керування KV-кешем SALT-KV. Компанія вважає, що традиційної зв’язки GPU з дорогою HBM уже недостатньо для різноманітних сценаріїв інференсу, особливо коли агенти працюють із довгим контекстом і накопичують великий обсяг проміжних даних.

HBF розшифровується як High Bandwidth Flash. Це багатошарова NAND-пам’ять, у якій для вертикального з’єднання кристалів використовується технологія TSV, знайома за HBM. Ідея полягає у створенні нового рівня між надзвичайно швидкою, але дорогою та обмеженою за місткістю HBM і значно повільнішими SSD великого обсягу. Для довгих контекстів моделі та великих баз знань такий проміжний шар може зменшити кількість звернень до накопичувача.

HBF не слід плутати з прямою заміною оперативної пам’яті. NAND зберігає дані інакше, має інші затримки та обмежений ресурс запису. SK hynix поки показала концепцію й структурну модель, а не готовий масовий продукт із підтвердженими характеристиками. Ключовими для практичного використання стануть реальна пропускна здатність, енергоспоживання, довговічність, вартість одного терабайта та програмна підтримка в AI-фреймворках.

PIM, або Processing-In-Memory, переносить частину обчислень ближче до даних. На стенді демонстрували чип AiM, прискорювальну карту AiMX та сервер із такою картою. Коли прості операції виконуються всередині або поруч із пам’яттю, менше інформації доводиться передавати до центрального прискорювача й назад. Це потенційно послаблює «стіну пам’яті» — ситуацію, коли швидкий GPU простоює через недостатню швидкість доставлення даних — і знижує витрати енергії на пересилання.

SALT-KV працює на іншому рівні. Рішення розділяє KV-кеш мовної моделі на сегменти, оцінює ймовірність їх повторного використання та вартість зберігання, після чого розміщує дані між HBM, DRAM і SSD. KV-кеш містить уже обчислені ключі й значення для попередніх токенів; із подовженням діалогу його обсяг швидко зростає. Якщо рідко потрібні фрагменти можна перенести на дешевший рівень без критичної затримки, той самий сервер зможе обслуговувати більше довгих сесій.

Усі показані результати та оцінки походять від самого виробника, тому їх потрібно підтвердити незалежними тестами на реальних моделях. Ефект залежатиме від структури запитів, довжини контексту, частоти повторного використання кешу й якості планувальника. Важливо, що SK hynix говорить уже не про одну «найшвидшу пам’ять», а про ієрархію з кількох технологій. Для користувачів це може означати дешевший і енергоефективніший AI-інференс, але лише після стандартизації інтерфейсів і появи серійних продуктів.