NVIDIA запропонувала апаратний «аварійний вимикач» для автономних AI-агентів

NVIDIA представила Open Agent Safety Platform — набір відкритих і апаратних засобів для контролю автономних AI-агентів. Йдеться про програми, які не лише формують текст, а й самостійно викликають інструменти, працюють із файлами, базами даних, корпоративними API або фізичним обладнанням. Чим ширші їхні повноваження, тим дорожчою може бути помилка або зловмисна інструкція, тому компанія пропонує винести частину контролю за межі самого агента.

Перший компонент, OpenShell, описується як відкритий захищений runtime. Він створює межу між моделлю та ресурсами, фіксує дії, перевіряє політики доступу й дозволяє обмежити інструменти, мережеві адреси або дані, до яких може звертатися агент. NVIDIA оптимізує OpenShell для процесорів Vera, але заявляє можливість роботи і на платформах Arm та Intel. Відкритий код важливий для аудиту, однак реальний рівень безпеки залежатиме від конфігурації, оновлень і якості інтеграції.

Другий елемент — еталонна архітектура Sentry на DPU BlueField-4. Такий контролер функціонує окремо від головного CPU та операційної системи. Якщо агент або навіть хостова ОС скомпрометовані, Sentry має зберегти незалежний канал спостереження й примусового виконання правил. За заявою NVIDIA, система здатна помітити небезпечну поведінку та ізолювати агентне середовище за мілісекунди. Це схоже на апаратний наглядовий контур, який не покладається на добровільне виконання команди самим агентом.

Програмний стек DOCA на DPU може перевіряти запити й відповіді, підтверджувати цілісність середовища, керувати ідентичністю та застосовувати принцип нульової довіри до доступу до даних, інструментів і API. У практичному сценарії агент отримує лише короткочасний дозвіл на конкретну дію, а спроба вийти за межі політики блокується незалежним рівнем. Це не усуває помилкові відповіді моделі, але зменшує радіус наслідків.

NVIDIA повідомляє про підтримку понад ста партнерів — від виробників серверів і мережевого обладнання до постачальників моделей та кібербезпеки. Великий список логотипів не означає, що всі продукти вже інтегровані або сертифіковані однаково. Частина компаній може лише тестувати підхід чи підтримувати майбутній стандарт. Показники швидкості реакції, навантаження та стійкості до атак поки походять від розробника і потребують незалежної перевірки.

Апаратна ізоляція також має ціну. BlueField додає вартість, енергоспоживання, складність мережевої схеми та ще один компонент, який потрібно адмініструвати. Для чатбота без доступу до критичних систем це може бути надмірно. Натомість у дата-центрах, промисловості, фінансах, медицині або державних системах незалежний контролер виправданий, якщо агент може переміщувати гроші, змінювати виробничі параметри чи працювати з конфіденційними даними.

Open Agent Safety Platform показує зміну акценту в AI-інфраструктурі: продуктивності GPU вже недостатньо, коли моделі отримують автономність. Галузі потрібні журнали дій, мінімальні привілеї, криптографічна атестація, контроль мережі та можливість негайної ізоляції. Запропонована NVIDIA схема не є універсальним гарантом безпеки, але створює додатковий незалежний рубіж — саме той принцип, який давно використовується в критичних обчислювальних системах.