Чатботи з ШІ вразливі до атак на внесення в пам’ять

Дослідники виявили новий спосіб маніпуляції з AI-чатботами, що викликає занепокоєння щодо безпеки AI-моделей з пам’яттю.

Атака, яку називають МІНЬЯ (Memory INJection Attack), може бути проведена простим взаємодією з AI системою як звичайний користувач, без необхідності мати доступ до її бекенду, як вперше повідомило The Register.

Розроблений дослідниками з Мічиганського державного університету, Університету Джорджії та Університету управління Сінгапуру, MINJA діє шляхом отруєння пам’яті штучного інтелекту завдяки вводженню в оману. Як тільки чат-бот зберігає ці оманливі вводи, вони можуть змінити майбутні відповіді для інших користувачів.

“В наш час агенти штучного інтелекту, як правило, включають банк пам’яті, який зберігає завдання та виконання на основі відгуків людей для майбутнього використання”, – пояснив Чжен Сян, асистент професора в Університеті Джорджії, як це було відзвітувано The Register.

“Наприклад, після кожної сесії з ChatGPT, користувач може за бажанням дати позитивну або негативну оцінку. І ця оцінка може допомогти ChatGPT вирішити, чи буде інформація сесії включена до їхньої пам’яті або бази даних”, – додав він.

Дослідники тестували атаку на AI моделі, що працюють на базі GPT-4 та GPT-4o від OpenAI, включаючи помічника для онлайн-покупок, чат-бота для охорони здоров’я та агента для відповідей на запитання.

The Register повідомляє, що вони виявили, що MINJA може спричинити серйозні перебої. Наприклад, у чат-боті для охорони здоров’я він змінив медичні записи пацієнтів, пов’язавши дані одного пацієнта з іншим. У інтернет-магазині він обманув АІ, змусивши показувати клієнтам неправильні товари.

“Навпаки, наша робота показує, що атаку можна запустити, просто спілкуючись з агентом як звичайний користувач”, – сказав Сян, повідомляє The Register. “Будь-який користувач може легко вплинути на виконання завдання для будь-якого іншого користувача. Тому ми кажемо, що наша атака є практичною загрозою для агентів LLM”, – додав він.

Ця атака особливо турбує, оскільки вона обходить існуючі заходи безпеки штучного інтелекту. Науковці повідомили про 95% успішності в ін’єкції оманливої інформації, що робить це серйозною вразливістю, з якою повинні впоратися розробники AI.

Оскільки моделі штучного інтелекту з пам’яттю стають все більш поширеними, дослідження акцентує увагу на необхідності сильніших заходів безпеки для запобігання маніпуляціям зловмисників з чат-ботами та введенню користувачів в оману.