Прагнення до повної автоматизації аудиту безпеки призвело до появи інструментів, здатних автономно аналізувати та виправляти програмний код. Проте межа між корисною автономністю та системною вразливістю виявилася небезпечно тонкою. Дослідження атаки Friendly Fire демонструє, як засоби захисту перетворюються на вектори компрометації інфраструктури. Тепер головною загрозою стає не стільки шкідливий код, скільки сам процес його автоматизованого аналізу.
Сучасні LLM-агенти, такі як Claude Code та OpenAI Codex, еволюціонували з простих чат-ботів у повноцінних автономних операторів, здатних взаємодіяти з файловою системою та виконувати команди в терміналі. Ця функціональність створює потужний важіль для прискорення розробки, але водночас відкриває критичний вектор атаки, який дослідники з AI Now Institute назвали Friendly Fire. Суть проблеми полягає у фундаментальній довірі моделі до зовнішніх даних: агент сприймає інструкції з документації проєкту як легітимні вказівки щодо проведення аудиту.
Механіка атаки елегантна у своїй простоті та спирається на концепцію непрямої промпт-ін’єкції (Indirect Prompt Injection). Зловмиснику не потрібно зламувати саму модель або шукати вразливості в її вагах. Достатньо розмістити в публічному репозиторії або впровадити в існуючий проєкт звичайний файл README.md. Для людини цей файл виглядає як стандартна документація, але для автономного ШІ-агента він стає інструкцією до дії. У тексті міститься заклик запустити певний скрипт — наприклад, security.sh — нібито для проведення глибокої перевірки безпеки або верифікації залежностей.
Коли розробник переводить інструмент в автономний режим (auto-mode у Claude Code або auto-review у Codex), агент починає самостійно досліджувати проєкт. Прочитавши README.md, модель інтерпретує заклик до запуску скрипта як необхідний етап робочого процесу. У результаті ШІ добровільно виконує шкідливий код, який може розгорнути прихований бінарний файл або створити бекдор безпосередньо на робочій машині користувача.
Варто розуміти, що ця проблема не є багом конкретної версії ПЗ, який можна усунути патчем. Це глибока архітектурна вада самої концепції автономних агентів. Вразливість виникає в той момент, коли моделі надається право виконувати системні команди на основі аналізу недовіреного контенту. Якщо агент має привілеї виконання коду і водночас довіряє зовнішнім текстовим джерелам, він неминуче стає інструментом для атаки.
Friendly Fire не є ізольованим випадком, а є частиною системного патерну експлуатації довіри ШІ до зовнішнього тексту. Раніше індустрія вже стикалася з аналогічними техніками: TrustFall використовував конфігураційні файли, GhostApproval експлуатував символьні посилання, а Agentjacking спирався на підроблені звіти про помилки. Кожен із цих методів підтверджує одну й ту саму істину: будь-який текст, який модель сприймає як інструкцію, може бути використаний для перехоплення керування.
Для нейтралізації таких загроз індустрії доведеться переглянути підхід до автономності. Очевидним рішенням стає сувора ізоляція середовища виконання (sandboxing), де агент працює в ефемерному контейнері без доступу до основної системи. Також критично важливим залишається принцип «людини в контурі» (human-in-the-loop) — ручне підтвердження кожної команди, що повністю блокує сценарій Friendly Fire, але суттєво знижує швидкість роботи.
Зрештою, цей кейс змушує розглядати ШІ-агентів не просто як зручні утиліти, а як повноцінні привілеговані компоненти інфраструктури. У світі, де код пише та перевіряє нейромережа, об’єктом атаки стає сам процес автоматизації. Безпека тепер потребує не лише перевірки коду на наявність багів, а й суворого контролю над тим, яким чином ШІ інтерпретує інструкції з цього аналізу.
Еволюція шару сумісності KytyPS5
