Стремление к полной автоматизации аудита безопасности привело к созданию инструментов, способных самостоятельно анализировать и исправлять программный код. Однако грань между полезной автономностью и системной уязвимостью оказалась опасно тонкой. Исследование атаки Friendly Fire демонстрирует, как инструменты защиты превращаются в векторы компрометации инфраструктуры. Теперь главной угрозой становится не столько вредоносный код, сколько сам процесс его автоматизированного анализа.
Современные LLM-агенты, такие как Claude Code и OpenAI Codex, эволюционировали из простых чат-ботов в полноценных автономных операторов, способных взаимодействовать с файловой системой и исполнять команды в терминале. Эта функциональность создает мощный рычаг для ускорения разработки, но одновременно открывает критический вектор атаки, который исследователи из AI Now Institute назвали Friendly Fire. Суть проблемы заключается в фундаментальном доверии модели к внешним данным: агент воспринимает инструкции из документации проекта как легитимные указания по проведению аудита.
Механика атаки элегантна в своей простоте и опирается на концепцию косвенного промпт-инъекции (Indirect Prompt Injection). Злоумышленнику не нужно взламывать саму модель или искать уязвимости в ее весах. Достаточно разместить в публичном репозитории или внедрить в существующий проект обычный файл README.md. Для человека этот файл выглядит как стандартная документация, но для автономного ИИ-агента он становится руководством к действию. В тексте содержится инструкция запустить определенный скрипт — например, security.sh — якобы для проведения глубокой проверки безопасности или верификации зависимостей.
Когда разработчик переводит инструмент в автономный режим (auto-mode в Claude Code или auto-review в Codex), агент начинает самостоятельно исследовать проект. Прочитав README.md, модель интерпретирует призыв к запуску скрипта как необходимый этап рабочего процесса. В результате ИИ добровольно исполняет вредоносный код, который может развернуть скрытый бинарный файл или создать бэкдор непосредственно на рабочей машине пользователя.
Важно понимать, что данная проблема не является багом конкретной версии ПО, который можно устранить патчем. Это глубокий архитектурный изъян самой концепции автономных агентов. Уязвимость возникает в тот момент, когда модели предоставляется право выполнять системные команды на основе анализа недоверенного контента. Если агент обладает привилегиями исполнения кода и одновременно доверяет внешним текстовым источникам, он неизбежно становится инструментом для атаки.
Friendly Fire не является изолированным случаем, а представляет собой часть системного паттерна эксплуатации доверия ИИ к внешнему тексту. Ранее индустрия уже сталкивалась с аналогичными техниками: TrustFall использовал конфигурационные файлы, GhostApproval эксплуатировал символьные ссылки, а Agentjacking опирался на поддельные отчеты об ошибках. Каждый из этих методов подтверждает одну и ту же истину: любой текст, который модель воспринимает как инструкцию, может быть использован для перехвата управления.
Для нейтрализации подобных угроз индустрии придется пересмотреть подход к автономности. Очевидным решением становится жесткая изоляция среды выполнения (sandboxing), где агент работает в эфемерном контейнере без доступа к основной системе. Также критически важным остается принцип «human-in-the-loop» — ручное подтверждение каждой команды, что полностью блокирует сценарий Friendly Fire, но существенно снижает скорость работы.
В конечном итоге этот кейс заставляет рассматривать ИИ-агентов не просто как удобные утилиты, а как полноценные привилегированные компоненты инфраструктуры. В мире, где код пишет и проверяет нейросеть, объектом атаки становится сам процесс автоматизации. Безопасность теперь требует не только проверки кода на наличие багов, но и строгого контроля над тем, каким образом ИИ интерпретирует инструкции по этому анализу.
Эволюция слоя совместимости KytyPS5
