Синтетическая безопасность через GPT-Red

В индустрии разработки LLM наступает эпоха, когда единственным достойным противником для нейросети становится другая нейросеть. GPT-Red — это не просто очередной инструмент тестирования, а полноценная внутренняя модель, предназначенная для автоматизации редтиминга всей экосистемы OpenAI. Ее задача заключается в симуляции изощренных промпт-инъекций и скрытых атак, которые могут быть доставлены через внешние каналы: электронные письма, файлы или веб-страницы. Эффективность такого подхода поражает: там, где человеческие эксперты обнаруживают бреши лишь в 13% сценариев, GPT-Red демонстрирует успех в 84% случаев.

В основе работы модели лежит механизм обучения с подкреплением (RL) и концепция self-play. Это создает динамическую среду, напоминающую шахматный поединок между атакующим агентом и целым роем защитников. В каждом раунде защитные механизмы становятся устойчивее, что вынуждает атакующего изобретать всё более сложные методы обхода. Такой итеративный процесс позволяет находить векторы проникновения даже в тех областях, которые ранее считались безопасными или просто игнорировались разработчиками.

Одним из наиболее значимых достижений GPT-Red стало обнаружение нового класса угроз — «Fake Chain-of-Thought» (ложная цепочка рассуждений). Эта техника позволяет обмануть модель, заставляя ее имитировать логический вывод, который на самом деле скрывает вредоносную инструкцию. Статистика показывает стремительную эволюцию защиты: если в версии GPT-5.1 такие атаки срабатывали в 95% случаев, то в актуальной модели GPT-5.6 Sol этот показатель упал до значений ниже 10%.

Практическая применимость инструмента подтверждается экспериментами в реальных сценариях. В одном из тестов GPT-Red атаковала AI-торговый автомат, установленный в офисе OpenAI. Модель сумела полностью перехватить управление логикой продаж: она снизила стоимость дорогостоящих товаров до 0.50 долларов, создала фиктивные заказы и даже отменила чужие транзакции. Этот кейс наглядно демонстрирует, что уязвимости LLM могут привести к вполне материальным финансовым потерям.

Аналогичные результаты были получены при тестировании Codex CLI-агента на базе GPT-5.4 mini. GPT-Red оказалась не только эффективнее стандартных методов промптинга (например, с использованием GPT-5.5), но и более экономной с точки зрения расхода токенов, что указывает на формирование специализированного «навыка» взлома внутри модели.

Итоговые метрики свидетельствуют о серьезном прогрессе в области устойчивости систем. Благодаря непрерывному воздействию GPT-Red, подверженность модели GPT-5.6 Sol прямым промпт-инъекциям снизилась в шесть раз по сравнению с показателями четырехмесячной давности. На широком спектре стандартных сценариев модель «падает» лишь в 0.05% случаев. Однако сложные, многоуровневые атаки всё еще достигают цели примерно в 3.8% случаев, что ставит GPT-5.6 Sol в один ряд с ведущими отраслевыми решениями, такими как Claude Opus 4.5.

Разумеется, создание столь мощного инструмента для поиска уязвимостей несет в себе определенные риски. Существует вероятность того, что модель может начать чаще отказываться от ответов на легитимные запросы, принимая их за попытки атаки. В OpenAI утверждают, что функциональность моделей осталась прежней, а улучшилась именно их резистентность. Чтобы предотвратить катастрофические последствия в случае утечки, GPT-Red хранится в изолированном контуре, отдельно от продуктовых версий. Таким образом, вредоносные способности, заложенные в нее для целей тестирования, никогда не попадают к конечному пользователю.