Курс Anthropic на аппаратную независимостьЛовушка доверия к генеративному поиску

Проблема началась с того, что алгоритмы Google AI Overview превратили сомнительный интернет-фейк в «технически подтвержденный факт». Поиск начал утверждать, что автономные камеры распознавания автомобильных номеров компании Flock Safety содержат от одного до пяти граммов чистого золота и от 0,9 до 10,4 килограммов меди. С точки зрения потенциального злоумышленника, такая информация превращала обычное устройство наблюдения в ценный актив: только стоимость золота в одном модуле оценивалась примерно в 650 долларов.
Трагедия ситуации заключается в том, что ИИ полностью проигнорировал элементарную проверку правдоподобности данных. Вес самой камеры составляет всего 1,36 кг. Утверждение о наличии внутри неё более одного килограмма меди является физически невозможным, так как это оставило бы нулевой вес для корпуса, оптики, процессора и всех остальных компонентов. Тем не менее, модель продолжила уверенно распространять эту дезинформацию, что привело к волне нападений на оборудование Flock Safety.
Стоит отметить, что этот фейк возник не на пустом месте. Система наблюдения Flock Safety давно вызывает споры из-за обвинений в злоупотреблениях со стороны правоохранительных органов и общего социального напряжения, связанного с тотальным контролем. Миф о драгоценных металлах стал удобным инструментом для тех, кто и так был настроен против системы слежки. ИИ здесь выступил в роли катализатора, придав маргинальной теории авторитетность официального поискового ответа.
С технической точки зрения, присутствие золота и меди в подобной электронике — норма. Эти металлы используются в покрытиях контактов, разъемов и дорожках печатных плат из-за их высокой проводимости и коррозийной стойкости. Однако речь идет о микрограммах, а не о граммах или килограммах. В реальности ценность этих материалов ничтожна и сопоставима с любым другим компактным электронным устройством.
После того как ошибка стала публичной, Google оперативно скорректировал работу AI Overview. Теперь поиск прямо предупреждает пользователей, что рассказы о килограммах меди и граммах золота являются шуткой или результатом галлюцинаций нейросети.
Этот случай подсвечивает главную проблему современных LLM (Large Language Models): они работают на основе вероятностей появления токенов, а не на основе верификации знаний о реальном мире. Модель не «понимает» массу объекта или химический состав сплава — она лишь объединяет наиболее часто встречающиеся в сети утверждения. Если фейк становится виральным, ИИ воспринимает его как статистически значимый паттерн и выдает за истину.
История с камерами напоминает о том, что человечество склонно к распространению теорий заговора и без помощи технологий — достаточно вспомнить массовые поджоги вышек сотовой связи в 2020 году на почве мифов о 5G. Однако теперь дезинформация получила мощный инструмент масштабирования. Когда авторитетный источник, таким как Google, подтверждает абсурдную теорию, критическое мышление пользователя отключается, уступая место слепому доверию к алгоритму.

