Курс Anthropic на апаратну незалежність
Пастка довіри до генеративного пошуку

Усе розпочалося з того, що алгоритми Google AI Overview трансформували сумнівний інтернет-фейк у «технічно підтверджений факт». Пошуковик почав стверджувати, що автономні камери розпізнавання автомобільних номерів компанії Flock Safety містять від одного до п'яти грамів чистого золота та від 0,9 до 10,4 кілограмів міді. З погляду потенційного зловмисника така інформація перетворила звичайний пристрій спостереження на цінний актив: лише вартість золота в одному модулі оцінювалася приблизно у 650 доларів.
Драма цієї ситуації полягає в тому, що ШІ повністю проігнорував елементарну перевірку даних на правдоподібність. Вага самої камери становить лише 1,36 кг. Твердження про наявність у ній понад одного кілограма міді є фізично неможливим, оскільки це залишило б нульову вагу для корпусу, оптики, процесора та всіх інших компонентів. Попри це, модель продовжувала впевнено поширювати цю дезінформацію, що спровокувало хвилю нападів на обладнання Flock Safety.
Варто зауважити, що цей фейк виник не на порожньому місці. Система спостереження Flock Safety давно викликає дискусії через звинувачення у зловживаннях з боку правоохоронних органів та загальну соціальну напруженість, пов'язану з тотальним контролем. Міф про дорогоцінні метали став зручним інструментом для тих, хто і так був налаштований проти системи стеження. ШІ тут виступив у ролі каталізатора, надавши маргінальній теорії авторитетності офіційної відповіді пошуковика.
З технічного погляду присутність золота та міді в подібній електроніці є нормою. Ці метали використовуються в покритті контактів, роз'ємів та доріжках друкованих плат завдяки їхній високій провідності та стійкості до корозії. Однак йдеться про мікрограми, а не про грами чи кілограми. У реальності цінність цих матеріалів нікчемна і порівнянна з будь-яким іншим компактним електронним пристроєм.
Після того як помилка стала публічною, Google оперативно скоригував роботу AI Overview. Тепер пошуковик прямо попереджає користувачів, що розповіді про кілограми міді та грами золота є жартом або результатом галюцинацій нейромережі.
Цей випадок підсвічує фундаментальну проблему сучасних LLM (Large Language Models): вони працюють на основі ймовірностей появи токенів, а не на базі верифікації знань про реальний світ. Модель не «розуміє» масу об'єкта чи хімічний склад сплаву — вона лише об'єднує найпоширеніші в мережі твердження. Якщо фейк стає віральним, ШІ сприймає його як статистично значущий патерн і видає за істину.
Історія з камерами нагадує про те, що людство схильне до поширення теорій змови і без допомоги технологій — варто лише згадати масові підпали вишок стільникового зв'язку у 2020 році на ґрунті міфів про 5G. Однак тепер дезінформація отримала потужний інструмент масштабування. Коли авторитетне джерело, таке як Google, підтверджує абсурдну теорію, критичне мислення користувача відключається, поступаючись місцем сліпій довірі до алгоритму.

