Повільне мислення цифрового розуму

Восени 2024 року світ ШІ сколихнула прем'єра моделі o1 від OpenAI, яка продемонструвала якісний стрибок у вирішенні складних когнітивних завдань. Якщо попередній флагман GPT-4o справлявся лише з 12% завдань престижного математичного іспиту AIME, то o1 у режимі однієї спроби підняла цей показник до 74%, а за умови використання консенсусного вибору та переранжування відповідей досягла неймовірних 93%. Аналогічний успіх було зафіксовано в тесті GPQA Diamond, що оцінює наукове мислення на рівні кандидата наук: модель показала результат 78%, випередивши середні показники профільних експертів-людей.

Цей прорив ознаменував епоху великих міркувальних моделей (Large Reasoning Models, LRM). Сьогодні цей шлях продовжують спадкоємці o1, такі як o3, сімейство Claude від Anthropic, Google Gemini 3.1 Pro та DeepSeek R1. Усі вони об'єднані однією спільною рисою: здатністю переконливо імітувати «систему 2» за класифікацією Даніеля Канемана.

У парадигмі Канемана людський мозок оперує на двох рівнях. «Система 1» відповідає за швидке, автоматичне мислення — це інстинктивні реакції та звичні патерни, що економлять енергію. «Система 2», навпаки, реалізує повільне мислення: свідомий контроль, глибокий аналіз і концентрацію уваги. В ідеалі друга система верифікує імпульси першої, проте часто ми лінуємося задіяти аналітичний апарат, що призводить до когнітивних викривлень.

Класичні авторегресійні мовні моделі (LLM) працюють за принципом «системи 1». Вони являють собою свого роду «чорну скриньку», де відповіді зафіксовані у вигляді ваг перцептронів на етапі навчання. Якщо модель демонструє емпатію чи грамотність, це результат обробки колосальних масивів текстів, але вона не здатна до багатоступеневих логічних побудов із корекцією помилок у процесі. Саме тому GPT-4o могла бути приємним співрозмовником, але пасувала перед унікальними математичними задачами.

Проєкт Strawberry, результатом якого стала модель o1, запропонував інше рішення: впровадження «системи 2» на небіологічному носії. Замість того щоб миттєво видати відповідь, міркувальна модель навмисно сповільнюється. Вона починає послідовно верифікувати запит, складати план дій, тестувати гіпотези та виправляти власні помилки.

В основі цього механізму лежать три концепції: ланцюжок думок (chain of thoughts), додаткові обчислення на етапі інференсу (test-time compute) та навчання з підкріпленням (reinforcement learning). Технічно LRM залишається трансформером, який і надалі передбачає наступний токен. Однак тепер ваги нейромережі фіксують не просто статичні знання, а навички: вміння сумніватися, перевіряти себе та вибудовувати логічні зв'язки.

Еволюція моделей показала, що обчислювальну потужність можна ефективно розмінювати на час. Покроковий пошук відповіді із самокорекцією дозволяє отримувати високоякісні результати без необхідності нескінченно збільшувати кількість параметрів моделі. Це критично важливо в умовах фізичних меж апаратного забезпечення та дефіциту оперативної пам'яті.

Реалізація «ланцюжків думок» відбувається через генерацію прихованих токенів міркування (reasoning tokens). Користувач зазвичай не бачить цього внутрішнього монологу, але саме він споживає основні ресурси. Час обробки запиту зростає з частки секунди до кількох десятків секунд або навіть хвилин. Модель розбиває задачу на підзадачі, паралельно оцінює кілька шляхів вирішення і генерує фінальну відповідь лише після того, як внутрішній критерій задоволеності буде досягнутий.

Важливим етапом стало усвідомлення вигоди від масштабування обчислень під час інференсу. Дослідження Google DeepMind підтвердили: стратегія «думати довше» виявляється на порядок ефективнішою, ніж спроби створити ще більш масивну модель для вирішення задачі «в лоб». У деяких випадках невелика модель із достатнім часом на роздуми працює так само коректно, як модель, що перевершує її за розміром у 14 разів.

Китайські розробники DeepSeek-R1 пішли далі, інтегрувавши схильність до міркувань безпосередньо в структуру моделі через навчання з підкріпленням (RL). Це дозволило позбутися зовнішньої моделі-критика для верифікації проміжних етапів. У результаті нейромережа навчилася самостійно знаходити узгоджені шляхи вирішення складних задач, що зробило міркувальні моделі доступними навіть на локальних ПК через відкриті ваги сімейств Qwen та Llama.

Процес перетворення LLM на LRM нагадує дарвінівську еволюцію. Базовій моделі «годують» найскладніші задачі з олімпіад із математики, хімії чи філософії, знімаючи обмеження на довжину відповіді. Потім вмикається механізм RL: винагорода надається лише за правильний підсумковий результат. Для алгоритмізованих дисциплін перевірка проста, а для гуманітарних залучають зовнішніх арбітрів (LLM-as-a-Judge) — більші моделі, які перевіряють логіку міркувань крок за кроком.

Так працюють системи детальної оцінки мисленнєвого процесу (PRM). У ході мільйонів ітерацій ваги трансформера перебудовуються, формуючи патерни самоперевірки. Модель засвоює, що при виявленні помилки на будь-якому етапі необхідно згенерувати маркер «відкату» і повернутися до попереднього кроку для пошуку іншого шляху.

Внутрішній монолог сучасної LRM включає етапи планування, обчислення та рефлексії. Однак цей прогрес має свою ціну. Однією з головних проблем є «катастрофічне забування»: агресивне навчання міркуванням може стерти попередні навички. Перетренована модель ризикує стати «мономанкою» — вона буде бездоганно розв'язувати рівняння, але втратить здатність написати легке привітання або невимушено відповісти на просте запитання. Для запобігання цьому використовують такі запобіжники, як дивергенція Кульбака — Лейблера, що обмежує відхилення ваг від вихідних значень.

Незважаючи на успіхи, міркувальні моделі залишаються симуляцією мислення. Вони не мають самосвідомості, волі чи істинного розуміння суті проблем. Кожен крок їхнього «роздуму» й надалі є статистично оптимізованою генерацією токенів. На відміну від біологічного мозку, де перехід до системи 2 потребує вольового зусилля та ментальної напруги, робота LRM — це механічне збільшення кількості генерованих токенів.

З цієї причини багато експертів скептично ставляться до можливості досягнення сильного штучного інтелекту (AGI) виключно шляхом розвитку LRM. Нейромережі й надалі оперують кореляціями, а не сенсами; вони не здатні створювати принципово нове знання і обмежені текстовою модальністю. Текст — лише бліда тінь досвіду взаємодії з реальним світом. Знання всіх термінів вітрильного флоту з книг не замінить вміння керувати судном під час шторму.

Крім того, LRM страждають від статичності пам'яті та відсутності безперервного навчання. Без зовнішніх надбудов на кшталт RAG модель не накопичує досвід і не пам'ятає минулих діалогів. Тоді як біологічний розум є породженням волі до життя, ШІ залишається реактивним інструментом, який активується та деактивується за командою оператора.

У майбутньому індустрія може зіткнутися з «обчислювальною стіною» (compute wall), коли витрати на генерацію прихованих токенів перекриють будь-яку економію від оптимізації навчання. Проте LRM можуть стати критично важливою сполучною ланкою для керування роботами, де здатність зважувати варіанти дій є життєво необхідною. Можливо, саме в синтезі мовної логіки, нейроморфних моделей світу та фізичних тіл і народиться справжній інтелект.

Епоха простих однопрохідних моделей добігає кінця. Майбутні роки покажуть, чи стане імітація «повільного мислення» лише тимчасовим милицем, чи вона відкриє двері до архітектури, здатної на істинне розуміння реальності.