Медленное мышление цифрового разума

Осенью 2024 года мир ИИ потрясла премьера модели o1 от OpenAI, которая продемонстрировала качественный скачок в решении сложных когнитивных задач. Если предыдущий флагман GPT-4o справлялся лишь с 12% заданий престижного математического экзамена AIME, то o1 в режиме одной попытки подняла этот показатель до 74%, а при использовании консенсусного выбора и переранжирования ответов достигла невероятных 93%. Аналогичный успех был зафиксирован в тесте GPQA Diamond, оценивающем научное мышление на уровне кандидата наук: модель показала результат 78%, обойдя средние показатели профильных экспертов-людей.

Этот прорыв ознаменовал эпоху больших рассуждающих моделей (Large Reasoning Models, LRM). Сегодня этот путь продолжают наследники o1, такие как o3, семейство Claude от Anthropic, Google Gemini 3.1 Pro и DeepSeek R1. Все они объединяет одна общая черта: способность убедительно имитировать «систему 2» по классификации Даниэля Канемана.

В парадигме Канемана человеческий мозг оперирует на двух уровнях. «Система 1» отвечает за быстрое, автоматическое мышление — это инстинктивные реакции и привычные паттерны, которые экономят энергию. «Система 2», напротив, реализует медленное мышление: сознательный контроль, глубокий анализ и концентрацию внимания. В идеале вторая система верифицирует импульсы первой, но часто мы ленимся задействовать аналитический аппарат, что ведет к когнитивным искажениям.

Классические авторегрессионные языковые модели (LLM) работают по принципу «системы 1». Они представляют собой своего рода «черный ящик», где ответы зафиксированы в виде весов перцептронов на этапе обучения. Если модель демонстрирует эмпатию или грамотность, это результат обработки колоссальных массивов текстов, но она не способна к многоступенчатым логическим построениям с коррекцией ошибок по ходу дела. Именно поэтому GPT-4o могла быть приятным собеседником, но пасовала перед уникальными математическими задачами.

Проект Strawberry, результатом которого стала модель o1, предложил иное решение: внедрение «системы 2» на небиологическом носителе. Вместо того чтобы мгновенно выдать ответ, рассуждающая модель намеренно замедляется. Она начинает последовательно верифицировать запрос, составлять план действий, тестировать гипотезы и исправлять собственные ошибки.

В основе этого механизма лежат три концепции: цепочка рассуждений (chain of thoughts), дополнительные вычисления на этапе инференса (test-time compute) и обучение с подкреплением (reinforcement learning). Технически LRM остается трансформером, который по-прежнему предсказывает следующий токен. Однако теперь веса нейросети фиксируют не просто статичные знания, а навыки: умение сомневаться, перепроверять себя и выстраивать логические связи.

Эволюция моделей показала, что вычислительную мощность можно эффективно разменивать на время. Пошаговый поиск ответа с самокоррекцией позволяет получать высококачественные результаты без необходимости бесконечно увеличивать количество параметров модели. Это критически важно в условиях физических пределов аппаратного обеспечения и дефицита оперативной памяти.

Реализация «цепочек мыслей» происходит через генерацию скрытых токенов рассуждений (reasoning tokens). Пользователь обычно не видит этого внутреннего монолога, но именно он потребляет основные ресурсы. Время обработки запроса возрастает с долей секунды до нескольких десятков секунд или даже минут. Модель разбивает задачу на подзадачи, параллельно оценивает несколько путей решения и генерирует финальный ответ только после того, как внутренний критерий удовлетворенности будет достигнут.

Важным этапом стало осознание выгоды от масштабирования вычислений во время инференса. Исследования Google DeepMind подтвердили: стратегия «думать дольше» оказывается на порядок эффективнее, чем попытки создать еще более массивную модель для решения задачи «в лоб». В некоторых случаях небольшая модель с достаточным временем на размышление работает так же корректно, как модель, превосходящая её по размеру в 14 раз.

Китайские разработчики DeepSeek-R1 пошли дальше, интегрировав склонность к рассуждениям непосредственно в структуру модели через обучение с подкреплением (RL). Это позволило избавиться от внешней модели-критика для верификации промежуточных этапов. В результате нейросеть выучилась самостоятельно находить согласованные пути решения сложных задач, что сделало рассуждающие модели доступными даже на локальных ПК через открытые веса семейств Qwen и Llama.

Процесс превращения LLM в LRM напоминает дарвиновскую эволюцию. Базовой модели скармливают сложнейшие задачи из олимпиад по математике, химии или философии, снимая ограничения на длину ответа. Затем включается механизм RL: награда выдается только за верный итоговый результат. Для алгоритмизируемых дисциплин проверка проста, а для гуманитарных привлекаются внешние арбитры (LLM-as-a-Judge) — более крупные модели, которые проверяют логику рассуждений шаг за шагом.

Так работают системы детальной оценки мыслительного процесса (PRM). В ходе миллионов итераций веса трансформера перестраиваются, формируя паттерны самопроверки. Модель усваивает, что при обнаружении ошибки на любом этапе необходимо сгенерировать маркер «отката» и вернуться к предыдущему шагу для поиска иного пути.

Внутренний монолог современной LRM включает этапы планирования, вычисления и рефлексии. Однако этот прогресс имеет свою цену. Одной из главных проблем является «катастрофическое забывание»: агрессивное обучение рассуждениям может стереть прежние навыки. Перетренированная модель рискует стать «мономаном» — она будет безупречно решать уравнения, но утратит способность написать легкое поздравление или непринужденно ответить на простой вопрос. Для предотвращения этого используют такие предохранители, как дивергенция Кульбака – Лейблера, ограничивающая отклонение весов от исходных значений.

Несмотря на успехи, рассуждающие модели остаются симуляцией мышления. Они не обладают самосознанием, волей или истинным пониманием сути проблем. Каждый шаг их «размышления» по-прежнему является статистически оптимизированной генерацией токенов. В отличие от биологического мозга, где переход к системе 2 требует волевого усилия и ментального напряжения, работа LRM — это механическое увеличение количества генерируемых токенов.

По этой причине многие эксперты скептически относятся к возможности достижения сильного искусственного интеллекта (AGI) исключительно путем развития LRM. Нейросети по-прежнему оперируют корреляциями, а не смыслами; они не способны создавать принципиально новое знание и ограничены текстовой модальностью. Текст — лишь бледная тень опыта взаимодействия с реальным миром. Знание всех терминов парусного флота из книг не заменит умения управлять судном в шторм.

Кроме того, LRM страдают от статичности памяти и отсутствия непрерывного обучения. Без внешних надстроек вроде RAG модель не накапливает опыт и не помнит прошлых диалогов. В то время как биологический разум является порождением воли к жизни, ИИ остается реактивным инструментом, который активируется и деактивируется по команде оператора.

В будущем индустрия может столкнуться с «вычислительной стеной» (compute wall), когда затраты на генерацию скрытых токенов перекроют любую экономию от оптимизации обучения. Тем не менее, LRM могут стать критически важным связующим звеном для управления роботами, где способность взвешивать варианты действий жизненно необходима. Возможно, в синтезе языковой логики, нейроморфных моделей мира и физических тел и родится настоящий интеллект.

Эпоха простых однопроходных моделей подходит к концу. Грядущие годы покажут, станет ли имитация «медленного мышления» лишь временным костылем или же она откроет дверь к архитектуре, способной на истинное понимание реальности.