Переход от простого исполнения алгоритмов к подлинному научному мышлению становится главным вызовом для современных больших языковых моделей. Способность отличить биологический сигнал от случайного шума и самостоятельно скорректировать ход исследования — это то, что отделяет продвинутый инструмент от полноценного цифрового ученого. Новый бенчмарк GeneBench-Pro от OpenAI ставит целью количественную оценку именно этого «исследовательского чутья». Результаты тестирования демонстрируют впечатляющий прогресс в когнитивных способностях ИИ, но одновременно обнажают фундаментальный разрыв между наблюдением и выводом.
Современный этап развития искусственного интеллекта характеризуется смещением фокуса с генерации контента на решение сложных аналитических задач. В области биомедицины это означает переход от запуска готовых пайплайнов к способности модели самостоятельно формулировать гипотезы и критически оценивать данные. GeneBench-Pro был разработан именно для проверки этой компетенции: он тестирует умение ИИ определять, является ли обнаруженный паттерн отражением реальной биологии или же это технический артефакт, а также способность системы понять, когда полученный результат достаточно надежен для принятия окончательного решения.
Тестовая среда представляет собой массив из 129 синтетических задач, охватывающих десять фундаментальных областей и 21 поддисциплину — от популяционной генетики до онкогеномики и фармакогеномики. Использование синтетических данных позволяет OpenAI полностью контролировать причинно-следственные связи, что обеспечивает детерминированную проверку ответов. Для подтверждения реалистичности сценариев к разработке привлекались внешние эксперты — профессора и постдоки, которые верифицировали корректность целевых решений с точки зрения академической науки.
Динамика развития моделей в этом тесте выглядит стремительно. Если первая версия GeneBench оказалась практически непреодолимой для GPT-5 (результативность не достигала 5%), то актуальная модель GPT-5.6 Sol показала значительный рывок, преодолев порог в 28,7% на максимальном уровне рассуждений и достигнув 31,5% в режиме Pro. Этот прогресс выражается не только в цифрах, но и в качественном изменении подхода к решению задач.
Ярким примером служит работа с фармакогеномикой. Если предыдущие итерации моделей ограничивались построением стандартной модели Кокса, игнорируя обратную связь между терапией и сопутствующими факторами, то GPT-5.6 Sol самостоятельно перешла к использованию маргинальных структурных моделей с обратными вероятностными весами. Более того, модель проявила критическое мышление, грамотно исключив из анализа пациентов, которые уже начали лечение до начала наблюдения, что соответствует стандартам строгого научного анализа.
На фоне лидера конкуренты демонстрируют заметное отставание: Claude Opus 4.8 набирает 16%, Gemini 3.5 Flash — 8,1%, а показатели DeepSeek V4 Pro и Grok 4.3 остаются на уровне единиц процентов. Однако даже для самой сильной модели уровень успеха ниже трети всех задач, что указывает на наличие системного когнитивного барьера.
Анализ ошибок выявляет специфический разрыв между этапом обнаружения проблемы и этапом принятия решения. Модель часто фиксирует тревожный сигнал — например, нарушение контроля качества данных или технический артефакт, — но не интегрирует это наблюдение в общую стратегию. ИИ продолжает следовать первоначальному плану, несмотря на найденные противоречия. В академической среде такая модель поведения характерна для начинающего исследователя: он способен коллекционировать наблюдения, но не умеет менять подход «на лету», в отличие от опытного ученого, который перестраивает всю методологию при обнаружении системной ошибки в данных.
Сложность задач подтверждается и мнением академического сообщества. Эксперты из UCLA отмечают, что подобные кейсы были бы затруднительны даже для аспиранта, работающего без надзора научного руководителя. Основная трудность заключается именно в наличии «грязных» данных и технических огрехов, которые требуют глубокого анализа, а не простого применения стандартного метода к стерильному набору данных.
Несмотря на успех, существует риск внутренней предвзятости бенчмарка: модели GPT использовались для доработки задач на этапе их создания, что могло создать определенную адаптацию теста под сильные стороны OpenAI. Тем не менее, значительный разрыв в результатах между GPT и моделями других разработчиков позволяет предположить, что речь идет не о простой «подгонке», а о реальном качественном скачке в способности нейросетей к сложному научному рассуждению.
Парадокс абсолютной согласованности нейросетей
