Еволюція від механічного виконання алгоритмів до справжнього наукового мислення стає ключовим викликом для сучасних великих мовних моделей. Здатність відрізнити біологічний сигнал від випадкового шуму та самостійно скоригувати вектор дослідження — це саме те, що відокремлює просунутий інструмент від повноцінного «цифрового вченого». Новий бенчмарк GeneBench-Pro від OpenAI має на меті кількісну оцінку саме цього «дослідницького чуття». Результати тестування демонструють вражаючий прогрес у когнітивних здібностях ШІ, але водночас оголюють фундаментальний розрив між етапом спостереження та формуванням висновку.
Сучасний етап розвитку штучного інтелекту характеризується зміщенням акцентів із генерації контенту на розв’язання складних аналітичних завдань. У сфері біомедицини це означає перехід від запуску готових пайплайнів до здатності моделі самостійно формулювати гіпотези та критично оцінювати дані. GeneBench-Pro був розроблений саме для перевірки цієї компетенції: він тестує вміння ШІ визначити, чи є виявлений патерн відображенням реальної біології, чи це технічний артефакт, а також здатність системи зрозуміти, коли отриманий результат є достатньо надійним для прийняття остаточного рішення.
Тестове середовище являє собою масив зі 129 синтетичних завдань, що охоплюють десять фундаментальних галузей та 21 піддисципліну — від популяційної генетики до онкогеноміки та фармакогеноміки. Використання синтетичних даних дозволяє OpenAI повністю контролювати причинно-наслідкові зв'язки, що забезпечує детерміновану перевірку відповідей. Для підтвердження реалістичності сценаріїв до розробки залучали зовнішніх експертів — професорів та постдоків, які верифікували коректність цільових рішень із точки зору академічної науки.
Динаміка розвитку моделей у цьому тесті виглядає стрімкою. Якщо перша версія GeneBench виявилася практично недоладною для GPT-5 (результативність не досягала 5%), то актуальна модель GPT-5.6 Sol продемонструвала значний ривок, подолавши поріг у 28,7% на максимальному рівні міркувань і досягнувши 31,5% у режимі Pro. Цей прогрес виявляється не лише в цифрах, а й у якісній зміні підходу до розв’язання задач.
Яскравим прикладом слугує робота з фармакогеномікою. Якщо попередні ітерації моделей обмежувалися побудовою стандартної моделі Кокса, ігноруючи зворотний зв'язок між терапією та супутніми факторами, то GPT-5.6 Sol самостійно перейшла до використання маргінальних структурних моделей із зворотними ймовірнісними вагою. Більше того, модель проявила критичне мислення, грамотно виключивши з аналізу пацієнтів, які вже розпочали лікування до початку спостереження, що відповідає стандартам суворого наукового аналізу.
На тлі лідера конкуренти демонструють помітне відставання: Claude Opus 4.8 набирає 16%, Gemini 3.5 Flash — 8,1%, а показники DeepSeek V4 Pro та Grok 4.3 залишаються на рівні одиниць відсотків. Однак навіть для найсильнішої моделі рівень успіху нижчий за третину всіх завдань, що вказує на наявність системного когнітивного бар'єра.
Аналіз помилок виявляє специфічний розрив між етапом виявлення проблеми та етапом прийняття рішення. Модель часто фіксує тривожний сигнал — наприклад, порушення контролю якості даних або технічний артефакт, — але не інтегрує це спостереження в загальну стратегію. ШІ продовжує слідувати початковому плану, незважаючи на знайдені суперечності. В академічному середовищі така модель поведінки характерна для дослідника-початківця: він здатен колекціонувати спостереження, але не вміє змінювати підхід «на льоту», на відміну від досвідченого ученого, який перебудовує всю методологію при виявленні системної помилки в даних.
Складність завдань підтверджується і думкою академічної спільноти. Експерти з UCLA зазначають, що подібні кейси були б складними навіть для аспіранта, який працює без нагляду наукового керівника. Основна трудність полягає саме в наявності «брудних» даних та технічних огріхів, які потребують глибокого аналізу, а не простого застосування стандартного методу до стерильного набору даних.
Незважаючи на успіх, існує ризик внутрішньої упередженості бенчмарку: моделі GPT використовувалися для доопрацювання завдань на етапі їх створення, що могло створити певну адаптацію тесту під сильні сторони OpenAI. Проте значний розрив у результатах між GPT та моделями інших розробників дозволяє припустити, що йдеться не про просту «підгонку», а про реальний якісний скачок у здатності нейромереж до складного наукового міркування.
Парадокс абсолютної узгодженості нейромереж
