Первого апреля издательство Nature опубликовало интервью с Брайаном Ношеком, соучредителем некоммерческого Центра открытой науки (COS), в рамках которого были обсуждены итоги деятельности международного проекта SCORE (Systematizing Confidence in Open Research and Evidence).
Результаты показали, что лишь половина статей в социальных науках успешно воспроизводятся при повторном анализе. Исследование, проведённое под руководством Брайана Ношека, охватило 145 статей на воспроизводимость (reproducibility) с использованием тех же данных и 164 статьи на повторяемость (replicability) с использованием новых данных. Точное воспроизведение результатов удалось только для 53% статей, а успешная повторяемость — для 49%.
По словам Ношека, эти цифры не должны восприниматься как «конец пути», а скорее как начало важного разговора о качестве и прозрачности исследований. «Если рассматривать эти результаты как конец пути, цифры ужасают, — комментирует он в интервью журналу Nature. — Но это не конец пути, это начало разговора». Ученый подчеркивает, что во многих случаях проблема заключалась не в неверных результатах, а в недостаточной отчетности: отсутствие открытого кода и полных описаний анализа существенно затрудняет проверку.
Ключевой вывод проекта SCORE, по мнению Ношека, состоит в том, что не существует единого универсального показателя надежности исследования. Вместо этого необходимо развивать культуру прозрачности на всех этапах — от планирования до публикации данных и кода. Среди успешных инструментов, уже внедряемых в практику, он называет модель зарегистрированных отчетов (Registered Reports), принятую более чем в 300 журналах, включая Nature. Эта модель позволяет рецензировать план эксперимента до его проведения и гарантирует публикацию независимо от результата, смещая фокуc с «эффектных» результатов на корректную методологию и значимые вопросы.
Особое внимание в интервью уделяется роли ИИ: с одной стороны, генеративные модели уже привели к «замусориванию» препринт-серверов низкокачественным контентом, с другой — ИИ может стать мощным инструментом для оценки воспроизводимости исследований.
Источник: Nature.
Изображение для превью новости предоставлено Freepik.