Основные выводы биомедицинских препринтов редко претерпевают серьезные изменения после рецензирования в журнале. К такому заключению приходит исследование, опубликованное в этом месяце на сервере препринтов bioRxiv. Авторы также выяснили, что статьи, которые сначала появлялись в виде препринтов, отзываются примерно вдвое реже, чем работы, которые не были опубликованы в открытом доступе до прохождения рецензирования в журнале. Исследователи утверждают, что эти данные свидетельствуют о надежности препринтов как источника информации, хотя некоторые ученые призывают интерпретировать эти результаты более осторожно.
Публикация препринтов сегодня является распространенной практикой в науке, однако Руслан Раст, нейробиолог из Университета Южной Калифорнии в Лос-Анджелесе, отмечает, что часто слышит от коллег-ученых мнение о их ненадежности. По его опыту, рецензирование обычно не приводит к значительным изменениям в содержании работы. Раст захотел проверить, справедливо ли это для различных областей биомедицинских исследований.
Используя большую языковую модель (LLM), Раст и его коллега извлекли основные научные выводы из аннотаций 72 644 биомедицинских рукописей, которые были первоначально загружены на bioRxiv в период с 2018 по 2025 год. Затем модель оценила, насколько сильно изменились аннотации по сравнению с их итоговыми версиями после рецензирования. Согласно исследованию (которое само еще не прошло рецензирование), 39,9% основных выводов остались неизменными между версией препринта и опубликованной в журнале аннотацией, ещё 50% подверглись лишь незначительной правке. Чуть более 10% претерпели существенные изменения.
Степень правки также различалась в зависимости от дисциплины. Значительные изменения произошли только в 7,2% работ по биоинформатике по сравнению с 17,5% исследований в области микробиологии.
Авторы также обнаружили, что частота серьезных правок со временем снижалась — с 17% среди статей, размещенных в 2019 году, до 5,7% в 2024 году.
Джулиан Сенкевич, изучающий инструменты искусственного интеллекта и анализ данных в Варшавском технологическом университете, предполагает, что снижение числа серьезных правок с течением времени может указывать на перегруженность рецензентов, которые, возможно, не читают статьи достаточно тщательно.
Раст предполагает, что это снижение отражает изменение в том, как люди используют препринты. В первые годы после запуска bioRxiv, особенно во время пандемии COVID-19, ученые испытывали давление и были вынуждены публиковать свои результаты в сжатые сроки. Это означало, что многим статьям требовалась серьезная доработка перед публикацией, добавил он. В последние же годы некоторые рукописи, возможно, уже включают замечания рецензентов в самую первую версию препринта, выложенную в сеть.
Раст подчеркивает, что ученым важно читать статьи и самостоятельно оценивать работу, а не судить о качестве статьи по тому, была ли она опубликована как препринт или нет. Он также рекомендует проявлять особую осторожность при использовании препринтов для принятия решений в клинических условиях.
Более подробная информация доступна в источнике Nature.