Авторы препринта задались вопросом: соотвествет ли авторское восприятие собственной статьи с результатами рецензирования сторонних ученных. С этой целью в рамках конференции Neural Information Processing Systems (NeurIPS 2021) проведен опрос авторов, по следующим вопросам:
- какова вероятность принятия статьи по мнению автора,
- предполагаемое место при ранжировании собственных статей по научному вкладу,
- насколько измененилось восприятие собственной работы после рецензирования.
Получены интересные результаты опроса, которые свидетельствуют о том, что авторы переоценивают вероятность принятия статьи. Женский состав среди авторов демонстрирует чуть более высокую (статистически значимую) ошибку калибровки, чем авторы-мужчины, а прогнозы авторов, приглашенных в качестве мета-рецензентов или рецензентов, откалиброваны аналогичным образом, но лучше, чем у авторов, которые не были приглашены для рецензирования. Рейтинг авторов по научному вкладу двух сделанных ими заявок в целом согласуется (93%) с предсказанной ими вероятностью принятия, но 7% авторов считают, что их статья может столкнутся с отрицательным результатом рецензирования. Рейтинги рецензирования в трети случаев расходятся с мнением самих авторов и их соавторов. По крайней мере, 30% респондентов как принятых, так и отклоненных статей заявили, что их восприятие собственной статьи улучшилось после рецензирования.
Источник: How do Authors’ Perceptions of their Papers Compare withCo-authors’ Perceptions and Peer-review Decisions? Charvi Rastogi, Ivan Stelmakh,Alina Beygelzimer, Yann N. Dauphin, Percy Liang, Jennifer Wortman Vaughan, Zhenyu Xue*,Hal Daum ́e III, Emma Pierson, and Nihar B. Shah // https://arxiv.org/abs/2211.12966