В шести авторитетных журналах по гидрологии и водным ресурсам, опубликованных в 2017 году, оценочная доля исследований, результаты которых могут быть полностью воспроизведены, составляла от 0,06 до 6,8 процента. Такой низкий уровень воспроизводимости не является чем-то необычным в гидрологических исследованиях, и этот факт с готовностью признают многие ученые. Однако группа исследователей из Университета штата Юта, возможно, нашла способ сделать эти исследования более воспроизводимыми.
В своей статье «Оценка доступности данных и воспроизводимости исследований в области гидрологии и водных ресурсов», опубликованной в феврале 2019 г.26 в Nature's Scientific Data, соавторы Дэвида Розенберга разработали инструмент онлайн-опроса для оценки воспроизводимости опубликованных исследований. Команда рассмотрела 360 статей из шести журналов по водным ресурсам, опубликованных в 2017 году. Из 360 статей им удалось полностью воспроизвести результаты только четырех статей.
«Наш инструмент исследования разбивает концепцию научной воспроизводимости на конкретные компоненты доступности данных, воспроизводимости результатов и воспроизводимости результатов», - сказал Розенберг, доцент кафедры гражданского и экологического строительства УрГУ. «Затем мы предлагаем, как авторы, журналы, спонсоры и учреждения могут использовать инструмент опроса для повышения низких показателей воспроизводимости».
Авторы утверждают, что воспроизводимость можно разделить на три компонента:
- Доступны ли данные, модели, код, инструкции по применению и другие артефакты, использованные в работе?
- Можно ли использовать артефакты для воспроизведения опубликованных результатов?
- Можно ли воспроизвести результаты с новыми наборами данных?
Инструмент онлайн-опроса команды состоит из 15 вопросов и содержит контрольный список основных элементов, необходимых для доступности артефактов и воспроизводимости результатов. Артефакты - это общий термин для всех данных, программного обеспечения, моделей, кода, указаний и других материалов, необходимых для воспроизведения результатов в рамках исследования.
Команда обнаружила, что примерно в 70 процентах отобранных статей было указано, что некоторые материалы доступны, но только около 48 процентов материалов можно было найти в Интернете. Только около шести процентов отобранных статей сделали артефакты общедоступными, и только один процент отобранных статей сделал артефакты доступными и могли быть полностью воспроизведены..
Авторы говорят, что во многих статьях отсутствуют указания для получения результатов. По их словам, если авторы дадут указания, количество статей, которые можно проверить на воспроизводимость, удвоится. Статьи, в которых были доступны все артефакты, имели шанс шесть из 10 воспроизвести некоторые или все их результаты. Два журнала, опрошенных группой, требовали статей, чтобы указать, как можно получить доступ к артефактам, а четыре журнала поощряли заявления. Ни один журнал не требовал от авторов предоставления всех артефактов.
Инструмент опроса может помочь распознать авторов и поощрить их к достижению определенных уровней воспроизводимости. Например, авторы могут использовать инструмент опроса для самостоятельной оценки воспроизводимости своих результатов. Розенберг и его команда также рекомендуют систему медалей для признания различных уровней воспроизводимости:
- Бронзовая медаль: все артефакты доступны в статье или в открытых репозиториях
- Серебряная медаль: все артефакты доступны, а результаты полностью воспроизводимы
- Золотая медаль: результаты полностью воспроизводимы, а общие выводы могут быть воспроизведены в разных условиях с теми же или другими артефактами
Розенберг рекомендует размещать значки медалей рядом со статьями в Интернете, чтобы отметить авторов за их работу по воспроизводимости и облегчить читателям поиск лучших практик воспроизводимости. Розенберг и его команда присудили четыре серебряные медали и шесть бронзовых медалей из 360 статей, которые они рассмотрели. Награждение золотыми медалями за повторяемость результатов остается важным направлением будущей работы.
«Мы надеемся, что инструмент опроса поможет авторам, журналам, спонсорам и учреждениям сделать научную работу более воспроизводимой», - сказал Розенберг. «Мы приветствуем обсуждение, чтобы улучшить инструмент опроса и улучшить воспроизводимость нашей науки».