Плохие скважины, как правило, исключаются из исследований уровня грунтовых вод, проблема, которая может исказить результаты везде, где мониторинг используется для определения государственной политики и расходов.
Исследователи из Университета Ватерлоо обнаружили проблему, исследуя несоответствие между научными данными и неофициальными свидетельствами на юге Индии.
Отчеты о тысячах колодцев и спутниковые снимки, сделанные в период с 1996 по 2016 год, свидетельствуют о повышении уровня грунтовых вод, что является хорошей новостью в районе, где это жизненно важно для сельского хозяйства.
В то же время, однако, полевые работники слышали больше историй от фермеров о пересыхании колодцев, предполагая, что уровни на самом деле снижались.
Исследователи разрешили очевидный парадокс, сначала получив данные переписи населения, подтверждающие анекдотические свидетельства. Это показало, например, что все больше фермеров рыли дорогие глубокие колодцы в горных породах.
"Если уровень грунтовых вод действительно повышается, почему фермеры предпочитают платить больше и копать более глубокие колодцы?" - спросила Нандита Басу, профессор гражданской и экологической инженерии. «Это не имело смысла».
Исследователи затем изучили скважинные данные и обнаружили, что те, у которых отсутствовали данные об уровне воды, часто исключались из анализа, поскольку они считались ненадежными.
Когда исключенные скважины были добавлены обратно в смесь, результаты подтвердили данные фермеров о том, что уровень грунтовых вод снижался, а не повышался.
«Они систематически выбирали скважины с большим количеством данных и потенциально игнорировали скважины, которые пересыхали, потому что у них были неполные данные», - сказал Теджасви Хора, аспирант технических наук, который руководил исследованием.
Виновник был идентифицирован как нечто, называемое «предвзятостью выжившего», статистическое явление, которое приводит к исключению отрицательных данных.
Когда колодцы пересыхали, не было уровня воды, о котором можно было бы сообщить. Это создавало пробелы в отчетах по этим скважинам, и их неполные данные затем отбрасывались как худшие по сравнению с полными данными из хороших скважин, которые не иссякли.
Басу, также профессор наук о Земле и окружающей среде и член Института водных ресурсов в Ватерлоо, сказал, что урок, полученный на юге Индии, применим в любой точке мира, где ведется мониторинг и анализ уровня грунтовых вод.
"Наша основная идея заключается в том, что плохие данные - это хорошие данные", - сказала она. «Когда у вас есть скважины с большим количеством отсутствующих точек данных, это говорит вам о чем-то важном. Обратите на это внимание».
«Всякий раз, когда вы сосредотачиваетесь только на полных данных, вы должны сделать шаг назад и спросить, есть ли причина неполных данных, систематическая предвзятость в вашем источнике данных», - сказал Хора.