Об леденение
Jan. 24th, 2018 02:45 pm
И снова за науку
Когда-то, в романтические времена, когда наукой занимались из любопытства, попытка повторить революционный эксперимент в своей лаборатории была скорее нормой. Да и учёные журналы не гнушались публиковать письма типа "Мы воспроизвели эксперимент профессора Х и тоже обнаружили замеченные им эффекты." Дальше приводились технические данные, которые тоже могли быть интересными (условия эксперимента редко удавалось воспроизвести абсолютно точно, а то, как зависела сила наблюдаемого эффекта от конкретных параметров, часто бывало ключом к пониманию).Сегодня такое поведение кажется почти немыслимым, разве что в рамках наукометрических исследований. Никакой грант под такую деятельность не получить, а и получишь, так лучше потратить на что-нибудь другое, там, где есть надежда обойти конкурентов. И если отрицательный результат (результаты группы профессора У не удалось подтвердить) ещё как-то можно "продать" в журнал, положительным результатом можно будет только подтереться. Так зачем рисковать?
Воспроизводимость медицинских данных - притча во языцех, но это по крайней мере объясняется невозможностью воспроизведения условий, и хорошие медики сами это понимают. Разнообразие людей таково, что надёжные статистические выборки, сглаживающие флуктуации, должны быть колоссальными, а в рутинной ситуации опытная и контрольная группа - максимум, десятки людей разных возрастов.
В географии вроде бы такой проблемы не должно было быть, все изучают один объект - планету Земля, существующую в единственном экземпляре (правда, с богатым прошлым). Но тут засада в размерах объекта и его сложности: большинство "профессиональных" работ посвящено весьма конкретным вопросам, - замерам параметров Гольфстрима на таком-то участке, динамика ледяного покрова конкретного ледника, попытка реконструировать содержание СО2 в атмосфере в далёком прошлом по содержимому пузырьков воздуха, вмороженного в антарктические льды. Как свести данные десятков тысяч работ в одну общую картину, - задача крайне трудная, но даже если этим "пренебречь", откуда мы знаем, что фрагменты мозаики не искажены до неузнаваемости ошибками в методике, неправильной калибрацией, да чем угодно? И это в предположении, что сами авторы и их интеграторы не вносили bias своими априорными представлениями о том, "как должно быть". В медицине для этого давно придумали двойной слепой метод, не хотелось бы, чтобы его распространили на прочие науки, но если политизация и поляризация пойдут такими темпами дальше, другого выбора не останется.
( мелким шрифтом raw data )
Вроде бы среди читателей "ХВ" представители самых разных профессий, с самыми разными традициями. Как у вас обстоят дела с second opinion? Часто ли бывают случаи, что опубликованная "в приличном месте" статья вызывает пожатие плеч, мол, знаю я эту компанию, они давно сову на глобус натягивают, и их результаты мне не указ и даже не повод перепроверить свои данные?
В математике такая проблема тоже есть, но, как всегда, со своей спецификой. Истории про то, как обнаруживались ошибки в "эпохальных" работах, часто бывают захватывающе драматичны.
