xaxam: (Default)
[personal profile] xaxam

И снова за науку

Когда-то, в романтические времена, когда наукой занимались из любопытства, попытка повторить революционный эксперимент в своей лаборатории была скорее нормой. Да и учёные журналы не гнушались публиковать письма типа "Мы воспроизвели эксперимент профессора Х и тоже обнаружили замеченные им эффекты." Дальше приводились технические данные, которые тоже могли быть интересными (условия эксперимента редко удавалось воспроизвести абсолютно точно, а то, как зависела сила наблюдаемого эффекта от конкретных параметров, часто бывало ключом к пониманию).

Сегодня такое поведение кажется почти немыслимым, разве что в рамках наукометрических исследований. Никакой грант под такую деятельность не получить, а и получишь, так лучше потратить на что-нибудь другое, там, где есть надежда обойти конкурентов. И если отрицательный результат (результаты группы профессора У не удалось подтвердить) ещё как-то можно "продать" в журнал, положительным результатом можно будет только подтереться. Так зачем рисковать?

Воспроизводимость медицинских данных - притча во языцех, но это по крайней мере объясняется невозможностью воспроизведения условий, и хорошие медики сами это понимают. Разнообразие людей таково, что надёжные статистические выборки, сглаживающие флуктуации, должны быть колоссальными, а в рутинной ситуации опытная и контрольная группа - максимум, десятки людей разных возрастов.

В географии вроде бы такой проблемы не должно было быть, все изучают один объект - планету Земля, существующую в единственном экземпляре (правда, с богатым прошлым). Но тут засада в размерах объекта и его сложности: большинство "профессиональных" работ посвящено весьма конкретным вопросам, - замерам параметров Гольфстрима на таком-то участке, динамика ледяного покрова конкретного ледника, попытка реконструировать содержание СО2 в атмосфере в далёком прошлом по содержимому пузырьков воздуха, вмороженного в антарктические льды. Как свести данные десятков тысяч работ в одну общую картину, - задача крайне трудная, но даже если этим "пренебречь", откуда мы знаем, что фрагменты мозаики не искажены до неузнаваемости ошибками в методике, неправильной калибрацией, да чем угодно? И это в предположении, что сами авторы и их интеграторы не вносили bias своими априорными представлениями о том, "как должно быть". В медицине для этого давно придумали двойной слепой метод, не хотелось бы, чтобы его распространили на прочие науки, но если политизация и поляризация пойдут такими темпами дальше, другого выбора не останется.


Я попытался было посмотреть на каком-нибудь конкретном примере, как устроено "разделение труда", и есть ли реальный supermarket of ideas, который стал синонимом научного плюрализма ("Как занимающийся наукой человек вы, конечно, понимаете, что 100% единство мнений есть только в гробу. Но в дискуссии я не хотел бы вдаваться..."). Конкретно мне стало интересно происхождение вот этой вот картинки с сайта NASA, про палеодинамику концентрации СО2 в атмосфере по данным, полученным из антарктических льдов (спасибо [livejournal.com profile] anitka_rrза наводку). Причина, по которой такая картинка вызывает подозрения, предельно проста: на протяжении 400 тысяч лет колебания концентрации зажаты между двумя параллельными прямыми (нижняя граница - просто идеальная, верхняя - почти идеальная). Периодические процессы могут быть обусловлены массой причин, но с какого переляку нет никакого "миллион-летнего дрейфа"? Что такое оставалось стабильным на протяжении полумиллиона лет, что заставляло концентрацию колебаться между отметками 180 и 280?, сделав пять точных оборотов (прежде, чем современное человечество распоясалось и начало выбрасывать что попало)?

Ответ лежит не в палеогляциологии, а в том, что есть, грубо говоря, две-три лаборатории, которые монополизировали эти анализы. Они друг с другом состязаются, кто возьмёт больше проб и замеров с разных антарктических скважин, но при этом меряют одними и теми же методиками одни и те же вещи, которые отнюдь не являются той величиной, которая изучается, а всего лишь proxy, т.е., то, что должно по нашим представлениям хорошо коррелировать с измеряемой величиной. Как пересчитывать прокси в наличные? Достали пузырёк воздуха из толщи льда, которой по (более или менее надёжным) оценкам полмиллиона лет, померили там содержание СО2. Что можно сказать о том, какая реально была концентрация СО2 в атмосфере, когда пузырёк образовался? Диффузию из газа в твёрдое тело никто не отменял, но надо знать, каким были температурный режим, давление на глубине, температура скального основания (Земля всё-таки изнутри подогревается, да?). Есть ли у нас достоверная модель отвердения снега в вечный лёд? Ну разумеется. Вот.

Модель совершенно феноменологическая, - все соотношения либо линейные, либо степенные. Коэффициенты, показатели степени - те, которые не следуют немедленно из соображений подобия и размерности, - эмпирические константы, три значащие цифры в лучшем случае. В каких диапазонах эта эмпирика получена - надо залезать уже настолько глубоко, что жалко времени. Существенно два обстоятельства, точнее, одно. Модель написали и те же люди, которые с её помощью обсчитывают палеоклимат, и они калибруют её по своим же экспериментальным данным. И нет никакой альтернативы, никто другой не пытался этот пузырёк во льду обсчитать.

По сути дела мы имеем дело с одним-единственным подходом, практикуемым в рамках одной и той же команд (возможно, разбитой на несколько групп в разных лабораториях). Обвинять их в том, что они "подгоняют" что-то под ответ было бы неверно: то, что им удаётся, делая не слишком нереалистические дополнительные предположения о неизвестных параметрах и процессах, вообще получить что-то, по порядку величины похожее на правду, - уже само по себе триумф науки. Но проблема именно в том, что откалибровать теорию под единственный эксперимент, но получишь именно то, что собирался получить. Для интерполяции нужно как минимум две "точки", а для того, чтобы убедиться, что линейная зависимость, предсказываемая теорией, в самом деле имеет место, надо иметь несколько независимо поставленных экспериментов, обработанных в рамках нескольких возможных моделей. Судя по библиографии - этого нет или происходит весьма редко; в лучшем случае, на самом верхнем уровне, когда пишутся executive summary.

Вроде бы среди читателей "ХВ" представители самых разных профессий, с самыми разными традициями. Как у вас обстоят дела с second opinion? Часто ли бывают случаи, что опубликованная "в приличном месте" статья вызывает пожатие плеч, мол, знаю я эту компанию, они давно сову на глобус натягивают, и их результаты мне не указ и даже не повод перепроверить свои данные?

В математике такая проблема тоже есть, но, как всегда, со своей спецификой. Истории про то, как обнаруживались ошибки в "эпохальных" работах, часто бывают захватывающе драматичны.

С моей колокольни

Date: 2018-01-24 05:20 pm (UTC)
From: [personal profile] malobukov
Я совсем не климатолог, но на данные в своё время посмотрел самостоятельно слегка вооружённым глазом, потому что верить никому нельзя. Увидел следующее.

Изменение климата таки есть. Урагана Сэнди и вызванного им наводнения в Нью-Йорке, например, вообще не могло быть с точки зрения модели, построенной по историческим данным в предположении о стационарности процесса (постоянстве климата в среднем). Аналогичная фигня с ледяным покровом и температурой, реально меняются и довольно быстро. Если кто-то с этим спорит, значит просто человек не смотрел самостоятельно на данные, а цитирует какую-то пропаганду.

С другой стороны никакой особенной уникальности у сегодняшнего дня нет. Можно пойти в историю и найти там периоды с температурой повыше, с углекислым газом выше, и вообще всё что угодно можно найти. Разговоры про необычную скорость изменений считаю агитпропом, просто потому что в исторических данных нет такого разрешения по времени. Никто не знает, как быстро скакала температура и содержание CO2 в палеозое, плюс-минут сотня лет там намного меньше погрешности измерения.

К климатическим моделям отношусь с большим подозрением, потому что вытащил предсказания образца 1992-го и то, что мы видим сейчас, оказывается за пределом доверительного интервала (модели предсказывали, что рост уровня океана будет намного больше).

К согласию учёных тоже отношусь скептически. Перед экономическим кризисом 2007-2008 годов большинство экономистов предсказывали его отсутствие на основании настолько же научных моделей. О каком третьем знаке после запятой может идти речь, если потом Moody's ошибается в оценке риска на два порядка.

Re: С моей колокольни

Date: 2018-01-24 06:56 pm (UTC)
stas: (Default)
From: [personal profile] stas
Тут ещё надо учитывать вполне прикладную экономику. Грубо говоря, Мудям платили хорошие бабки за то, чтобы они ошиблись в оценке риска, и если бы они в ней не ошиблись, то эти бабки бы заплатили кому-то другому, и они ошиблись бы точно так же. Т.е. там некая комбинация из "мы не очень-то понимаем, как вообще просчитывать эту неведомую херню" и "если мы сделаем предположение А, то получим $овердохера миллионов, а если предположение Б, то важный клиент обидится и уйдёт к конкурентам". При этом твердокаменных причин, позволяющих выбрать А или Б, нет, так что немного поскрипя сердцем и приглушив совесть, у гипотезы Б не остаётся никаких шансов.
From: [personal profile] malobukov
Если написать чего-нибудь против антропогенной природы изменения климата, то скажут что неуч и отберут гранты. Это ж не математика, где доказательство теоремы можно проверить.
stas: (Don't panic!)
From: [personal profile] stas
Ну да, конечно, эту часть я не упомянул за очевидностью :) В экономике, впрочем, реальность заявляет свои права довольно быстро, на временном промежутке в десятки лет уже становится видно, кто есть ху. А с климатическими моделями сложнее - ну, модели 90-х универсально провалились, так у нас есть модели 2000-х, уточнённые, потом 2010-х, и т.п. - всегда можно говорить, что уж вот теперь-то мы... Такой катастрофической точки перелома, как с Мудями, тут нет.
ymarkov: (Default)
From: [personal profile] ymarkov
на временном промежутке в десятки лет уже становится видно, кто есть ху.

Какой Вы оптимист :-) Если бы это было совсем так, то, например, Кругмана бы уже давно никто не слушал – если бы он сам не заткнулся от стыда навсегда.

А сколько вокруг неокейнсианцев, которые Кейнса (который, кстати, был весьма умён), даже не могут правильно пересказать! Тьфу!

пришел вот по ссылке

Date: 2019-04-11 02:35 am (UTC)
signamax: (Default)
From: [personal profile] signamax
до 60% публикуемых статей в биомед журналах - это хуйня
причем цифра официальная
все о ней знают но все делают вид что они в тех 40%

что до температуры.
графики которые я видел были - даже самые лучшие - это большой разброс с трендом за последние типа 100 лет повышение средней температуры на 0.2 градуса.
при мне было что придирались (с обоснованиями) к этим графикам и говорили что они там подкорректированные
ну хрен с ним - предположим что самые самые графики (даже подкорректированные насколько хватило фантазии) показывают тренд за последние 100 лет на 0.2 градуса.

я всем предлагаю мысленный эксперимент - вы идете в ближайшую больницу и говорите в приемном отделении что за последний год усредненный показатель ежедневных замер температуры в разных частях вашего тела показал повышение на 0,2 градуса. потребуйте немедленной госпитализации и начинания спасительных мер.

ну сейчас то времена вегетарианские - а вот как раз 100 с небольшим лет назад вас бы обернутого в мокрую простыню поместили в одну палату с йосефом швейком.

Profile

xaxam: (Default)
xaxam

January 2026

S M T W T F S
     1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 222324
25262728293031

Style Credit

Expand Cut Tags

No cut tags
Page generated Jan. 22nd, 2026 09:29 am
Powered by Dreamwidth Studios