Врут ли календари?
Sep. 6th, 2010 09:38 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
xaxam
Картинки и слова
Соответствующая пропорция 1:1000 хорошо известна. Такова уж мощность графической карты, которую в наш природный компьютер вставил Всевышний Гейтс, по сравнению с процессором с фиксированной точкой.Плохо понятно, почему эта пропорция очевидным образом недоиспользуется.
Вот, например, потепляторы перепихиваются с непотепляторами относительно того, есть ли потепление в доли градуса за десятилетия в динамике температуры. Для этого стороны, вооружась пакетами статистических приложений и применяя формулы разной степени кошерности, исчисляют средние (ну, максимум, по нескольку чисел), после чего сравнивают у этих средних третьи-четвертые значащие цифры.
Между тем есть способ графически представить целиком большие массивы raw data и предложить желающим простo взглянуть на картинку (древние греки, говорят, именно так доказывали геометрические теоремы: делали дополнительные построения и говорили друг другу, - "Взгляни!").
Например, берём Город на Холме, замеряем каждый день минимальную (ночью) и максимальную (днём) температуру, и ставим на график два пикселя: красный и синий. По горизонтальной оси отложено 365 пикселей-дней, по вертикальной оси - 60 пикселей-градусов (от -10 до +50, за каковые пределы температура не вылезала ни разу). И сделать так с годовыми данными за, скажем, 20 лет. Получится две мохнатые извивающиеся гусеницы, - красная повыше и синяя пониже. Среднее, разброс, величина суточных колебаний, годовой профиль - всё окажется немедленно доступным взгляду. После этого желающие понять динамику, могут склеить из этих гусениц мультик в 5-6 кадров, чтобы понять, насколько заметны тренды на фоне случайных факторов. Сделать такую игрушку для любой точки, для которой существуют долговременные наблюдения, - занятие для 9-классника, изучающего Visual Basic. Но почему-то вроде бы никто не сделал...
А если вместо полной картинки со всеми пикселями нарисовать графики усреднений, то получится вот такая хуйня, малята псевдонаучная катринка. Желающие/знающие могут сопоставить её со своими осщущениями и сделать выводы относительно достоверности интернет-данных, осмысленности усреднений и т.п. (обратите внимание на среднюю температуру в мае +38 и среднюю ночную +1 в январе).
NB. На (кликабельной) картинке - данные только по одному году, и на неё есть явный переизбыток информации. Остальные картинки по ссылке ещё хуже.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2010-09-06 07:01 am (UTC)no subject
Date: 2010-09-06 07:24 am (UTC)no subject
Date: 2010-09-06 07:57 am (UTC)no subject
Date: 2010-09-06 08:08 am (UTC)Так вот здесь тоже самое. В городах есть эффект потепления, связанный с заметным, на пару градусов, повышением температуры в городских массивах (кажется, за счет увелечения поверхности излучения тепла за счет стен домов). За 20 лет город увеличился, а соответсвенно в городе будет отмечен эффект местного глобального потепления. Эта же проблема за долговрееменные данные -- метеостанции за 100 лет оказались в городской черте.
А вообще-то изобразить температуру в точности, как в биржевых данных, картинку, которую читать умеет любой биржевик, и каждый желающий умеет поставить на нее дополнительные линии всяких-разных средних.
no subject
Date: 2010-09-06 12:40 pm (UTC)Но и это есть только задача предварительного измерения: пока она не решена, говорить о планетарном разогреве вообще бессмысленно. А потепляторы претендуют на много большее, - ОБЪЯСНЕНИЕ ещё не обнаруженного тренда только одним из микрофакторов...
no subject
Date: 2010-09-06 08:29 am (UTC)Для Ваших пушистых гусениц нужна минимальная и максимальная температура каждый день в течение 20 лет, по постоянной методике. Чтобы определить минимальную и максимальную, наверное, надо мерить часто-часто (раз в час? в четверть часа?) и такие данные будут интересны сами по себе. Компьютер ведь не лопнет от 20*365*24*4 чисел.
2. Когда появляются хотя бы такие среднегодовые графики с отдельных наземных станций, их тут же правильно ругают за локальность эффекта. Впечатление, что корректные многолетние данные просто не существуют. Что же тогда имеют в виду прогнозы, когда сравнивают будущую температуру с "обычной в это время года"? Все вокруг точно знают, что обычно "в это время года", но молчат? Откуда они знают и как бы мне тоже это узнать? "Сравнивать с ощущениями"?
А по Вашей ссылке на "псевдонаучную катринку" - просто вздор, извините. Особенно это понятно, если смотреть нам на ежедневные данные. Действительно, май - отличный пример, почти каждый день 37C днём и 7C ночью. Боюсь даже подумать, где они это мерили.
3. Даже если температура в течение года меняется на 30-40 градусов, долговременное изменение среднего на два - важно. Ну там, сирень начнёт цвести раньше или вообще пальмы вырастут вместо ёлок. Или наоборот, бананы замёрзнут. Вероятность двух ночей подряд с отрицательной температурой за год может зависеть от этих двух градусов очень сильно.
no subject
Date: 2010-09-06 12:34 pm (UTC)Эти станции, разумеется, "покрывают" очень незначительную часть поверхности земли, поэтому их ценность для глобальных климатических моделей весьма низка. Я хотел поставить более скромную цель: показать, как можно графически представить large amount of raw data так, чтобы это было информативно для понимания специфики климата данной точки.
2. Снова повторюсь: мне, как жителю города Х, интересно было бы посмотреть на "гусениц", относящихся к городу Х. Например, на месяц май действительно приходится многох хамсинов, которые "подбрасывают" температуру отдельных дней до 40. Но при нанесении на график многолетних данных я увижу, что красная "гусеница" станет в этом месте пушистее, но вряд ли намного выше. А с синей вроде бы почти ничего не произойдёт. Все эти гипотезы я делаю на основе "жизненного опыта", и интересно было бы посмотреть на соответствующую картинку.
Что же до дурацкого графика на сайте weather.com - я и привёл его именно как пример информации, если не неверной, то по крайней мере совершенно бессмысленной без длительных комментариев про методики усреднения и т.д. Преимущество моих "гусениц", - под ковёр не заметается вообще ничего. Никаких отбрасываний, выборок, интерполяций, ...
3. Я абсолютно не возражаю против важности долговременных трендов. Просто надо понимать, что они означают. Например, с 10^{-3} до 10^{-2} повышается вероятность заморозка на почве, который погнобит помидоры (цифры условные). Кроме того, толщина гусеницы и размеры её годичного изгиба дадут отчётливое представление о сравнительной величине сигнала и фонового шума, который надо как-то отфильтровать. Можно предложить любителям number crunching простенькую подобную задачку: прочитать газету с расстояния в несколько метров через волнистое стекло в плохо освещённом сортире.
no subject
Date: 2010-09-06 01:06 pm (UTC)У людей, которые считают "среднее", такие данные, видимо, есть. Например, в Израиле есть несколько "долгоиграющих" станций (по моей ссылке выше), которые участвуют/участвовали в глобальных проектах. Но вот беда - они нам не рассказывают правду, а только воду мутят.
no subject
Date: 2010-09-06 01:55 pm (UTC)Томские хакеры нам помогут ;-)
(Если честно, то я в это поверить не могу: не может быть, чтоб многолетние результаты замеров температуры в какой-нибудь Гринвичской обсерватории были недоступны на интернете)
no subject
Date: 2010-09-06 02:16 pm (UTC)Когда-то школьником я много сидел в университетской библиотеке, пытаясь восстановить GDP разных стран по косвенным данным. В советских книжках можно было найти только относительные данные ("вырос на X% за N лет" или "на душу населения был Y% от среднего по EC"), и те с трудом. Теперь это всё - на расстоянии мышиного клика. Положение с климатом немного напоминает эту советскую цензуру.
Если бы эти данные в принципе существовали, нашлось бы много интересующихся, которые бы выложили их, и много таких, которые бы их обработали и обсудили до дыр. Но этого нет.
Непараноидальная часть моего сознания подсказывает, что эти данные могут быть коммерческой тайной - некоторые готовы заплатить, чтобы получше спланировать свадьбу на открытом воздухе, например. Текст какой-нибудь книжки-бестселлера, например, иногда трудно найти в интернете. Но неужели доблестные климат-хакеры не справились бы с таким? И как можно развивать нормальную науку на основе коммерчески засекреченных данных?
no subject
Date: 2010-09-06 02:37 pm (UTC)Как бывший матэкономист, я в какой-то момент решил заняться валидацией своих моделей, для чего пролистывал разнообразные Госстатовские справочники типа "Народное хозяйство в СССР в цифрах в 198х году". Там были бесконечные таблицы, но они не только не позволяли проверить баланс или какие-то другие мультипликативные соотношения, но многие индексы, действительно, даже косвенно не удавалось вычислить.
Говорят, был целый отдел в ВНИИГАиКе, который занимался сознательным искажением карт.
no subject
Date: 2010-09-06 02:48 pm (UTC)Неужели с климатом - что-то похожее? Нет, скорее, это всё-таки паранойя, а данных нет потому, что их авторы стыдятся публиковать серии намеренного из-за его очевидно низкого качества.
no subject
Date: 2010-09-07 06:08 am (UTC)А с климатическими данными, если я правильно интерпретирую то, что читал про хакерский скандал, ситуация следующая: данные из разных источников собирались "ручным образом" (Х пишет У-ку, мол, меня интересуют среднеянварские температуры за те годы, что у вас есть, - У, пользуясь теми экселевскими таблицами, в которых у них хранится информация, вырезает столбец и посылает его емайлом Х-у, тот добавляет это дело в свою базу данных. А другой З вместо этого пошлёт Х-у весь файл в csv-формате, и Х должен будет написать кусок кода, чтобы из этого файла вытащиыь именно среднеянварские температуры, и т.д.). Понятно, что выложить всю эту разноформатную гору мусора, канающую под raw data, стыдно.
Я снова к своим "гусеницам" вернусь: их преимущество в том, что придётся иметь дело только с одним источником и только в том формате, в котором эти данные там хранятся. Это никак не поможет выяснению, есть глобальное потепление или нет, но дало бы "широкой интересующейся общественности" наглядное представление о том, каковы в реальности суточные и сезонные колебания, какова интенсивность шумов и какой величины сигнал (если он есть) надо из этой какофонии выделить.
Ну, и кроме того, это было бы полезной информацией для путешественника, собирающего чемодан для поездки в данную местность в данное время.
no subject
Date: 2010-09-07 07:38 am (UTC)Хотя, иногда эта самая корректность видна даже по годовым циферкам - посмотрите, например, на Бейрутский график. Там есть есть перерыв в сороковые годы, за время которого произошло явное похолодание. В творческой обработке подобных сомнительных серий и состоит работа бедняг-климатологов.
no subject
Date: 2010-09-07 06:12 am (UTC)no subject
Date: 2010-09-07 07:53 am (UTC)no subject
Date: 2010-09-07 11:27 am (UTC)no subject
Date: 2010-09-06 12:07 pm (UTC)no subject
Date: 2010-09-06 06:48 pm (UTC)no subject
Date: 2010-09-07 05:29 am (UTC)no subject
Date: 2010-09-07 05:54 am (UTC)Ну, или хотя бы можно ли со спутника определить температуру верхних слоев воды в океане?
no subject
Date: 2010-09-07 10:20 am (UTC)Дальше: а откуда ты знаешь коэффициент излучения? У воды он, конечно, известен, но боюсь, что он зависит от размера волн/ряби/пены, который не очень известен. На земле его можно наверное измерить по тому как это выглядит днем. В видимом свете это очень просто, т.к. днем ты видишь только освещенность* коэффициент отражения, в IR - сложнее. Но и в видимом свете на самом деле не так просто, потому что довольно быстро этот коэффициент меняется (не говоря уж про сезонные изменения, мокрая земля отражает/излучает совсем не так, как сухая, соответственно, надо закладываться на выпавшую росу)
no subject
Date: 2010-09-07 10:38 am (UTC)no subject
Date: 2010-09-07 10:59 am (UTC)Температура воды имеет гораздо меньшую суточную вариабельность, поэтому её, навернное, можно мерить ночью в IR-диапазоне? неясно, правда, какова точность таких измерений.
С другой стороны, они должны быть дёшевы. Может, какой-то смысл в них и есть?
no subject
Date: 2010-09-07 01:22 pm (UTC)Смысл, наверное, есть. Можно получить очень высокую резолюцию и усреднять по координате, таким образом уменьшить ошибку.