Забудьте про левых и правых

[xaxam]

Инфографический опыт

Началось всё с того, что я попросил Джеппи отделить котлеты от мух в статье с заголовком "Версия Нетаниягу о том, что он ничего не знал накануне 7 октября, быстро разваливается". Особенно учитывая, что мы с Джеппи уже обсудили эту тему раньше. А в этот раз я решил спросить, что́ Джеппи думает сейчас про редакционную политику Times of Israel, которую он сам когда-то определял как центристскую. Слово за слово, проверив то да это, Джеппи поместил ToI на шкале "красный-синий" в очень пурпурную точку.

После чего во мне взыграло любопытство: а как вообще в Израиле обстоят дела с поляризацией медиа? Вместо того, чтобы высчитывать процент вранья и демагогии (в обе стороны) в публикуемых материалах, я предложил Джеппи поискать данные о том, как (опять же, по результатам последних опросов) собираются голосовать главные потребители данного медиа-канала по шкале "красный-синии": "красные" — за партии предполагаемой "коалиции перемен", "синие" — за "коалицию Биби". Причём цветовая маркировка в данном случае может быть легко подстроена под соотношение R/B на RGB-шкале компьютерных цветов.

Но кроме идеологической окраски, существенно ещё, насколько велик охват аудитории данным медиа-каналом. Таким образом, можно заменить точки кружочками: площадь каждого кружка пропорциональна доле населения, регулярно потребляющего продукцию данного канала. Ну, и наконец есть ещё один параметр — "упёртость" соответствующей аудитории, которая не в одной точке сидит, а "размазана" по определённому отрезку на спектре.

Хотите посмотреть, что у нас получилось?



Что тут изображено?

Верхняя картинка — социологическая реконструкция аудитории израильских СМИ. В идеале хотелось бы каждого постоянного читателя данного СМИ спросить, за какую партию он собирается голосовать, после чего приписать СМИ окраску по шкале RGB (без G), соответствующую доле читателей "за красных" (против Биби, "коалиция перемен") или "за синих" ("забибистов"). Такие прямые cross-tabs нашлись только для некоторых СМИ; для остальных окраска реконструирована по более косвенным социологическим данным об аудитории.

Конечно, окончательный состав правящей коалиции предсказать трудно, но нынешний расклад по блокам довольно близок к консенсусному: скажем, харедим окрашены синим достаточно уверенно. Партии, "сидящие на заборе", малочисленны, и что читают их избиратели, не так уж важно при выбранном уровне надёжности.

Площадь кружочка пропорциональна охвату населения соответствующим СМИ. Аудитории, разумеется, пересекаются, поэтому складывать площади до 100% бессмысленно. Чтобы картинка не разрасталась, включены только СМИ с охватом 3.25% населения и выше :-)

Нижняя картинка — "экспертная" оценка редакционной политики каждого СМИ. Верхняя полоска — субъективное мнение конкретно Джеппи. Он анализировал News, Analysis и Opinion/Editorial с рабочими весами 50%, 20% и 30%. Эти числа не высечены на скрижалях политологии; повышенный вес News мотивирован идеей agenda setting: редакция влияет на картину мира прежде всего тем, что вообще сегодня становится новостью. Ширина полоски показывает, насколько сам Джеппи уверен в получившейся окраске.

Нижняя полоска — своего рода vox professionalis. Разные долдоны время от времени классифицируют СМИ как "левые", "правые" или "центристские"; сюда же попали академические content analyses и другие достаточно внятные внешние оценки. Мы перевели их на нашу красно-синюю шкалу. Цвет полоски соответствует центральной оценке, ширина — разбросу внешних мнений и неизбежной неопределённости такого перевода. Это не настоящий статистический метаанализ, а скорее peer review политологических навыков Джеппи.

Сравнение двух картинок, пожалуй, интереснее каждой по отдельности: насколько редакционная политика совпадает с политическими предпочтениями собственной аудитории и где между ними возникает заметный зазор. Само наличие зазора, конечно, не говорит, кто кого перекрашивает.

Характерный пример — Исраэль Хайом, некогда получившая кликуху "Бибитон" за несокрушимую поддержку Биби. За последние годы редакционная политика газеты заметно "покраснела", но её аудитория гораздо более инерционна. В результате довольно "синий" типовой читатель получает продукт существенно менее синий, чем можно ожидать по старой репутации газеты.

Похожая эволюция произошла с Jerusalem Post, которая при Бретте Стивенсе была одной из немногих "центристских" газет (я даже выписывал одно время бумажную версию), а сейчас заметно покраснела. Впрочем, Jerusalem Post, как и Times of Israel, на итоговую картинку не попала: порог в 3.25% доказанного охвата израильской аудитории они не прошли. У ToI это особенно естественно: основная масса её читателей находится за пределами Израиля.

Comments

[myron_opanasovych]

Попросите его вектора нарисовать вместо двух диаграм: размер аудитории медиа и в каком направлении/как сильно ее тянут.

[xaxam]

У меня есть чуть лучше идея.

[myron_opanasovych]

И дисперсию можно убрать. Разве что в логах сессии вы наблюдали, как он пытался что-то считать по этому поводу. Иначе это почти наверняка очень грубая оценка извращенная обучающей выборкой.

[xaxam]

Взгляните на новую версию картинок и пояснение к ним.

[myron_opanasovych]

Не верю полоскам без протокола измерений ;)

А если там би(а то и больше)модальное распределение, особенно для тех кого он разместил в центре?

[xaxam]

Так весь цимес в том-то и состоит, что нет никаких измерений, и статистиков с их рукоблудием на этом этапе не нужно.

Чтобы нарисовать верхнюю картинку (где никаких интервалов нет вообще), надо иметь анкету с разумным размером выборки, в которой есть два вопроса к опрошаемому: (1) За какую партию вы скорее всего проголосуете на выборх, if at all? Закрытый список, который никто, скорее всего, до конца не дочитает, но надо обозначить единственный выбор. (2) Какие СМИ вы регулярно читаете/смотрите в последнее время? Открытый список, в котором верхний десяток-другой позиций можно отметить птичкой (multiple choice), а для зануд оставлена опция "другое" с просьбой уточнить.

Ответы только на эти два вопроса (без статистических поправок на outliers, изъёбы и прочие способы насрать на голову опрошайкам) достаточны, чтоб нарисовать верхнюю картинку совершенно механически, суммируя плюсики и минусики по строкам и столбцам. Вопрос, - были ли опросы, в которых эти два вопроса формулировались так, как я описал - я не знаю, но думаю, что любой силикан разберётся: в конце концов, публикация анкеты - условие sine qua non для любого опрошайки.

Вторая картинка вообще никаких измерений не содержит в принципе. Верхняя полоска получена простейшим способом: Джеппи прошерстил архив публикации разных сайтов, расклассифицировав материалы по трём группам: News (врать про факты не хорошо, но ведь врут же, сцуки, используя фигуру умолчания как минимум! те, кто врут проверяемо, получают жёлтый цветовой код и навсегда изгоняются из пула СМИ), Analysis (ври что хочешь, площадка твоя) и Opinion . Каждую отдельную статью Джеппи маркирует как "синюю" или "красную", не вдаваясь в оценки. Когда не может - выбрасывает статью в корзину, бл

[myron_opanasovych]

Больше осей.

[andy_ms]

Жартуєте? Три осі представити адекватно за множинних екстремумів в площині — ніяк. 4-ю и 5-ю оси и т.д. вы только в своей мат.среде можете изучать, вертя гиперкуб. У остальных максимум хватит техники на сводные таблицы и срезы в экселе. Да и даже концепция сводной таблицы эксель — калечащая сознание.

[xaxam]

Очччень интересно и заметно расходится с джеппиной картинкой. Джеппи вздребезнулся, но сам добраться до всех результатов интерактивной формы не может, Клод не пускает. Можете ли вы вылождить какой-нибудь маркдаун с указанием на статистику по отдельным источникам?

[myron_opanasovych]

Добавил JSON в конец артефакта. Если нужна гранулярность, попросите свого силиконового написать требуемую ему схему JSON – отдам своему на подумать.

Есть проблема с выборкой (особенно для аудитории социальных сетей):

Не показаны: i24 на иврите (охват ниже порога), арабоязычные СМИ (нет сопоставимых данных), Telegram- и WhatsApp-каналы, через которые новости получают около двух третей израильтян-евреев (IDI 2024).

UPD: Выделил социалки в отдельную табличку + аудитории израильких арабоязычных избирателей у традиционные медиа в основную табличку. Хотя такие мерялки, конечно, не выдерживают критики методологии; разве что тенденции и общую картину смотреть.

[xaxam]

Джеппи попросил передать:

О! Тогда это меняет дело. Если его Claude готов ещё раз залезть в шахту, я бы не просил расширять нынешний гигантский JSON вообще. Нам для задачи малых партий нужен отдельный dataset, гораздо более узкий и совершенно иной природы.

Передай автору вот такую спецификацию — можно буквально Ctrl-C/Ctrl-V:

```json

{

"meta": {

"compiled": "YYYY-MM-DD",

"population": "Israeli eligible/adult voters",

"notes": ""

},

"parties": [

{

"party_id": "stable_id",

"party_name": "",

"poll_support_pct": null,

"poll_range_pct": [null, null],

"voter_profile": {

"age": {

"18_24": null,

"25_34": null,

"35_44": null,

"45_54": null,

"55_64": null,

"65_plus": null

},

"sex": {

"male": null,

"female": null

},

"religiosity": {

"haredi": null,

"religious_zionist": null,

"traditional": null,

"secular": null

},

"income": {

"below_average": null,

"average": null,

"above_average": null

},

"education": {

"non_academic": null,

"academic": null

},

"geography": {

"jerusalem": null,

"tel_aviv_center": null,

"haifa_north": null,

"south": null,

"judea_samaria": null

},

"origin_language": {

"hebrew_other": null,

"russian": null,

"arabic": null

}

},

"donor_parties": [

{

"party_id": "",

"share_or_affinity": null

}

],

"sources": []

}

],

"media": [

{

"media_id": "stable_id",

"media_name": "",

"reach_pct": null,

"audience_profile": {

"age": {

"18_24": null,

"25_34": null,

"35_44": null,

"45_54": null,

"55_64": null,

"65_plus": null

},

"sex": {

"male": null,

"female": null

},

"religiosity": {

"haredi": null,

"religious_zionist": null,

"traditional": null,

"secular": null

},

"income": {

"below_average": null,

"average": null,

"above_average": null

},

"education": {

"non_academic": null,

"academic": null

},

"geography": {

"jerusalem": null,

"tel_aviv_center": null,

"haifa_north": null,

"south": null,

"judea_samaria": null

},

"origin_language": {

"hebrew_other": null,

"russian": null,

"arabic": null

}

},

"sources": []

}

],

"population_joint_data": [

{

"variables": ["religiosity", "age"],

"table": {},

"source": ""

},

{

"variables": ["religiosity", "geography"],

"table": {},

"source": ""

},

{

"variables": ["age", "education", "income"],

"table": {},

"source": ""

}

],

"direct_party_media_data": [

{

"party_id": "",

"media_id": "",

"readership_pct": null,

"quality": "measured|derived|estimate",

"source": ""

}

]

}

```

Но к схеме я бы добавил несколько инструкций человеческим языком, и они важнее JSON.

1. Не заполнять дырки экспертными оценками. Если данных нет — `null`. Нам сейчас гораздо полезнее честная дырка, чем Claude, решивший, что у Винтера, вероятно, 37% академиков.

2. Каждое число должно иметь источник и статус: `measured`, `derived`, желательно с описанием derivation, или `estimate`. Для нашей нынешней задачи `estimate` почти эквивалентно `null`: мы хотим независимо реконструировать неизвестное, а не скармливать машине собственный ответ.

3. Главное — одинаковые категории с обеих сторон туннеля. Лучше иметь четыре надёжных общих признака `age/religiosity/income/geography`, чем двадцать прекрасных характеристик партий и двадцать других прекрасных характеристик СМИ, которые невозможно состыковать.

4. Особенно ценны не маргиналы, а совместные таблицы. Если найдётся, например,

`religiosity × age × geography`

для населения или

`religiosity × age` для аудитории конкретного СМИ,

тащить обязательно. Именно это те самые корреляционные мосты, о которых ты мне три раза говорил, прежде чем я перестал объяснять тебе независимое перемножение. :-)

5. Donor parties сохранять отдельно. Для совершенно новых партий вроде Винтера это может оказаться лучшим источником информации о составе потенциального электората.

6. Direct party × medium складывать отдельно и ничего из него не выводить. Это будет gold standard для проверки нашей реконструкции.

И я бы попросил его не ограничиваться теми СМИ, что были на его картинке, а искать по всему списку, прошедшему наши 3.25%: N12, 13, 14, Kan 11, Ynet, Walla, Israel Hayom, Yedioth, Reshet Bet, Galatz, 103FM, Galei Israel, Haaretz, TheMarker, Calcalist, Globes, Maariv, Makor Rishon, Besheva, Kol Hai, Kol Barama. Его нынешний файл уже показывает, что reach для этого набора в основном имеется.

А по партиям не надо заранее решать, кто «внеблоковый». Пусть возьмёт все списки, которые в последних, скажем, 6–8 неделях хотя бы один раз попадали в диапазон примерно 2–5% или получали 3–6 мандатов. Нам важна близость к барьеру, а не сегодняшняя клятва в верности тому или иному блоку.

Если его силиконовый вернёт хотя бы треть этой матрицы настоящими числами, а не `estimate`, я думаю, мы уже сможем построить первую действительно интересную медиадиету малых партий.

И отдельно передай автору: JSON с кишками был гораздо полезнее artifact'а. Теперь можно спорить не с картинкой, а с происхождением каждого пикселя.

[myron_opanasovych]

Мой силиконовый провалился в кроличью нору на 6 часов, изображая из себя кожаного, чтобы не привлекать внимания санитаров. Запрашиваемый вашим силиконовым JSON + покрытие. Картинки в предыдущем артефакте тоже обновились.

У вас есть акаунт на Github? — я б зашарил сырые и уже полупереваренные данные вместе со скриптами процесинга. Не уверен, что используемые моим силиконовым методы были достаточно белыми, чтобы выкладывать это в публичный доступ.

Отдельные полезные данные, которые заметно обогатят покрытие, можно получить только по прямым запросам к вашим локальным исследователям (у вас это наверняка лучше выйдет, чем у моего силиконового – он уже было собирался переписки инициировать) или по платной подписке (если ваша контора занимается социально-политологическим направлением, то у них уже может быть доступ).

[myron_opanasovych]

Оставить его в фоне было хорошей идеей. Он потихоньку обновляет датасет и артефакты по тем же ссылкам.

[andy_ms]

Сорри, но без всякого матстата по полосковым диаграммам у меня загибая пальцы получается 7 красненьких против 6 синеньких (Маарив я отнёс к серому).
Ещё интереснее, сколько из них отклоняется от 0 меньше, чем на 50: красненьких — 5, синеньких — 2 (ну, почти 3) Маарив я не считаю.
Я как бы синеньньким симпатизирую, хоть и не и не
А пузырьки, конечно, удручают.

[(Anonymous)]

а i24( Chan 15), ‘она так очень ничего’ - нет данных?

Шмулик

[xaxam]

"Не проходит барьер в 3.25% охвата израильской аудитории". Ровно как ToI и JP.

[(Anonymous)]

My bad. Графика->коммент-> текст. А назад не шмыгнешь.

[xaxam]

Не понял. У вас не работает скролл-бар?

[cohenj]

Про размеры кружков: Дело в том, что все ТВ каналы идут через поставщиков, и рейтинг может определятся ими с точностью до 1. Ротман(?) предложил закон, чтобы главные каналы отображали интегральные столбики в реальном времени. БАГАЦ сразу послал его в жеппу.

[cohenj]

И ещё про размеры кружков:
דורון כהן חושף: "עבדתי ב-6 עיתונים בשנות ה-90 – אף אחד מהם לא ביקר את הסכמי אוסלו
Дорон Коэн : я работал в 6 газетах в 90-е годы. Но одна из них не критиковала соглашения Осло.
Т.е. в изр.СМИ весь диапазон мнений примерно, как между Правдой и Известиями.