Блогосфера

Иллюстрация: pixabay

Ложь о статистике

Есть ложь, большая - ложь и ложь о том, что есть ложь, большая ложь и статистика. В Израиле не раз проводились опросы об отношении граждан к религии. Все они более или менее совпадают – и это значит, что рисуемая ими картина соответствует действительности. Отличным примером являются частые предвыборные опросы: их результаты всегда примерно одинаковы. В Израиле это еще можно списать на происки левацкой прессы (хотя это чушь). Но почему в США данные предвыборных опросов от левого канала CNN всю дорогу совпадали с данными от правого канала FOX?

 Я давно собирался совершить акт гражданской доблести – объяснить, почему опросам общественного мнения можно и нужно верить. И вот этот день настал.
Начнем с того, что я, не будучи профессиональным социологом, много лет проработал в рекламе, в том числе политической. Опросы – мой рабочий инструмент. Я их читал и писал. Я знаю, как это делается, и какие подводные камни залегают на этом пути. И я утверждаю, что опросы совершенно незаменимы. У нас просто нет другого способа измерять настроения больших групп людей. Кроме того, этот способ весьма точен. Я знаю, вы хотите услышать ответ на главный вопрос – почему социологи часто не могут предсказать результаты выборов? Потерпите, он будет в конце.
К сожалению, гораздо чаще, чем в установлении истины, люди заинтересованы в охране своего душевного комфорта. Поэтому они склонны игнорировать или стараться дезавуировать данные, противоречащие их представлениям о мире (см. confirmation bias). Опросы часто противоречат – вот и возникает большой соблазн от них отмахнуться. Как быть с теми, что соответствуют? Как ни странно, их ценность для человека менее велика: у него ведь уже есть внутренняя убежденность, зачем ему еще и опросы? Получается, гораздо выгоднее вообще перестать верить опросам – ведь так тебя куда труднее сковырнуть с твоей теплой, насиженной позиции. Но многие, тем не менее, опросам доверяют, скажете вы. Да – люди с большей склонностью к смене позиции и/или с более смелым и аналитическим складом ума.
Есть два основных варианта «антиопросной» позиции. В первом социологи просто ошибаются. Во втором они угождают воле клиента.
Конечно, возможны различные комбинации.
Второй вариант – не что иное, как обыкновенная теория заговора. Хороший опрос организовать непросто. Это дорого (даже в маленьком Израиле, где размер репрезентативной выборки составляет примерно 500 человек, это стоит несколько десятков тысяч шекелей), для этого нужна инфраструктура – помещение, люди, телефоны, и, не в последнюю очередь, банк данных, из которых и берутся эти репрезентативные выборки. Поэтому опросами занимаются институты изучения общественного мнения. Этим институтам нужно на что-то жить. Они должны зарабатывать деньги ежедневно, с утра до вечера. Поэтому основным их клиентом является частный сектор. Когда компания хочет провести исследование рынка, узнать мнение людей о своем продукте или о продуктах конкурентов и т.д., она обращается в институт изучения общественного мнения. Лажа компании не нужна. Ей нужна честная картина происходящего, поэтому компания выбирает институт, обладающий опытом и репутацией. В Израиле есть горстка институтов – большинство из них вам известно – считающихся солидными.
Репутация – главный ресурс в этом бизнесе. Поэтому, если вы предложите институту просто взять «результаты» с потолка, вас спустят с лестницы. Некоторые неоперившиеся политики пробовали. Казалось бы – чем рискует институт? А вот чем: завтра конкурент вашего клиента закажет опрос у другого института и получит противоположный результат. Это будет означать, что кто-то из вас соврал. Ваши основные клиенты из частного сектора не будут разбираться, кто именно. Они просто пойдут в третий институт, чья репутация не подмочена подобными скандалами.
Конечно, это не значит, что результаты всегда будут идентичными друг другу или абсолютно верными. У институтов может различаться методология – например, перед выборами мы часто видим, что данные от одного-двух институтов не вполне совпадают с остальными. Но разница при этом составляет считанные проценты, и, углубившись в методологию, можно понять, чем она вызвана. Кроме того, как и в любой сложной системе, здесь возможны «баги». К примеру, раньше опросы, проводившиеся только на иврите, не давали достаточно четкую картину по русско- и арабоязычным секторам. Другой пример: когда звонить на мобильный было еще дорого, звонили на домашний, и, если это делали в рабочие часы, картина тоже получалась несколько искаженной: по домам сидели, в основном, домохозяйки и пожилые граждане. Поэтому хорошие опросы делались в вечерние часы – но от этого росла их цена. Теперь эти проблемы изжиты.
Безусловно, есть и другие, как в любой области. Не буду сейчас раскрывать отдельную тему вопросов, на которые люди склонны не отвечать честно даже на условиях анонимности – например, потому что им стыдно перед самими собой. Просто поверьте, что социологи в курсе и специалисты стараются этого избегать. Главное – технология опросов постоянно совершенствуется и давно достигла такого уровня, когда на нее, в целом, можно полагаться.
Я также не утверждаю, что результаты опросов нельзя «подкрутить» в сторону, угодную клиенту. Можно, но очень осторожно. Если опрос предназначен не для внутреннего использования, а для пиара, способ «легитимно» добавить несколько процентов туда-сюда найдется. Это может делаться, например, с помощью формулировок вопросов или легкого изменения состава репрезентативной выборки. «Баги», о которых я писал в предыдущем абзаце, тоже могут использоваться сознательно. Явление это редкое, и картину, принципиально отличающуюся от реальности, вы не получите даже таким способом. Тем не менее, это повод не слишком доверять действительно ангажированным опросам – скажем, таким, которые проводит политическая организация с помощью малоизвестного института.
Следует ли с ходу отбрасывать данные таких опросов? Тоже нет. В науке одним из важнейших методов установления истины является метаисследование – такое, которое анализирует данные многих других исследований по определенной теме. То же самое можно самостоятельно проделать с данными опросов.
К примеру, в Израиле не раз проводились опросы об отношении граждан к религии. Вы можете легко найти результаты нескольких таких опросов, заказанных различными организациями и проведенных различными институтами. Все они более или менее совпадают – и это значит, что рисуемая ими картина соответствует действительности. Отличным примером являются частые предвыборные опросы: их результаты всегда примерно одинаковы. В Израиле это еще можно списать на происки левацкой прессы (хотя это чушь). Но почему в США данные предвыборных опросов от левого канала CNN всю дорогу совпадали с данными от правого канала FOX? Можете проверить сами.
Вот мы и добрались до Вопроса Вопросов. Как же выходит, что социологи подчас ошибаются, пытаясь предсказать результаты выборов? И означает ли это, что опросам нельзя доверять вообще?

Праймериз партии «Авода». Фото: Yonatan Sindel, Flash-90

Ответ, на самом деле, прост. Все зависит от того, какой вопрос вы задаете. Обычно социологам задают вопрос: «Что граждане думают по такому-то поводу?» И социологи отвечают на него точно (в вышеописанных рамках). Вы хотите знать, что люди думают? Мы позвонили им, задали вопрос – вот результат. В предвыборных опросах социология тоже вполне точно отвечает на вопрос «За кого граждане хотели бы проголосовать сегодня?» К сожалению, многие думают, будто социологи должны отвечать на вопрос: «Кто победит на выборах через несколько дней?» А это уже зависит далеко не только от настроения людей на данный момент, но и от таких факторов как явка, голосование неопределившихся и т.д.
 Но даже в таких условиях опросы дают на удивление точную картину. На последних выборах в Израиле разница между окончательным результатом «Ликуда» и данными опросов действительно была аномальной. При этом, например, результат «Аводы» был предсказан точно. Скорее всего, эта аномалия стала результатом случившегося в последний момент оттока в Ликуд голосов от других правых партий (прежде всего от Еврейского дома, чей результат оказался заметно хуже, чем по опросам) и не определившихся. Панический монолог нашего нацлидера про арабов и автобусы сделал свое дело. Подобный резкий сдвиг может произойти даже в течение последних суток, когда публикация опросов запрещена. Редко, но бывает. Тем не менее, самые последние опросы, проведенные уже после речи Нетаниягу, успели показать рост «Ликуда».
Если же вы дадите себе труд углубиться в историю (извините, что не привожу ссылки – вы люди взрослые, справитесь сами), то увидите, что данные опросов куда чаще совпадают с результатами выборов. Просто в любой науке аномалия может стать причиной ошибки.
Возьмем еще два примера: выборы в США и «Брекзит». И там, и там разница между данными опросов и реальным исходом была еще меньше – считанные проценты. Трамп победил, благодаря 70 тысячам голосов в штатах, где в последние дни не проводились полноценные исследования – репрезентативные опросы делались только на общенациональном уровне. При этом он проиграл три миллиона голосов в масштабах США. Получается, опросы ошиблись не более чем на 3%, а это уже близко к статистической погрешности. С «Брекзитом» – та же история. Просто в обоих случаях мы имеем бинарный результат: либо победит Трамп, либо Клинтон. Либо сторонники «Брекзита», либо противники. Разница между двумя прямо противоположными исходами может быть мизерной, да только опросы здесь ни при чем.
Вот почему ошибки социологов на этом поприще – вовсе не повод не доверять им в вопросах, касающихся общественного мнения. Доверять надо, особенно учитывая, что других вариантов нет. Отказ признавать данные опросов крайне осложняет обсуждение взглядов и тенденций в обществе, фактически, сводя это обсуждению к обмену тезисами. Вы говорите А, я говорю Б, но кто же нас рассудит? К сожалению, как я сказал в самом начале, многих устраивает именно этот вариант, позволяющий бесконечно долго оставаться в своей зоне комфорта. Но вы ведь не такие, правда?
В нашем следующем выпуске: почему надо доверять СМИ.
P.S.: Важное правило гигиены: ни в коем случае не доверять опросам, не сделанным по всем правилам – например, онлайн-опросам, где нет никакой репрезентативной выборки. Вот такие надо сразу отправлять на свалку истории.
Посты блогеров размещаются на сайте РеЛевант без изменений стилистики и орфографии первоисточника. Исключения составляют нецензурные выражения, заменяемые звездочками. Мнения блогеров могут не совпадать с позицией редакции
Обсудить на Facebook
@relevantinfo
Читатели, которым понравилась эта статья, прочли также...
Закрыть X
Content, for shortcut key, press ALT + zFooter, for shortcut key, press ALT + x