Искусство проводить опросы

sapojnik — 25.09.2014 Посмотрел соцопрос Навального по Украине - http://nakontrole.org/news/5354. Результаты были бы любопытны для анализа, однако непонятно, как это обсуждать, коль вообще не была представлена методика. Из поста Навального неясно даже, какой был опрос – поквартирный, уличный, телефонный, не говоря про иные детали. Ясно лишь, что опрос проводили «волонтеры».

Сам Навальный посчитал нужным отметить лишь одно конкретное достоинство своего опроса, но и то сделал крайне неловко: «Даже (!- А.Р.) специальный интервьюер с украинским языком был». В каком смысле «даже»? Это что ж, был один интервьюер с украинским на две густонаселенные области?

Информации о методике крайне недостаточно, однако кое-что можно реконструировать на основании презентации. И первое, что бросается в глаза – Навальный своих волонтеров абсолютно не жалеет! Опрос в той форме, в какой представлен, чрезвычайно трудоемок – причем как для интервьюера, так и для обработчика. Вот что значит бесплатный труд! Мы – обычные профессиональные социологи – вынуждены при составлении анкет считаться с трудозатратами исполнителей: ведь чем сложнее собирать и обрабатывать данные, тем больше за это придется платить, а бюджет опроса, как правило, весьма и весьма скудный.

Видимо, с волонтерами все не так. «Люди ведь все равно на оплату не претендуют – так почему бы не нагрузить их по полной?» - так, видимо, рассуждали организаторы «идеального опроса».

Что я имею в виду? Прежде всего то, что почти все вопросы Навального – открытые или, в крайнем случае, полуоткрытые. Мы же, социологи, чаще предпочитаем – особенно при массовых опросах – задавать вопросы закрытые, то есть такие, в которых УЖЕ ЕСТЬ все возможные варианты ответа.

Пример закрытого вопроса:

1. Для Вас Путин – это…
Национальный лидер……….. 01
Коррупционер……………….02
Поджигатель войны…………03
Кто это? ………………………04
Другое…………………………05
Затрудняюсь ответить ………99

Соответственно, открытый вопрос будет выглядеть так:

1. Для Вас Путин – это __________________________________________ .

Конечно, закрытые никому не нравятся – так как понятно, что практически на любой вопрос есть не один, не два, не десять, а бесчисленное множество вариантов ответа, и хороший ученый при сборе данных всегда хотел бы иметь вариантов как можно больше. Однако у закрытого вопроса есть огромное практическое преимущество, перекрывающее все его теоретические недостатки – собирать и обрабатывать ответы на закрытые вопросы просто и, что не менее важно, быстро.
Обвел кружком правильный ответ – и вуаля! А вот при открытом вопросе масса сложностей. Возьмем пример из рассматриваемого опроса Навального: «Скажите, пожалуйста, как вы понимаете слово «Новороссия»? Видимо, это выглядело так:
Скажите, пожалуйста, как вы понимаете слово «Новороссия» _____________
__________________________________________________________________

И что? Опрашиваемый (какая-нибудь бабуля возле Привоза) начала говорить, а интервьюер пристроил анкетку на коленке и начал быстренько конспектировать ее ответ? А все ли интервьюеры у Навального обладают навыками стенографии? Боюсь, что не все.

Или интервьюеры записывали ответы на диктофон? Неплохо, но диктофон, во-первых, недешевая игрушка, не у всех есть, а во-вторых – запись на диктофон надо потом все равно «расшифровывать», то есть переносить на бумагу. И это, уверяю тех, кто не пробовал – чрезвычайно муторное занятие. Поэтому я и восхищаюсь трудолюбием людей, вкалывающих на Навального бесплатно.

Есть и третий вариант: интервьюер может не стенографировать и вообще не записывать ответы дословно, а давать в анкете некое «краткое резюме» ответа респондента. К примеру, спросили ту же бабку или футбольного фаната у Привоза, «как вы понимаете слово «Новороссия», они выдали каждый тираду минут на 10 – а интервьюер Навального хладнокровно записывает в анкету: «Это выдумка/бред/чушь/ерунда». Как раз в две строчки уложился!

На практике чаще всего именно так и бывает. И в этом одна из главных «засад» всех «открытых вопросов»: выходит, что итоговое качество исследования критически зависит от адекватности и, так сказать, общей гуманитарной грамотности и неангажированности сборщика. Фактически мы получаем не подлинное «сырое» мнение респондента, а то, как это мнение понял и записал сборщик – а это зачастую далеко не одно и то же!

Однако и это еще не все трудности «открытого вопроса»! Пока мы перечисляли лишь трудности для анкетера. Однако представим себе ситуацию дальше: вот Навальному приволокли 1000 анкет с заполненными «открытыми вопросами». Дальше ведь их надо как-то обсчитывать. При «закрытых» вопросах все просто – вбиваем данные в Эксель, и дальше уже машина, можно сказать, сама все посчитает и выдаст готовые таблицы.

А с открытыми? Вот есть у вас 1000 мнений о том, «что такое Новороссия». Надо как-то сортировать эти ответы, «раскладывать по кучкам». Адов труд! А главное, что задача-то – почти невыполнимая. Чем подробнее ответ, тем труднее его однозначно запихнуть в какую-нибудь «кучку».

И особенно тяжело проводить обработку сырых данных, если «вдруг» выясняется, что люди при составлении «опроса по всем стандартам, приближенным к идеальным» (самоаттестация Навального) сделали детские ошибки в формулировке вопросов – в частности, смешали «отношенческое» и содержательное в одном.

Как оно и вышло в том же вопросе про Новороссию. Очевидно, что в нем на самом деле два вопроса: один о том, знает ли респондент вообще о том, что такое Новороссия и что означает само это слово, и второй – как человек ОТНОСИТСЯ к Новороссии, положительно или отрицательно.

Мы видим в презентации Навального, что люди и отвечают на эти ДВА вопроса, а Навальный «с полным соблюдением процедуры» при сортировке ответов не заметил этой элементарной вещи и свалил ответы на ДВА вопроса в одну кучу.

Вот ответы в интерпретации Навального (сохраняю стилистику оригинала):

Я не понимаю это/не воспринимаю/не хочу комментировать – 43%

Это что-то плохое – 14%

Так называют районы, которые хотят в РФ – 13%

Это выдумка/бред/чушь/ ерунда – 9%

Это исторический термин – 4%

Это что-то преступное/незаконное – 2%

Другое – 15%


Не надо быть профессиональным социологом, чтобы увидеть: 17% опрошенных отвечали на вопрос «Что такое Новороссия» в содержательном смысле (такой ответ еще называют «мужским»). Они дали два варианта ответа:

Так называют районы, которые хотят в РФ – 76%

Это исторический термин – 24%


И 25% опрошенных отвечали «по-женски» - то есть о своем ОТНОШЕНИИ к Новороссии. Здесь обработчики Навального зачем-то выделили три группы («кучки» ответов). Из 25% «выразивших отношение» разбивка вышла такая:

Это что-то плохое – 56%

Это выдумка/бред/чушь/ ерунда – 36%

Это что-то преступное/незаконное – 8%

Как видим, основания для «разбиения на группы», мягко говоря, неясны. По сути, все 100% ответов в этой группе выдают одно отношение – негативное. Как обработчики (или сам Навальный) отличали ответ «это плохое» от ответа «это бред»? Или они считают, что человек, говоря «это что-то преступное», не думает при этом, что «это что-то плохое»? Загадка.

Ну и уже сейчас на этом примере мы можем проиллюстрировать, в чем минус неряшливого, дилетантского подхода к формулировке вопросов. Смотрите: вот у нас 17% ДАЛИ ответ на вопрос, что такое Новороссия в содержательном смысле. Но как эти люди к Новороссии ОТНОСЯТСЯ?? Неизвестно. Человек, спокойно отвечающий про Новороссию «это исторический термин» - он может при этом думать, что «Новороссия – это что-то плохое»? Может. А может и думать, что это «что-то хорошее».
Или те, кто выразили к Новороссии негативное отношение. Разве нам не интересно знать – а что, собственно, эти люди понимают под «Новороссией»? Раз они ее не одобряют – значит, уж по крайней мере, они знают, что это такое, верно? НО ЧТО? Что жители Одесской области, негативно настроенные к Новороссии, понимают под Новороссией – только ДНР и ЛНР? Только Донбасс? Или потенциально и свою же область? «Опять проклятая неизвестность!» И все только потому, что кто-то очень смутно представляет себе, как делать не то что идеальные, а хотя бы сколь-нибудь адекватные опросы…

Ладно, «добьем» разбор «открытого вопроса» Навального касательно Новороссии. Мы видим, что на самом деле 17% респондентов ответили на содержательную часть опроса, 25% - на «отношенческую», и имеется еще две большие группы ответов: 43 (!)% ответили «Я не понимаю это/не воспринимаю/не хочу комментировать», и 15% - загадочное «другое».
Отметим сразу то, чего в этой «идеальной» обработке Навального нет: нет такой непременной, канонической части сырых данных опроса, как «затрудняюсь ответить». Наличие такого варианта ответа – признак элементарного профессионализма социолога: ведь любой исследователь общественного мнения знает, что среди всей массы опрашиваемых всегда найдется довольно многочисленная группа тех, кто просто не имеет своего мнения по данному (любому!) вопросу. Насильно запихивать «неопределившихся» в ту или иную «определенную» категорию – распространенная, но от того не менее непростительная ошибка при анализе соцданных.
Тем не менее Навальный вариант «затрудняюсь ответить» предпочел опустить. Можно было бы предположить, что он «спрятал» его в варианте «Я не понимаю это/не воспринимаю/не хочу комментировать». Зачем? Неизвестно.
Также совершенно непонятно, почему нейтральное «я не понимаю это» и странное «я не воспринимаю это» (??) оказались смешаны в одной категории. Что вообще означает «я не воспринимаю это»? Это что-то настолько ужасное (или настолько прекрасное) что я не могу это воспринять? Неизвестно. Еще одна из бесчисленных загадок этого опроса.
Но еще более вопиюще включение в ту же категорию с непониманием и невосприятием варианта «не хочу комментировать». Даже самая тупая «классная» МарьИванна прекрасно понимает РАЗНИЦУ в ответах на вопрос «Кто разбил окно?» между «Не знаю» и «Не скажу!» А Навальный, получается, не понимает, для него это одно и то же?! Удивительно. Я бы, конечно, посчитал бы варианты «не понимаю» и «не хочу комментировать» отдельно.

И напоследок возьмем категорию «Другое» - 15%. Еще одна характерная ошибка студента-первокурсника соцфака: студент обрабатывал-обрабатывал данные, и в итоге у него «неопределенная» категория оказалась больше по размерам, чем почти все «определенные». Если точнее – она у Навального на втором месте по размеру: 43% «не знают/не хотят говорить», и 15% отвечают «другое». Что «другое»? Не смогли понять, что ж там такое написано в 150 анкетах – плохой почерк у волонтеров? Не хватило ума как-то отсортировать ответы?

Давайте назовем вещи своими именами: оставлять 15% ответов «нерасфасованными» - это откровенная ХАЛТУРА. Я понимаю объективные трудности составителей (см. выше): да, сортировать 1000 «открытых» вопросов (а в опросе Навального открытых вопросов пяток, если не больше) – это адов труд. Но вы же сами придумали задавать такие вопросы, никто не заставлял – так что тогда, будьте добры, обрабатывайте как следует. Навальный сам обозначил свое стремление провести исследование «по стандартам, приближенным к идеальным». Назвался груздем – полезай в кузов!

Я разобрал здесь только один «открытый» вопрос. Думаю, этого достаточно, чтобы понять, что работать социологам Навального надо бы значительно «тщательнЕе». Чуть меньше дилетантизма, чуть больше знания хотя бы самых азов науки изучения общественного мнения – и результаты станут полезнее на порядок.

Оставить комментарий

Популярные посты:

• Ранее
• Архив