Стоит ли верить соцопросам?

pryanik — 08.08.2022

Как вы помните, недавно, подводя итоги "опроса про опросы", я обещал рассказать о своём отношении к соцопросам, тем более что у меня есть некоторый опыт работы в этой сфере. В разные периоды я был интервьюером, занимался обработкой полученной информации и даже одно время участвовал в организации опросов, так что знаком с темой в том числе и "изнутри", разве что сами анкеты не разрабатывал.

Начну с того, что опросы безусловно полезны, они позволяют получить качественный срез мнений большого количества людей по тем или иным вопросам, проанализировать эти мнения и сделать выводы. Причём помогают не только государству, но и частным компаниям, учёным и т. д. Но всё это при условии, что это действительно качественно организованный опрос. Ниже попробую определить основные критерии, на которые стоит обратить внимание, оценивая результаты опросов, в формате "плюс-минус".

Выборка

Тут, казалось бы, очевидно: чем больше людей участвует в опросе, тем объективнее его результаты и тем точнее их можно экстраполировать на россиян в целом. А на деле — так, да не так. В "опросе здорового человека" выборка повторяет приблизительную структуру нашего общества, в ней изначально задаётся необходимое число респондентов по полу и возрасту, месту проживания (крупный город, небольшой город, сельская местность). Иногда добавляют другие критерии отбора, например, наличие/отсутствие автомобиля. Кроме того, существуют запреты на опрашивание людей, работающих в определённых сферах, например, в СМИ или социологии. Всё это делается для повышения релевантности выборки и соответственно результатов. И тут такое деление на плюсы и минусы:

Плюс. Если говорить об опросах, проводимых крупными социологическими структурами типа ФОМа, ВЦИОМа, "Ромира" и прочих, то у них выборка релевантная, тут можно быть уверенным. Разного рода агентства, которые проводят опросы для своих заказчиков, тоже, как правило, следят за этим показателем. Даже при относительно небольшом (до 3-5 тыс. чел.) числе респондентов эти опросы дают более или менее объективные результаты.

Минус. Полная противоположность — опросы, проводящиеся на сайтах в интернете. В подавляющем большинстве случаев там про выборку и речи не идёт, участвовать могут все посетители того или иного сайта, и в итоге получается как в старой шутке:

Проведённый в интернете опрос показал, что 100% россиян пользуются интернетом.

Но не стоит огульно отметать результаты интернет-опросов как необъективные. Сравним опросы про экономию и про поезда. В первом случае количество участников — 11 с небольшим тысяч, во втором — около 300 тысяч. Кроме того, в первом возможны дубли: опрос проводился на сайте и в соцсетях, один человек мог ответить несколько раз. Т. е. можно предположить, что результаты второго опроса более (хоть и не до конца) объективны.

Отдельно приведу как минус свежий кейс с некорректным в корне опросом. Глава Сочи провёл в своём телеграм-канале опрос на тему того, что важно для приезжающих в город туристов. А основная аудитория канала — не туристы, а жители города. Получается, спросили не то и не у тех, в итоге получат абсолютно "кривые" результаты. Такими опросами часто страдают сайты и аккаунты в соцсетях различных органов власти: вроде и проявили интерес к общественному мнению, а толку — ноль.

Исключение из минуса. Существуют сайты, на которых проводят опросы с учётом выборки. Они не только сами зарабатывают на этом, но и платят за участие в опросах — немного, но тем не менее. Например, я периодически прохожу опросы на сайте "Анкетолог". Не из-за денег (ну что такое 300-500 рублей в год?), ради интереса. И мне приходят приглашения только на те опросы, где я подхожу по выборке, например, никогда не зовут в опросы для автомобилистов. Если по "моим" параметрам (пол/возраст или ещё что-то) нужное число респондентов уже набрано, то меня не допускают к участию.

Человеческий фактор

Какими бы идеальными ни были выборка и вопросы анкеты, не стоит сбрасывать со счетов человеческий фактор. Он может проявляться в двух основных моментах, отследить которые сложно, если не невозможно, про них можно только знать.

Респонденты. Это наверняка актуально и сейчас. Как ни объясняй людям, что опрос анонимный и что на вопросы не существует "правильных" или "неправильных" ответов — они всё равно будут скрывать своё личное мнение и либо стараться дать на "неудобные" вопросы (про политику, например) "правильные" ответы, либо отказываться от ответа на них. Это несколько искажает конечный результат.

Интервьюеры. Вот тут искажение может быть радикальное. Сам такого не делал, но встречал эту схему: респонденту задаётся только часть вопросов из анкеты, примерно треть, в том числе те, по которым точно будут спрашивать при телефонном контроле (пол, возраст, образование, число членов семьи и что-то из анкеты), а остальная анкета спокойно "рисуется на коленке". В итоге две трети (иногда больше) ответов — "с потолка". Вот один выловленный мной случай такой фальсификации:

Идёт панельный опрос (в анкете несколько блоков вопросов для разных заказчиков), если не ошибаюсь, для ВЦИОМа. Я работаю на обработке данных, переношу ответы из бумажных анкет в электронную базу. В ходе обработки анкет от одного интервьюера заметил странность. Население улицы, по которой он шёл, достаточно однородное, там живут в основном рабочие одного из тульских заводов, люди не очень обеспеченные, которые на вопрос о доходах отвечали, что денег хватает только на продукты и самое необходимое, покупка бытовой техники — уже проблема. А в блоке вопросов про потребление молочной продукции во всех анкетах (их было примерно 20) указано, что они покупают молоко и продукты из него (творог, йогурты и прочее) не местного производства (цена в сегменте "ниже среднего", практически "эконом"), а от федерального производителя (ценовой сегмент не так чтоб "премиум", но существенно выше средних цен по городу). Показал руководителю проекта, сразу провели телефонный контроль по 50% анкет — оказалось, людям задали вопросы только по блокам "демография" (пол, возраст, образование, профессия, сколько человек в семье, сколько детей, как оценивают материальное положение) и "отношение к работе властей города и региона" — и всё, опрос шёл меньше 15 минут вместо часа. Остальные блоки (порядка 8-10, то есть основную часть анкеты) "нарисовали". Все анкеты забраковали, интервьюер не получил денег и был отстранён от работы на последующих проектах, анкеты дали другому человеку, он прошёл с ними уже в другом районе. В данном случае удалось вовремя увидеть и ликвидировать косяк, заказчику ушли корректные данные.

Резюмируя, можно выделить такие плюсы и минусы:

Плюс. В "опросе здорового человека" присутствует стадия контроля результатов, который может проводить как местный организатор, так и федеральный заказчик (тот же ВЦИОМ). Конечно, прозванивают не всех респондентов, а выборочно, но обычно это позволяет если не исключить, то минимизировать влияние человеческого фактора и даёт некую гарантию достоверности результатов.

Минус. В интернет-опросах или оффлайновых опросах со слабой организацией контроля, как правило, нет, всё на доверии, приходится полагаться на честность организаторов и интервьюеров.

Трактовка результатов

Тут вообще большой простор для искажения результатов. Эксперты организаций, которые проводят опросы, обычно дают информацию и свои оценки корректно, а вот конечные заказчики или просто заинтересованные стороны могут позволить "художественные допущения". Покажу две трактовки, правильную и неправильную.

Плюс. В опросе о поездах около 300 тысяч респондентов, но именно поезд выбирает для путешествий только треть (29%), или менее 100 тысяч. Соответственно ответы на последующие вопросы некорректно трактовать как "россияне выбирают такую-то полку или такой-то вагон". Но в данном случае результаты поданы правильно, проценты не от общего числа опрошенных, а только от числа выбравших поезд.

Минус. Тут ситуацию опишу в общих чертах. Предположим, в рамках панельного опроса был задан блок вопросов о поддержке политических партий. 1500 респондентов, из них 500 отказались отвечать. Из ответивших (1000 человек) 300 человек заявили, что поддерживают партию N. Пресс-служба партии выпускает бодрый пресс-релиз о том, что по итогам опроса её поддерживают 30% россиян. На самом деле считать надо с учётом отказавшихся и реальный уровень поддержки составляет 20%. Просто выбранная цифра "красивее" и ради этого "можно опустить подробности".

Какой из всего этого следует вывод? В общем и целом результатам опросов можно верить, но имеет смысл обращать внимание на то, кто, как и где проводил этот опрос. В идеале хорошо бы иметь доступ к таблицам с разбивкой ответов на каждый вопрос по полу и возрасту респондентов, а также к общим массивам информации (некоторые крупные компании выкладывают и таблицы, и обезличенные массивы). В первую очередь стоит верить (но опять же с оглядкой!) информации от известных "профильных" компаний и ресурсов, но и интернет-опросы нередко показывают достаточно объективные результаты.

Сохранено

</>

Стоит ли верить соцопросам?

Как вы помните, недавно, подводя итоги "опроса про опросы" , я обещал рассказать о своём отношении к соцопросам, тем более что у меня есть некоторый опыт работы в этой сфере. В ...

Читать полностью

Источник

Оставить комментарий

Популярные посты:

papai

Pocket Option: простая торговля опционами и новые возможности для трейдеров

bufetum

Вяленые чери.

wildcompany

Ещё без листьев

veronika_stef

ЖЖ 25: интересные факты обо мне и моем блоге

eldr

Хоровод молодых сосенок вокруг снежной полянки. Последний снег

ratrussian

Иерусалим за 3 дня

taxfree

Меня взломали хакеры!

tarasesakov

Об очень неудобном, спокойно и честно

dymontiger

Снимки из Instagram Татьяны Котовой

• Ранее
• Архив