Экономическая социология

Стоит ли использовать онлайн-опросы в социологических и маркетинговых исследованиях

Основная цель нашего кабинетного исследования – проверить возможность формирования репрезентативных выборок с помощью предложенных инструментов Яндекса. А также описать получаемые с их помощью выборки.
Онлайн-опросы уже много лет назад стали реальностью для рынка социологических и маркетинговых исследований. Сначала это были робкие попытки задавать простые вопросы тем, кто посещал тот или иной онлайн-ресурс, затем появились провайдеры онлайн-панелей, включающие в себя огромные массивы респондентов, отвечающие за вознаграждение на различные вопросы. Теперь появились сервисы, где любой желающий может составить анкету, сформировать с помощью этого же сервиса или своей базы рассылки выборочную совокупность и собрать данные. Одним из таких сервисов является Яндекс.Взгляд. На этом сервисе Вы можете использовать один из пары десятков предлагаемых вариантов формулировок вопросов и отправить созданную таким образом анкету на опрос. К сожалению, сам Яндекс не дает вразумительных описаний того, каким образом он формирует выборки, хотя и утверждает, что представляет собой «источник достоверной информации о пользователях и самый надёжный способ достучаться до аудитории». Поэтому нашей целью было проверка возможности формирования репрезентативных выборок с помощью предложенных инструментов Яндекса. А также описать получаемые с их помощью выборки.

Хочу сразу оговориться, что у автора нет никаких претензий к Яндексу и его продукту: сам производитель не утверждает, что Яндекс.Взгляд может репрезентировать хоть что-то, но, с другой стороны, он и не утверждает обратного, оставляя, таким образом, на усмотрение пользователя будет ли тот считать сформированную выборку репрезентативной. Поскольку автор относит себя к обычным пользователям, которым интересен потенциальный круг проблем, которые ему помог бы решить продукт Яндекса.

С этой целью мы провели два опроса. Их параметры приведены в таблице 1. Мы использовали самый простой и дешевый из предложенных сервисов, но, с другой стороны, остальные представляются нерелевантными для других наших задач.
Разумеется, в ходе опросов решались не только методологические задачи, но изучалось мнение населения отчасти решали и свои задачи. Нам необходимо было изучить диспозицию к некоторым активностям жителей Самары в интернете (использование VPN и популярность Телеграм-каналов) и интернет-опрос здесь более, чем релевантен.
Замечания общего плана
Конструктор опросов прост и понятен, по крайней мере, в тех примитивных вариантах анкеты, которые мы выбрали. Эти варианты довольно сильно ограничивают пользователя. Так, вариантов ответов может быть не более 6, самостоятельно ввести ответ не представляется возможным (в более «дорогих» версиях конструктора это возможно).

Даже в примитивной версии вы можете использовать фильтры, но они плохо заметны и если вы делаете новую версию анкеты из старой, вы даже не видите (это можно только помнить), что вместе с вопросами перенесли и фильтр.

Яндекс запрещает задавать вопросы на политическую тематику. В этом ничего однозначно плохого нет, но персонал Яндекса ужасно стесняется об этом говорить. У нас был вопрос о том, какие волонтерские кампании в интернете поддержал респондент и среди вариантов был «ФБК Навального». Сначала Яндекс одобрил анкету, но потом пришел ответ, что анкета не прошла модерацию, но пришлось потратить время на то, чтобы сотрудница написала, что конкретно не устраивает Яндекс.

Модерация чудовищно долгая. На сайте написано – не более двух рабочих дней, что в целом соответствует реальности. Но это (1) существенно превосходит саму длительность опроса (1-2 рабочих дня), (2) делает невозможным именно оперативное исследование, (3) делает невозможным опрос в выходные дни и вообще в любые дни, когда исследователю это кажется наиболее релевантным.

Происходит это из-за того, что после прохождения модерации ваш опрос запускается в поле немедленно и вы его уже не можете остановить или хотя бы указать время, когда следовало бы его начать. Если вы подготовили инструмент для какого-то проекта, который нужно запустить через неделю, Яндекс тут помочь не в состоянии. Точнее, он забирает у вас управление запуском опроса после того, как вы отдали анкету на модерацию.

Репрезентативность данных.

Традиционно репрезентативность данных определяют путем сравнения полученных в ходе сбора данных и данных, полученных из других, уже проверенных источников, например, собранных органами государственной статистики. Из таблицы 2 видно, что если соотношение по полу выдерживается очень хорошо, то возрастные страты смещены в значительной степени.

Возможно, Яндекс и не намеревался выдерживать данное соотношение, но, очевидно, что собранные таким образом данные не отражают реального отношения или поведения изучаемой популяции. Как минимум, эти данные необходимо перевзвесить. Поэтому, если вы решите с помощью опроса Яндекса репрезентировать население города или страны по возрасту, скорее всего, это будет ошибкой.

Для оценки репрезентативности по району проживания мы сгруппировали 9 городских районов в 6. В целом страты в опросе реализованы пропорциональны, за исключением двух центральных районов – Ленинского и Самарского, - которые перепредставлены в полученной выборке. Напротив, плохо представлены окраинные районы: если учитывать все их вместе – Куйбышевский, Кировский и Красноглинский, то в выборке их лишь 25%, в то время, как по данным статистики 34%. Таким образом, территориально городская выборка оказалась смещенной в сторону от городской периферии к городскому центру.

Охват различными видами опросов

Очевидно, что, проводя опросы через онлайн-среду, исследователь рассчитывает на то, что сумеет таким образом охватить ими те социальные группы, которые оказываются сегодня вне других видов опросов – по месту жительства, уличных и телефонных.

Из таблицы 3 видно, что примерно половина онлайн-респондентов (52%) не участвовала в опросах в последний год. Можно предположить, что онлайн-опрос позволяет выйти на группы, слабо достижимые другими видами опросов. Это подтверждается тем, что лишь 4% онлайн-респондентов принимали у себя дома интервьюера. Но, с другой стороны, утверждение почти каждого пятого (18%) о его участии в телефонном опросе кажется завышенным показателем. Это бы значило, что за неполных шесть лет можно было бы опросить каждого жителя страны. Наконец, более четверти (27%) респондентов Яндекса сообщило о своем участии в других онлайн-опросах.

Как видим, если человек участвовал в одном онлайн-опросе, вероятность его участия в другом таком же опросе возрастает. При этом вероятность участия в опросах по месту жительства остается очень небольшой. Вероятно, респондентами Яндекса оказываются респонденты, вполне лояльные современным видам опросов, но в силу различных причин (например, своего возраста) не принимавший участие в традиционном опросе по месту жительства.

Параданные Яндекса.

Помимо данных, Яндекс предоставляет пользователем некоторые параданные. К ним можно отнести, прежде всего, долю респондентов, заполнивших всю анкету до конца, а также время, когда анкета была заполнена. Доля полностью заполнивших первую анкету составила 69%, вторую – 78%. Очевидно, оба показателя высокие, однако, никакой сложности ни первая, ни вторая анкеты не представляли.

Обе анкеты заполнялись в среднем 27 секунд, что скорее всего, говорит, что респонденты отвлекались от ответов. Первый опрос проводился 10 января и проходил хоть и в рабочий день, но на очень короткой неделе, где рабочими были всего лишь 2 дня. Вероятно, по этой причине 200 респондентов Яндекс нашел за 7 часов, причем за первый час было опрошено более половины выборки, затем скорость заполнения падала и последние 16 респондентов были опрошены за 3 часа.

Второй опрос проходил на рабочей неделе, был начат примерно в 8 вечера и за первые 4 часа была опрошена почти половина выборки (86 человек). В ночные и первые утренние часы анкету заполнило лишь 13 респондентов. Затем, уже в рабочее время, следующие два 4-часовых интервала дали примерно по 35 респондентов, а уже после работы – 52 респондента. В обоих случаях, мы видим существенное замедление сбора данных по мере увеличения выборки, возможно, в силу ограниченности ресурсов потенциальных респондентов у провайдера. Как видим, опрос, проводящийся в рабочее время, собирает плановую выборку существенно медленнее, чем в нерабочее. Кроме этого, есть основания считать, что Яндекс обладает естественным ограничением выборки и уже выборку в 500 единиц по такому мегаполису, как Самара, будет собрать затруднительно.

Выводы
Итак, онлайн-опросы Яндекса являются рабочим инструментов для проведения пробных, тестовых измерений в отношении крупных популяций (страна, мегаполис). Причем, чем меньше генеральная совокупность, тем меньше возможный объем выборки.

Получаемая выборка лишь отчасти репрезентирует популяцию. Если по полу и району проживания она не смещена или смещена в небольшой степени, то по возрастным стратам она смещена значительно и очевидно не может представлять генеральную совокупность.

Наиболее отзывчивыми на приглашение к опросу оказываются респонденты, уже принимающие участие в телефонных и онлайн-опросах, но мало вовлеченные в опросы по месту жительства.

Автор:
Владимир Борисович Звоновский
директор Фонда Социальных исследований, доктор социологических наук, заведующий кафедры социологии и психологии
Made on
Tilda