5 марта 2012
28 февраля 2012 г. факультет социологии НИУ ВШЭ (Москва).
Тема обсуждения – проблемы инструментария.
Для начала Иван Климов рассказал о структуре проекта, о целях и задачах, о методологии, об основных этапах и непосредственно о самом инструменте – об анкете, о тематической структуре и ее вопросном исполнении. Это нужно для того, чтобы присутствовавшие студенты, аспиранты и исследователи, не участвовавшие в проекте, представляли, какой тип исследования и что за работа обсуждается.
Цели проекта:
1. Публичная: посодействовать «восстановлению» доверия к опросам и социологическим исследованиям.
2. Институциональная: сравнить результаты опроса с замерами, производимыми «опросными фабриками».
3. Методическая: оценить надежность выбранной стратегии построения выборки; провести эксперимент с реализацией двусоставной выборки.
Метод: телефонное интервью с дозвоном на мобильные и стационарные телефоны.
Репрезентативный опрос телефонизированного населения РФ (18+).
Выборка: случайный отбор телефонных номеров по всей стране, 82 региона РФ.
Сроки проведения: с 10 по 19 февраля 2012 г.
3358 опрошенных.
Статистическая погрешность данных не превышает 2,6%.
Что удалось:
- Сорганизоваться, разработать вменяемую анкету, провести пилотаж.
- Разработать и реализовать двусоставную выборку – по мобильным и стационарным телефонам.
- Реализовать экспериментальный план по реализации выборочной процедуры – с отбором в домохозяйстве респондента по ближайшему дню рождения, и опрос первого подошедшего с переписью остальных членов семьи.
- Включить в работу пять колл-центров.
- Получить внятные данные, оценить их качество и смещения и выложить в открытом доступе для всех желающих провести собственный анализ.
Дальнейшие задачи в первую очередь лежат в методологическом поле: а) провести семинар, на котором обсудить выборку и итоги эксперимента с ее реализацией; б) обсудить тематическую сторону проекта – проанализировать и обсудить собранные данные, в) провести семинар и обсудить на нем организационную специфику проекта, а также проблемы, сопутствовавшие его реализации.Если коротко, в реализации проекта проявились несколько проблем.
1. Неудачное планирование этапов, непосредственно предшествующих сбору полевых данных. После пилотажа итоговой версии анкеты были всего лишь сутки для того, чтобы проанализировать результаты, обсудить возможные изменения и внести правки. Формулировки вопросов и способ их задавания были отчасти адаптированы для телефонного разговора. Однако возникло понимание, что принципиальная переделка вопросов под телефонное интервью невозможна, т.к. в этом случае пришлось бы отказаться от сопоставимости части инструментария с инструментарием опросных фабрик. (Одна из целей проекта – оценить сопоставимость наших данных, по проекту ОМ, с данными ВЦИОМа, ФОМа, Левады). Тем не менее, на этом этапе (пред-поле 1) обозначилась принципиальная проблема. Для сопоставимости данных Ф-Т-Ф и ТЛФ опроса, формулировки должны быть идентичными. Но в какой мере в ТЛФ опросе формулировки вопросов вызывают смещения в ответах именно в силу их «нетелефонности»? Соответственно – задача для экспериментирования в ТЛФ-интервью: сравнить адаптированные и неадаптированные к специфике метода формулировки вопросов.
2. На этапе «пред-поле 2» (вторая волна опроса проходила по иной модели выборки, чем первая) среди участников проекта снова разгорелась дискуссия о необходимости адаптировать формулировки вопросов к телефоннику. В конце концов предложение о коррекции анкеты для большей адаптации к ТЛФ опросу было отвергнуто, т.к. тогда бы ломался первоначально задуманный Тимуром Османовым план сравнить две стратегии реализации выборки (по выборке будет отдельный семинар). Доводов было два: 1) Нельзя реализовывать два экспериментальных плана (выборка+формулировки) одновременно, 2) придумать, обсудить и протестировать более корректные формулировки за короткий срок перед запуском второй волны было невозможно. Вторая принципиальная проблема, которая проявилась на данном этапе работы – а вообще важно или неважно создавать «диалогический комфорт» в ситуации ТЛФ опроса? Что в большей степени стимулирует эффект «одобряемого ответа» (как социально-одобряемого, так и коммуникативно одобряемого, поддерживаемого) – диалогический комфорт или же формализованная ситуация опроса?
Игорь Задорин высказал три важных тезиса-проблемы.
1. При подготовке анкеты произошел перенос принципов построения анкет, традиционных для ФТФ опроса, на ситуацию ТЛФ опроса. Попытки адаптации формулировок были, и отдельный разговор – насколько они удачны. Но дело не только в комфортности коммуникации. Более актуальной становится проблема сензитивности вопросов, в частности – сензитивности электоральных и политических вопросов. С этим нужно раздираться обстоятельно, т.к. одно из направлений критики проекта ОМ идет именно по этой линии – «в ситуации заведомой неанонимности (звонящему известен номер телефона) ожидать искренности в ответах о политике нельзя».
Одно из предложений, как с этим можно бороться - сделать менее формализованным сам процесс взятия интервью для повышения доверия к интервьюеру, для более «человеческого» разговора. Однако результативность такого решения вызывает большие сомнения. В проекте работали 150 интервьюеров, и однозначного ответа на вопрос: стандартизация интервью - это хорошо или плохо, - далеко не так очевиден. Если интервьюер придерживается стратегии создания максимально комфортного диалога, то не будет ли «мягкость» интервью, очевидно понимаемого по-разному разными интервьюерами, вызывать смещения иного рода? В некоторых странах как раз для борьбы со смещениями, с эффектом интервьюера, исследовательские компании переходят на зачитывание вопросов анкеты роботом, т.е. максимально унифицируя «диалог». Но, конечно, неизвестно, у нас такое сработает или нет.
2. Другой важный вопрос – проблема неанонимности, и можно ли оценить долю смещений, вызванных неанонимностью ТЛФ опроса. Прежде, чем пускаться в экспериментирование, стоит прояснить исходные предположения относительно влияния анонимности-неанонимности. (Критическая аргументация против качества данных опроса «Открытого мнения» строится, в том числе, и по линии анонимность – неанонимность процедуры).
Первое критическое предположение основано на том, что респонденты в ситуации ТЛФ опроса чувствительны к неанонимности. Вопрос – так ли это? Т.е. респондент должен сперва осознать, что ситуация неанонимна (телефон известен). Затем, среди тех, кто осознает это, есть некоторая доля чувствительных, нервничающих при задавании вопросов о политике. И затем среди нервничающих должна быть доля тех, кто принимает решение соврать интервьюеру относительно своего «реального» намерения. Так сколько же в итоге респондентов действительно смещают свои ответы в сторону понимаемой ими социальной нормы в силу «неанонимности» телефонного опроса? Ответа на сегодня нет.
Второе критическое предположение было высказано питерским социологом А. Алексеевым в сети (http://www.cogita.ru/analitka/mneniya-i-kommentarii/strasti-vokrug-elektoralnyh-oprosov) Важна не просто неанонимность опроса, но «неанонимность в несвободной стране». Т.е. в инструментарий нужно вводить параметр, позволяющий определить, какова доля людей, которые воспринимают неанонимность ситуации, и для кого это важно в связи с рисками персональных репрессий.
Третий тезис относительно неанонимности касается сравнения разных методов: считается, что в ситуации ФТФ опроса анонимность выше, т.к. а) респонденту можно всегда отпереться, что ничего не знаю, никто не приходил; б) неанонимность компенсируется эффектом эмпатии к интервьюеру. В ТЛФ опросе неанонимность очевидна для респондента и ничем не компенсируется. Так ли это?
3. Мы обсуждаем анонимность при ответах. А сказывается ли неанонимность на доле отказов? Вопрос – какова доля отказов в ФТФ опросах? И вообще, как фиксируются персональные данные респондента, и фиксируются ли отказы?
Фрагмент дискуссии:
Владимир Звоновский: Есть маршрутные карты интервьюеров, в которых фиксируются взятые интервью, но рассчитать по ним долю отказов нельзя никак. Отказы никогда не фиксируются. Только законченные интервью. В полевых документах компаний, с которыми работаем мы, нет поля, где фиксировались бы отказы.
Иван Климов: Доля отказов, по оценке поллстеров, растет. По сравнению с началом опросного дела – в особенности. Это побуждает к методическим поискам в отношении выборки. Например, ФОМ несколько лет назад начинал проект «База потенциальных респондентов» - именно в связи с проблемой отказов. Но отказы никто не меряет.
Игорь Задорин: Вот, а по данным нашего проекта (Тимур Османов посчитал) – по первой волне – примерно два отказа на одно взятое интервью. По моему мнению, очень даже хороший результат. (Комментарий ИК. По первой волне опроса: полное интервью - 25,8%, прерванное интервью - 6,1%, отказ - 58,6%, вероятнее всего отказ - 1,0%, иные ситуации – звонок на предприятие и т.д. - 8,6%). Региональные исследователи говорят, что при маршрутном ФТФ опросе они достигают в лучшем случае каждого пятого респондента, т.е. четыре отказа на одно взятое интервью.
Сергей Давыдов: В Общественной палате Василий Токарев привел цифру respond rate в 10% для маршрутного опроса.
Игорь Задорин: Вот, у нас при первоначальном контакте большее число людей согласилось на интервью, чем при ФТФ опросе. И это вроде бы при меньшей анонимности телефонки. То есть фактор оказывается не очень значимым.
Игорь Задорин привел также свидетельство Бориса Докторова об опыте заводских опросов еще в советское время. Тогда для соблюдения и подтверждения анонимности опроса социологи предлагали респондентам запечатывать анкету в чистый конверт и бросать их в ящик, напоминающий урну для голосования. Так вот этот порядок был хорошо встречен только частью респондентов из числа АУП, а «работяги» из цехов довольно эмоционально «посылали» исследователей с их «анонимностью» и выражали желание и готовность сказать всю правду открыто.
Александр Чепуренко сказал, что влияние дизайна выборки и влияние инструмента на результат – две серьезных и разных методических проблемы, каждая из которых действительно требует самостоятельной серии экспериментов. Очень важно, что изначально в проект были заложены две модели выборки, поэтому есть пространство для сравнения «внутри» опроса, а изменять формулировки вопросов во второй волне категорически было нельзя. Проект ставил своей задачей если не «реабилитировать» опросные центры, то сопоставить свои данные и с их данными. А как это можно сделать, если не только выборки формируются по-разному, но и вопросы другие? Сопоставимость результатов важна, в противном случае и не стоило вообще браться за какие бы то ни было сопоставления. В данном случае, удалось доказать, что иная методика построения выборки, судя по всему, большого влияния не оказала, так как результаты получились довольно близкими к результатам ФОМ и ВЦИОМ. Это – важный методический результат ОМ.
Ещё одно рассуждение касалось проблемы анонимности. Есть такая гипотеза, что Россия – тюрьма народов, а на Западе «я другой такой страны не знаю, где так вольно дышит человек». На самом деле, как раз в «тюрьме народов», т.е. в несвободной стране, респонденты могут относиться к участию в опросе и ответам на вопросы более спокойно – как раз в силу как низкого значения такого понятия, как приватность, тайна личной информации и т.д., а во-вторых - в результате распространенного мнения, что все равно «там все про нас знают». Поэтому если люди и отказываются, то не из соображений неанонимности, а по другим (вполне рациональным) причинам. А как относится население западных стран к своей privacy? Какие там бушуют споры всякий раз, когда речь идет о цифровизации каких-то персональных данных? То, что сказал Алексеев – это лишь гипотеза, навеянная тем, что «у нас все плохо».
Сергей Давыдов вспомнил, один любопытный проект, в рамках которого респондентам раздавались специальные швйецарские часы Media Watch, предназначенные для фиксации радиослушания. Швейцарцами был разработан толстый буклет, в котором писалось, что часы не записывают разговоры, не прослушивают, не следят. Т.е. боязнь «Большого брата» у западных респондентов была достаточно сильная, поэтому были предприняты шаги для снижения уровня отказов. То, что записывали часы, преобразовывалось в такой формат, который нельзя было просто так воспроизвести, запись велась 4 секунды в минуту и т.д. Так вот, когда поле проводилось в России, вопросов такого рода было очень мало. Гораздо чаще респонденты выражали опасения, что могут потерять или сломать дорогостоящую вещь. Возможно, что сужение privacy приводит как раз к меньшей чувствительности. На Западе боятся гораздо больше. Так что чувствительность к неанонимности связана, во-первых, с чувством доверия – в разных его аспектах, и тут можно вспомнить большую традицию исследований доверия. Во-вторых, с феноменом лояльности. Встречается аргумент, что опрос воспринимается как процедура официальная, типа экзамена, поэтому люди отвечают не так как думают, а так, как им кажется «будет правильно». Однако в опросах общественного мнения всегда активнее участвуют либо лояльные, либо те, кто не опасается за инаковость своего мнения. Также, как и ходят на выборы. Так что если люди ответили нам на вопросы, то эту свою позицию они донесут и до избирательного участка.
Павел Антипин сделал замечание по поводу «несвободной страны». И выборы, и участие в опросах (что касается электоральных вопросов) людьми воспринимаются одинаково. И то, и другое воспринимается одинаково неанонимно. Все равно есть ощущение, что и на выборах за тобой следят.Владимир Звоновский остановился на трех моментах.
1. Сравнивать корректность инструмента в телефоннике и ФТФ опросе – это вопрос представлений о корректности, есть ли некая абсолютная корректность, или же мы сравниваем два метода друг относительно друга. Почему мы считаем, что если мы переводим вопрос из ФТФ в телефонник, то он в ФТФ задан правильно? Не факт. Но если работать по задаче сравнить две опросные технологии – проект решил эту задачу.
2. Влияние колл-центра: первоначально была задумка разбить выборку для трех колл-центров, чтобы каждый делал репрезентативную общероссийскую выборку. Т.е. делать три одинаковых тысячника, и затем сравнивать колл-центры друг с другом. Но получилось так, что коллцентры опрашивали разные регионы. Т.е. три всероссийских выборки по 1000 чел. сделать не удалось, т.к. каждый колл-центр может работать по «своей» географической зоне.
3. Звоновский согласился, что это два разных экспериментальных плана – по выборке и по вопросам. Но есть и другое обстоятельство, которое «остужает» готовность экспериментировать с формулировками. Изменить вопросник можно - поменять порядок вопросов, сделать их более разговорным, но гораздо сложнее – изменить «габитус» интервьюера. У него есть традиционный фрейм телефонного опроса. Да, можно делать так, как в США, и, возможно, других странах – задавать вопросы роботом, будет стандартизация. Но оказалось, наши телефонные линии не приспособлены для этого. Поменять инструментарий на более комфортный – сейчас это сделано в очередном исследовании по самарской области в порядке эксперимента. Действительно, респондент охотнее отвечает, интервьюер комфортнее общается. Но радикального изменения сензитивности нет. Принципиально и существенно анонимность не улучшается от комфортности вопросника. Наверное, правильно было бы различать параметры анонимность-неанонимность и комфортность-некомфортность. Достижение «комфортности» задавания и слушания вопросов никак не решит проблему неанонимности опроса. А она есть в любом случае – хоть по телефону, хоть ФТФ.
Косвенно это иллюстрируется известной разницей с одной стороны, между предвыборными и поствыборными опросами – маршрутными или телефонными, с одной стороны, и уличным опросом – экзит-поллом – с другой.. Не могу сравнивать с общероссийскими данными ФОМа и ВЦИОМа, но по самарской области экзит-полы точнее всего показывают результаты голосования, за исключением тех участков, где было расхождение с данными ЦИК . Иначе говоря, опросы личные или телефонные сильно отличаются от данных избиркомов, а от экзит-пола данные по голосованию не отличаются. Видимо в уличном опросе достаточно комфортная и анонимная ситуация, и респондент достаточно адекватно сообщает о своем поведении на избирательном участке. Поэтому возникла гипотеза – уличный опрос адекватнее с точки зрения проблемы анонимности при задавании электоральных вопросов. Сейчас мы запустили такой эксперимент.
Иван Климов резюмировал: из сказанного Задориным и Звоновским можно сделать три вывода. Первый: можно предполагать, что чувствительность людей к неанонимности ситуации опроса – каким бы он ни был – социально распределенный феномен. То есть, в разных социальных и типологических группах реакция и на ситуацию опроса, и на предвыборную ситуацию, и на в целом на политическую – различается. Например, могу выдвинуть гипотезу, что пользователи мобильных, как и пользователи интернета в этом отношении менее чувствительны, чем опрошенные по стационарным телефонам. Это можно посмотреть по нашим данным. Во-вторых, большинство озвученных проблем не имеют окончательного ответа, можно лишь фантазировать, но реально получить его можно только создавая экспериментальные планы. И мы не можем сейчас говорить по нашему опросу в проекте, какова доля тех или иных смещений из-за неанонимности, и как это сместило наши данные относительно традиционных опросов. В-третьих, нужно признать, что у участников проекта не было необходимых знаний относительно специфики телефонного опроса. Чисто коммуникативные вещи еще как-то учитывались, по более сложным проблемам, типа чувствительности к неанонимности – информации у нас такой нет.
Леонид Блехер сказал, что есть вопрос, м.б. не очень профессиональный с точки зрения социолога. Респондент отвечает интервьюеру, если есть доверие. Есть первый уровень доверия – когда дается согласие на интервью. Второй уровень – когда соглашается отвечать о своих намерениях. А исследовался ли вопрос – как это доверие связано с анонимностью? Точно ли, что это доверие больше, если респондент скрывает свое имя? Тогда получается, что в нашей супер-личностной культуре представление, что если человек может скрыть свое имя, тогда он будет лучше отвечать – это представление ни на чем не основано. И разницы нет, телефонный опрос, квартирный или уличный. Идея связи анонимности с доверием – это не наша идея, и, наверное, не стоит так бездумно за нее цепляться. Мне неизвестно ни одного доказательства тезиса, что люди боятся отвечать, и даже ни одной идеи эксперимента, как это можно было бы проверить.
Сергей Давыдов заметил, что не следует отождествлять синдром страха и отказ от интервью. Мотивация у последнего может быть разная. При ответе по мобильному фактор временной сжатости может быть иным, чем при звонке на домашний.
Александра Болотина отметила, что нужно разводить готовность отвечать и доверие, и последующую правдивость. Тот факт, что человек согласился говорить по телефону, не означает, что дальше он не будет держать «фигу в кармане». Более низкая доля отказавшихся отвечать в ТЛФ опросе может быть связана не с анонимностью-неанонимностью, а с представлением об ином формате диалога – это будет быстрее и легче. Но согласие не является гарантией искренности.
Игорь Задорин спросил, а можно ли предположить такую мотивацию, когда человек соглашается на интервью, предполагая, что сейчас он будет «лепить туфту»? Вряд ли. Ведь легче же просто отказаться? Поэтому интересны данные, каково число прерванных интервью в ФТФ опросе и в телефонном опросе, как косвенный показатель влияния неанонимности (в предположении, что респондент прерывает интервью, когда оно доходит до сензитивных вопросов) И есть ли в этом разница между ФТФ и ТЛФ опросами?
Владимир Звоновский заметил, что в личном интервью это практически невозможно, это всегда связано с какой-то экстренной ситуацией. Появляется еще один член семьи и выгоняет интервьюера. Другое дело, если мы говорим об электоральном опросе, то речь идет не об анонимности и доверии, а о разных типах коммуникации. Человек видит или слышит, что вопросы задаются по анкете, бланку. Это может восприниматься как участие в работе какого-то государственного учреждения, института. Типа переписи. И он ведет себя адекватно ситуации, например, на работе, с чиновниками. Он не обманывает, он просто так себя ведет, ведь не каждый день встречается с интервьюером. А может увидеть какой-то признак в интервьюере «своего», и тогда может высказывать свою точку зрения. И разница одной формы коммуникации и другой довольно велика.
Игорь Задорин вернулся к тезисам Владимира Звоновского и Павла Антипина о сходстве ситуаций опроса и голосовании на выборах. Оба говорили о том, что в ситуации опроса «как будто бы» добавляется «лояльности» у респондента. Во-первых, с интервьюером тоже общаются как с госслужащим, как и с представителями избиркомов (Звоновский), во-вторых, ощущение неанонимности присуще и ситуации опроса, и ситуации голосования. На этом факте (смещения в сторону лояльности) основывается утверждение, что результаты голосования не отражают реального мнения населения. Потому что реальное мнение «хуже». И когда ФОМ и ВЦИОМ предъявляют данные опросов, близкие к голосованию, это рассматривается как подтверждение добросов: ведь они заведомо померили более лояльное поведение, которого не должно быть реально в ситуации голосования. А «реальное» мнение было другим. Но, по мнению Задорина, многие избиратели, даже если допустить, что в опросе они показывают более лояльное мнение, это самое лояльное поведение и доносят до избирательных участков. Обратите внимание, почему-то качественные исследования, интервью, фокус-группы, все показывают более критическое отношение. А массовый опрос – там все «в порядке». И реальное голосование фиксирует как раз-таки не критическое отношение фокус-групп, а лояльное отношение массовых опросов. Может быть потому, что это массовые опросы и голосование – это одни и те же «официальные процедуры», которые предполагают нормативное поведение. А может еще почему-то, тут тоже надо разбираться и исследовать, почему формальные ответы так отличаются от неформального дискурса.
Владимир Звоновский возразил идее «формальности» процедуры голосования на избирательном участке. Для многих россиян это часто является праздником с элементами карнавала (особенно в малых населенных пунктах) – с пирожками на участках, песнями. В любом случае, это событие, выходящее за рамки повседневности. Мы точно не знаем, но нельзя сбрасывать и влияние такого фактора в электоральном поведении. Т.е. утверждение, что голосование воспринимается как формальная процедура массой людей, это только гипотеза.
Иван Груздев заметил, что в начале семинара присутствующие занимались тем, что выстраивали аргументацию, направленную на легитимацию результатов исследования, как оно получилось. Тезис был такой – ничего страшного, что опрос не анонимный, у нас личностная культура, и неанонимность процедуры не дает значимых смещений. Но затем стал обсуждаться аргумент – у нас не личностная культура, формальность процедур создает смещения, и выборы – это тоже смещение. Нужно, видимо, придерживаться какой-то одной позиции.
Игорь Задорин возразил, что совсем не обязательно «придерживаться одной позиции», поскольку об избирателях нельзя говорить как о гомогенной совокупности. Если говорится о смещениях, то мы говорим, что та или иная реакция, с ними связанная, есть только у части избирателей, и нужно пытаться оценить долю таких избирателей. В этом смысле и вопрос неанонимности неоднозначен – ее влияние столь велико, что оно качественно меняет результаты, или она работает только на особо чувствительных к ней социальных категориях? Как подсчитать эти смещения, вызванные синдромом страха? Они могут быть незначительны, а могут быть большими. Вот, коллеги пробовали оценивать этот фактор для Белоруссии, он оказался в 10% чувствительных к неанонимности. В России может быть больше? Наверное нет. Скорее, меньше. Значит нельзя говорить, что неанонимность телефонного опроса радикально смещает результат опроса в сторону более лояльного, но нельзя говорить и о том, что она вообще никак не смещает.
Александра Болотина также возразила И. Груздеву. Модель Задорина построена на идее, что «фрейм делает нас». Фрейм выборов сам «подсказывает», как себя вести, также, как и фрейм судебного разбирательства или поездки в автобусе. И вопрос в том, насколько фрейм опроса и похода на избирательный участок совпадают по своим стимулирующим определенное официально-нормированное поведение.
Иван Климов, завершая обсуждение, заметил, что высказано очень много догадок и гипотез, которые должны были бы составить целую программу исследования электорального поведения россиян. Конечно же, такие задачи не могут быть решены в формате исследовательской самоорганизации, но неизвестно, занимаются ли опросные фабрики подобными разработками в своей штатной деятельности.