Ошибки формирования веера ответов

Нарушение рядоположности. Самой распространенной при формировании веера ответов является логическая ошибка — нарушение рядоположности. Нарушение рядоположности ответов заключается в том, что некоторые варианты ответов не соответствуют ключевому слову вопроса и фактически являются вариантами другого ряда ответов (ответами не на тот вопрос, который поставлен, а на другой).

Пример 1. «Собираетесь ли Вы уехать из Вашего населенного пункта?»

• 1 — да, я хочу уехать
• 2 — нет, я останусь жить здесь
• 3-я еще не принял окончательного решения по этому вопросу В приведенном выше примере первый вариант, по сути, является ответом на вопрос о желании респондента уехать (хотя в вопросе спрашивается не о желании, а о намерениях).

Вполне вероятна ситуация, когда человек не хочет уезжать, но в силу обстоятельств (в частности, радиоактивное или химическое загрязнение, семейные обстоятельства и т.д.) собирается это сделать.

Второй вариант ответа в целом соответствует вопросу, хотя более точной формулировкой была бы следующая — «я не собираюсь уезжать», поскольку формулировка «я останусь жить здесь» слишком категорична и может смущать слишком педантичного респондента — «вообще-то не собираюсь, но мало ли как сложится жизнь».

Третий вариант — это ответ уже на третий вопрос — о твердости намерений. В конечном итоге, на альтернативный, по замыслу автора, вопрос, подразумевающий выбор только одного варианта ответа, один респондент может отметить несколько ответов («да, я хочу уехать», но «еше не принял окончательного решения»), другой уточнит — «Я хочу уехать, но вынужден остаться жить здесь», а третий спросит: «А если я не хочу уезжать, а обстоятельства меня вынуждают, какой ответ я должен отметить?»

Пример 2 также иллюстрирует нерядоположность вариантов ответов на поставленный вопрос.

Пример 2. “Как регулярно Вы следите за деятельностью Верховного Совета Украины?»

• 1 — постоянно получаю информацию
• 2 — слежу только тогда, когда на сессии обсуждаются интересующие меня вопросы
• 3 — получаю информацию от случая к случаю
• 4 — деятельность Верховного Совета меня не интересует

Если первый и третий варианты соответствуют вопросу о регулярности, то второй вариант является скорее ответом на вопрос о причинах, а четвертый — об интересе к деятельности Верховного Совета. Таким образом, можно видеть, что предъявленные варианты представляют три неполных шкалы оценивания (регулярность, причины, интерес).

Человека может не интересовать деятельность Верховного Совета, но он постоянно следит за его работой, так как считает необходимым быть в курсе политических решений и принятых законов. Другой, тоже не интересуясь деятельностью ВС, может получать информацию от случая к случаю, когда другие члены семьи смотрят или слушают трансляцию и т.д.

Ответ «слежу только тогда, когда на сессии обсуждаются интересующие меня вопросы» вообще ничего не говорит о регулярности получения информации и просто не может не перекрещиваться либо с первым вариантом («постоянно»), либо с третьим («от случая к случаю»). Формули¬ровка «от случая к случаю» к тому же чаще всего нуждается в конкретизации.

Неполнота множества. Неполнота множества вариантов ответа также является достаточно распространенной типичной ошибкой при формировании веера ответов.
Набор ответов должен включать все возможные варианты на поставленный вопрос.
В случаях, когда используется оценочная шкала («Положительно-Отрицательно») или шкала согласия («Согласен-Не согласен»), авторы анкеты редко допускают грубые ошибки в веере ответов.

Ошибки, возможные при формировании подобного типа измерительных шкал будут подробнее рассмотрены в лекции, посвященной проблеме измерения. В вопросах же, направленных на изучение мотивов, причин, проблем, вызывающих обеспокоенность («Какие проблемы беспокоят Вас больше всего в настоящее время?» и т.п.), трудно, а зачастую и невозможно предусмотреть все варианты ответов. Однако, не включив какой-либо возможный вариант в перечень ответов, автор допускает двойную ошибку: психологическую и логико-математическую.

Не предоставив человеку возможность ответить на вопрос, он формирует у респондента, во-первых, чувство неудовлетворенности, а во-вторых, представление о том, что вопросы можно оставлять и без ответа. Математическая ошибка заключается в том, что в обработку поступает неполное множество.

Чтобы в подобных вопросах исключить ошибку неполноты множества, следует руководствоваться следую-щим правилом: в конце перечня вариантов ответов использовать «заключающую триаду»:

• дополнение («другой ответ» )
• отрицание («никакие проблемы не волнуют»)
• уход («трудно сказать», «затрудняюсь ответить» и т.п.)

Вариант «другой ответ», кроме того, что он в любом случае позволяет каждому респонденту выразить свое мнение, по каким-либо причинам непредусмотренное автором анкеты, помогает еще и оценить качество вопроса в целом. Если в результате опроса этот вариант отметили более 5% респондентов, вопрос считается некачественным и требует доработки — расширения веера ответов на основе изучения конкретных ответов, записанных в строке «другой ответ».

Включение в веер ответов варианта «затрудняюсь ответить» — традиционная форма предоставления респонденту возможности уйти от ответа, если тот по каким-либо причинам не может или не хочет отвечать на данный вопрос. Автор может пойти на «жесткую форму» вопроса и не включить в набор ответов вариант «затрудняюсь ответить». Этот прием применяется для того, чтобы принудить респондентов выбрать тот или иной конкретный ответ. Но в этом случае, во-первых, он должен осознавать, что неизбежно возрастет доля неответов на этот вопрос; а во-вторых, обязательным условием при анализе материала является проверка достоверности данных, полученных с помощью этого вопроса.

Неполнота множества может порождаться разными причинами, среди которых довольно распространенной является элементарная небрежность в работе. Ниже при-водятся примеры вопросов с неполными перечнями ответов, очевидность которых проявляется при первых же попытках апробации инструментария. Пример 1, «Какая часть людей, живущих по соседству с Вами — русские?»

• 1 — все
• 2 — большинство
• 3 — некоторые из них
• 4 — мало кто
• 5 — никто
• 6 — не знаю

Пример 2. «Как часто за последние три года Вы принимали участие в голосовании, вы-борах?»

• 1 — ни разу
• 2 — от случая к случаю
• 3 — часто
• 4 — не знаю

В примере 1, кроме того, что трудно дифференцировать варианты «некоторые из них» и «мало кто», не предусмотрен такой ответ, как «примерно половина», который будут пытаться найти многие респонденты и, не найдя, могут отказаться отвечать как на этот вопрос, так и на аналогичные последующие вопросы, например, касающиеся коллег, родственников, друзей и т.д.

В примере 2 не предусмотрен вариант ответа «всегда». Учитывая, что участие в выборах обычно принимает большая часть взрослого населения, можно было предвидеть, какая доля респондентов выразит протест, не найдя «своего» ответа на шкале. В то же время вариант ответа — «не знаю» может вызвать закономерное удивление.

Шкала ответов на вопросы, касающиеся частоты (регулярности) каких-либо действий, всегда представляет для авторов анкет большую трудность. Если полярные точки шкалы, такие как «постоянно» («всегда», «регулярно») и «практически никогда», обычно затруднений не вызывают, то промежуточные («часто», «иногда», «изредка» и т.п.) в силу неопределенности единицы измерения часто вызывают бурные дискуссии среди соисполнителей. Поэтому, если исследование не направлено на измерение именно субьективного аспекта восприятия, лучше подобные вопросы (или варианты ответов) конкретизировать — «Сколько раз за последний год (месяц, неделю)…?»

Порядок ответов. В тех случаях, когда исследователь предполагает в последующем анализе считать индексы и коэффициенты связи, он должен обратить внимание на порядок предъявления вариантов ответов, поскольку цифровое обозначение кодовой позиции каждого из вариантов ответа приобретает свое числовое значение.

Подробнее на этой проблеме — проблеме соотнесения веера ответов с типом шкалы — остановимся ниже (в разделе «Анализ, и проблема измерения). Здесь же хотелось бы только привлечь внимание авторов анкеты к тому, что, когда формируются вопросы оценочного характера (исследуется эмоциональное отношение, доверие, удов-летворенность и т.п.), место такого варианта ответа, как «Затрудняюсь ответить», приобретает тот или иной вес в зависимости от рангового места, на которое автор поставил этот вариант в веере ответов.

При использовании оценочных вопросов («Как Вы относитесь…?», «Как Вы оцениваете …?») вариант ответа «затрудняюсь ответить» лучше ставить не в конце, а в се-редине шкапы, преобразуя его формулировку в соответствии с обшей шкалой.

Пример 1. «Удовлетворены ли Вы своей работой?»

• 1 — совершенно не удовлетворен
• 2 — скорее не удовлетворен
• 3 — трудно сказать, удовлетворен или нет
• 4 — скорее удовлетворен
• 5 — полностью удовлетворен

Пример 2. «Как Вы оцениваете деятельность Верховного Совета Украины?»

• 1 — скорее положительно
• 2 — трудно сказать, положительно или отрицательно
• 3 — скорее отрицательно

Какую шкалу лучше выбрать — трехбалльную или пятибалльную? Это зависит от того, какой вид анализа будет применен в дальнейшем. Если предполагается расчет индексов и коэффициентов связи — лучше пятибалльную.

Если же автору достаточно сопоставить группы людей (удовлетворенных и неудовлетворенных, согласных и не согласных с каким-либо суждением), лучше пользоваться трехбалльной шкалой. Но в этом случае следует смягчить категоричность ответов: «скорее согласен», «в основном положительно».

В последнее время в анкетах часто используются десяти- и одиннадцатибалльные шкалы. Например: «Оцените свое отношение к некоторым известным политическим лидерам. Свою оценку поставьте на шкале термометра (от нуля до десяти). Чем больше число, тем теплее или благожелательнее Вы относитесь к этой личности. Чем меньше число, тем холоднее или неблагосклоннее Ваше отношение. Если Вы не испытываете к ним ни благосклонности, ни неприязни, выберите оценку 5».

Это пример одиннадцатибалльной шкалы с так называемым фиксированным нулем, где, по замыслу исследователя, оценки выше пяти баллов представляют собой положительную ось шкалы, а оценки ниже пяти баллов — отрицательную.
Мы советуем с большой осторожностью использовать одиннадцати и особенно десятибалльные шкалы.

Анализ отчетов интервьюеров показывает, что далеко не все респонденты «чувствуют» такого рода шкалы. И в первую очередь это относится к лицам, не имеющим высшего образования. Например, оценивая Сталина, респондент говорит: «Я отношусь к нему в целом положительно, он много сделал для нашей страны, но совсем немного положительно, совсем немного, так как он был жестоким. Отметьте, пожалуйста, 1 балл». По замыслу автора, «совсем немного положительно» — это 6 баллов. Однако респондент категорически отказался дать 6 баллов — «это слишком много».

Еще сложнее проходят опросы по десятибалльным шкалам, так называемым «шкалам без фиксированного нуля». С одного до пяти баллов шкала отрицательная, с шести до десяти — положительная. Многие респонденты, занимающие нейтральную позицию, не могут найти ее на шкале. Они требуют, чтобы интервьюеры обвели одновременно 5 и 6 баллов, или ставят между этими позициями птичку и обводят ее (если сами заполняют анкету).

И если автор не контролирует каждое интервью и ввод данных по каждой анкете, то он получает результаты, «откорректированные» интервьюерами и операторами, занимающимися вводом данных. Поэтому 10 — 11-балльные шкалы лучше оставить для основательных исследований, где время и методическая квалификация исследователя позволяют оценить качество информации, полученной с помощью эти шкал.