Апробация и доработка инструментария
После подготовки первого варианта, собственно, и начинается работа, необходимая для разработки инструментария, пригодного для получения качественной информации. В методической литературе этот этап принято называть апробацией анкеты или пилотажным исследованием.
Поскольку эта работа требует дополнительных сил, времени, средств и ресурсов, то исследователи очень часто вообще отказываются от проведения этого этапа (правда, чаше всего об этом скромно умалчивают).
Однако между повышенными академическими требованиями, не учитывающими жизненных реалий, и широко распространяющейся, ничем не обоснованной и не выдерживающей никакой профессиональной критики практикой существует компромиссный путь завершения работы над инструментарием. Он заключается в соблюдении следующих правил.
1. Анкета должна «отлежаться». Первый вариант анкеты, даже если он не вызывает никаких сомнений у разработчиков, не следует сразу же тиражировать. Необходимо время, чтобы проявились латентные (не всегда осознаваемые) творческие возможности участников исследования, которые были инициированы первым форсированным этапом работы.
Психологический механизм творческой работы таков, что исследователь, даже завершив какой-либо этап работы, осознанно или неосознанно возвращается к анализу поставленной проблемы. Во-первых, в голову приходят новые дополнительные варианты редакции вопросов или возможных показателей, неучтенные факторы и т.п.
Во-вторых, перечитывая еще и еще раз анкету, исследователь может сам обнаружить ошибки, которые не были замечены в процессе подготовки первоначального варианта, когда внимание распределяется и на содержательную часть, и на возможности верификации, и на особенности формулировок, и на порядок вопросов и т.п. элементы работы над инструментарием.
2. Исследователь должен своими глазами увидеть «живую реакцию» потенциальных респондентов на разработанный инструментарий. Другими словами, он должен сам по подготовленной анкете опросить несколько человек, чтобы увидеть, как «работают вопросы».
В качестве таких респондентов могут выступать родственники или знакомые. В определенном отношении хорошо знакомых людей даже лучше опрашивать на этом этапе работы, так как они в меньшей степени реагируют на самого «интервьюера», не стесняются переспросить в том случае, если не понимают смысл вопроса, высказать критические замечания и т.п.
В последующей доработке анкеты исследователь, естественно, будет учитывать не каждое замечание «человека с улицы», тем не менее, кроме отдельных полезных для себя наблюдений, он может установить некоторые типичные реакции, которые необходимо учесть или в самой анкете, или в инструкции интервьюерам.
Такие пробные интервью позволяют также убрать из анкеты «неработающие» вопросы и дополнить полузакрытые вопросы, если в вариативном вопросе вариант «другой ответ» выбирают более 5% опрошенных всеми соисполнителями. «Неработающими» считаются вопросы, не позволяющие дифференцировать респондентов, например, если на какой-либо вопрос более 80% опрошенных дают один и тот же ответ.«Неработающими» также считаются вопросы, на которые более половины людей затрудняются ответить.
Кроме того, апробацию проходят формулировки, ко-торые при обсуждении анкеты ряду соисполнителей казались сомнительными с точки зрения возможности их восприятия «простыми людьми». Нередко предварительно проведенные опросы показывают: то, что кажется слишком трудным для понимания самим социологам, не вызывает трудностей и негативных реакций у опрашиваемых людей.
3. Анкета должна пройти неформальную экспертизу. Неформальная экспертиза инструментария коллегами-социологами часто бывает полезнее официальных обсуждений. Во время формального обсуждения эксперт может, во-первых, из соображений гуманного характера не высказать все критические замечания, а во-вторых, не выносить на всеобщее обсуждения вещи, которые вызывают у него сомнения, но он не полностью уверен в своей позиции, в-третьих, высказав свою точку зрения публично и вполне официально, эксперт в определенной степени чувствует необходимость ее отстаивать даже тогда, когда под влиянием аргументов автора в глубине души уже не полностью уверен в своей правоте.
Но, по крайней мере, у авторов анкеты возникнет необходимость либо более аргументированно остановиться на первоначальном варианте, либо с благодарностью за затраченные усилия исправить незамеченную в первоначальном хаосе работы ошибку. Поэтому мы настоятельно рекомендуем подготовленную анкету «подсовывать» коллегам, имеющим опыт подобной работы.
Именно на этот второй этап работы над анкетой не следует жалеть времени: 1-2 недели должны быть потрачены на то, чтобы избавиться от всех возможных ошибок и погрешностей, которые неизбежно возникают на первом этапе в силу специфики этой работы, отличающейся многоуровневым распределением внимания.
На заключительном этапе — перепечатке окончательного варианта особое внимание необходимо уделить вычитыванию (корректуре) тех частей анкеты, где были сделаны содержательные исправления.
Даже анкеты, подготовленные в оперативном порядке для экспресс-опросов, при проведении которых нет времени выдерживать необходимую технологию, следует задним числом (в период сбора информации) подвергнуть прохождению той же процедуры, чтобы по крайней мере при анализе результатов была возможность учесть погрешности в качестве инструментария.
