При проведении экспертизы в ряде случаев группа оценивает не только предмет или продукцию, но и отдельные потребительские свойства или их совокупности. При этом экспертная группа может принимать решения на основе среднеарифметического значения оценок экспертов либо используя коэффициенты весомости, в том числе влияющие на важность оценок полученных от различных экспертов.
Существует два основных подхода к проведению экспертизы методом экспертных оценок – методы Дельфы и Паттерн. При использовании метода Дельфы эксперты высказывают своё суждение не в ходе группового обсуждения, а излагают его в отдельной анкете, снабженной подробнейшей инструкцией.
При этом с целью повышения достоверности и надёжности результатов, саму задачу обычно разбивают на несколько этапов, где используются следующие методики:
- Деление основной проблемы на несколько аспектов, позволяющих рассмотреть проблему под различными углами зрения.
- Использование разных экспертов и их комбинаций на каждом этапе новой группы экспертов.
При использовании метода Паттерн, в отличие от метода Дельфы, создается ситуация, где эксперты могут влиять на мнения друг друга, и основная проблема разбивается на основные и вспомогательные проблемы. При экспертизе качества продукции наиболее часто используют балльные оценки. Балльные оценки даются непосредственно экспертами или получаются в результате формализации процесса оценки.
Назначение балльных оценок производится экспертами независимо друг от друга или в процессе обсуждения, в зависимости от того, какая методика была выбрана. Количество баллов в принимаемой оценочной шкале может быть разным. Для оценки показателей качества обычно используют 5-ти, 7-ми и 10-балльные шкалы. Число баллов может зависеть также от цели оценки и характера решений, принимаемых на основе анализа значений относительных показателей качества.
Если от оценки не требуется высокая точность, то можно использовать наиболее привычную пятибалльную шкалу со следующими градациями качества:
- 5 – отличное качество;
- 4 – хорошее качество;
- 3 – среднее (удовлетворительное) качество;
- 2 – плохое качество;
- 1 – очень плохое качество.
При пользовании такими балльными шкалами эксперт определяет только градацию качества (отлично, хорошо и т. д.), которой соответствует определенное число баллов. Однако в связи с наблюдаемым стремлением экспертов не применять крайние значения пятибалльная шкала фактически превращается в весьма грубую трехбалльную шкалу.
Поэтому целесообразно использовать шкалу с большим числом баллов, например, семибалльную шкалу: 1 – качество очень низкое; 2– качество низкое; 3 – качество ниже среднего; 4 – качество среднее; 5 – качество выше среднего; 6 – качество высокое; 7 – качество очень высокое.
Чтобы обеспечить различимость категорий качества, необходимо дать экспертам описание, в котором отмечены характерные черты градаций, позволяющие достаточно четко отличать каждую градацию от граничащих с ней. Обобщенный показатель качества, определяемый экспертным методом по балльной системе исчислений, находят как среднее арифметическое значение оценок, поставленных всеми экспертами.
