Качество экспертных оценок во многом определяется квалификацией экспертов. При отборе экспертов используются метода оценки квалификации экспертов. Чаще всего - это метода "самооценки" или "взаимооценки", основанные на заполнении экспертами соответствующих анкет, позволяющих выявить их квалификацию, и последующей их обработке. Пример анкеты самооценки - Таблица 4‑1. В анкету рекомендуются включать показатели, характеризующие знакомство кандидата с:
- литературой по специальности
- фирменными каталогами и проспектами
- данными о зарубежном опыте
- статистическими данными
- инновациями
- результатами опросов и маркетинговых исследования
Члены рабочих групп устанавливают весомость каждого показателя, включённого в анкету самооценки. Также весомость показателей может определяться на основе мнений экспертов.
Рабочими группами устанавливаются также возможные оценки степени знакомства кандидатов в эксперты с вопросами, включенными в анкету самооценки. Например, устанавливается влияние стажа работы экспертов на степень их знакомства с проблемой и соответствующие коэффициенты (напр):
5 лет - низкая 2,0
6-10 лет - средняя 7,5
свыше 10 лет - высокая 10
Таблица 4‑1 Анкета самооценки
Эксперт ______________________ (фамилия, имя, отчество) стаж работы по проблеме_____ лет | ||||||
№ | Показатели, характеризующие знакомство с проблемой | Весомость показателя (Wi ) | Оценка степени знакомства или участия (отметить знаком Х) | |||
Высокая Х1 =10 | Средняя Х2 =7,5 | Низкая Х2 =2 | Отсутствует Х3 =0 | |||
Знакомство с требованиями покупателей | 0,25 | Х | ||||
Участие в подобных исследованиях | 0,12 | Х | ||||
Знакомство со статистикой данного вопроса | 0,18 | Х | ||||
Знакомство с нормативной литературой | 0,10 | Х | ||||
N | <И т.п.> | 0,35 |
"Самооценка" вычисляется по формуле: ,
К=0,25*10+0,12*10+0,18*7,5+0,10*2+… и т.п.
Из кандидатов в эксперты, получивших наиболее высокие значений самооценок, необходимое количество экспертов включают в панель. Из кандидатов, получивших более низкие оценки, образуют резерв.
Помимо самооценок для определения квалификации экспертов широко применяется метод взаимооценки.