МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

П.Ф. Агаханянц, к.т.н., доц. каф. СЕиЭ СПбГИЭУ

Экспертное оценивание – это организация работы со специалистами-экспертами и методы обработки мнений экспертов с целью подготовки информации для принятия решений ЛПР – лицами, принимающими решения.

Этапы экспертного оценивания

· Постановка цели исследования.

· Выбор формы исследования.

· Подготовка информационных и вспомогательных материалов (бланков анкет и пр.), модератора процедуры.

· Подбор экспертов.

· Проведение экспертизы.

· Анализ результатов (статистический и пр.).

· Подготовка отчета с результатами экспертного оценивания.

Организационные стадии работы с экспертами

· Принятие решения о необходимости проведения экспертного опроса и формулировка лицом/лицами, принимающим/и решения (ЛПР) его цели.

O инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем.

· Подбор и назначение ЛПР основного состава Рабочей группы (РГ), обычно – научного руководителя и секретаря.

O Научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому (вместе с ЛПР или его представителем).

O Задача секретаря - ведение документации, решение организационных задач.

· Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса.

O Решение о проведении экспертного опроса уточняется во времени, финансовом, кадровом, материальном и организационном обеспечении.

O В РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная.

O Важно для успеха, чтобы все эти направления работ были утверждены ЛПР.

· Разработка аналитической группой РГ подробного сценария (регламента) сбора и анализа экспертных мнений (оценок), включая

O конкретный вид информации, которая будет получена от экспертов

§ тексты (слова) – экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов

§ условные градации – экспертов просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций,

Числа,

Ранжировки,

Разбиения или иные виды объектов нечисловой природы.

o конкретные методы анализа собранной информации:

Применение методов статистики объектов нечисловой природы (медиана Кемени, люсианы).

Эта работа ложится на эконометрическую и компьютерную группу РГ.

o Традиционная ошибка – сначала собрать информацию, а потом думать, что с ней делать. В результате используется очень небольшой процент информации, переданной экспертами.

· Подбор экспертов в соответствии с их компетентностью.

O РГ составляет список возможных экспертов.

· Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК), возможно, часть намеченных РГ экспертов отказывается по тем или иным причинам. ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.

· Проведение сбора экспертной информации.

O перед этим может проводиться набор и обучение интервьюеров - одной из групп, входящих в РГ.

· Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.

· При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

· Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.

· Официальное окончание деятельности РГ, в том числе

O утверждение ЛПР заключительного документа ЭК,

O подготовка и утверждение научного и финансового отчетов РГ о проведении исследования,

O оплата труда экспертов и сотрудников РГ,

O официальное прекращение деятельности (роспуск) ЭК и РГ.

Постановка задачи исследования

· Перед экспертами может быть поставлена задача, не поддающаяся решению обычным аналитическим способом:

O Выбор лучшего варианта решения среди имеющихся.

O Прогнозирование развития процесса.

O Поиск возможного решения сложных задач.

· Четкое определение условий, времени, внешних и внутренних ограничений проблемы. · Возможность ответа на вопрос с доступной человеческому опыту точностью. · Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных параметров не…

O хороший критерий для длинных серий однотипных экспертиз.

· Использование формальных показателей: должность, ученые степень и звание, стаж, число публикаций

O Может использоваться как вспомогательный критерий

· Методы самооценки и взаимооценки компетентности экспертов

Самооценка компетентности экспертов

· Эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет.

O эксперт лучше всего знает свои возможности;

O скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность;

o понятие "компетентность" строго не определено;

O Завышение или занижение компетентности.

Взаимооценка компетентности экспертов

· Peer review

· Возможности проявления личностных и групповых симпатий и антипатий.

· Малая осведомленность экспертов о возможностях друг друга.

O В современных условиях хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, несколько лет (не менее 3-4) работающих совместно, но привлечение таких пар специалистов не целесообразно.

«Климат» в экспертной комиссии

· Большое значение имеют личностные (социально-психологические) качества экспертов.

o «говоруны»

O неприязненные отношения

· В сложных случаях важно соблюдение регламента работы, разработанного рабочей группой.

Проведение экспертизы

· Проведение процедуры отличается в зависимости от используемого метода.

· Общие рекомендации:

O Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).

O Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает качества результата.

· Оценка согласованности мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие… · Оценка ошибки исследования · Построение модели свойств объекта на основе ответов экспертов (для аналитической экспертизы).

O одного варианта технических устройств из нескольких,

O группы космонавтов из многих претендентов,

O набора проектов научно-исследовательских работ для финансирования из массы заявок,

O получателей экологических кредитов из многих желающих,

O выбор инвестиционных проектов для реализации среди представленных, и т.д.

Экспертные оценки

· Экспертные оценки бывают индивидуальные и коллективные.

· Индивидуальные оценки - это оценки одного специалиста.

O Преподаватель единолично ставит отметку студенту,

O Врач единолично ставит диагноз больному.

O Командующий в армии обычно принимает решение единолично.

· Коллективные оценки - оценки нескольких специалистов.

O В случае сложного или затяжного заболевания собирается консилиум врачей.

O При угрозе отчисления студента за плохую учебу собирают комиссию преподавателей.

O В сложных и ответственных ситуациях на войне проводят военный совет.

Пример экспертной оценки - Оценка номеров в КВН

· Каждый из членов жюри поднимают дощечку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (такой подход некорректен с точки зрения теории измерений).

Пример экспертной оценки - Фигурное катание

· Перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается, чтобы не было желания завысить оценку одному спортсмену или занизить другому. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.

Методы экспертного оценивания

Метод комиссий

Дельфийский Метод

Метод сценариев

Мозговой штурм (мозговая атака)

Метод анализа иерархий

Метод комиссий

· Выработка общих взглядов по обсуждаемой проблеме осуществляется в ходе дискуссий.

· Существенный недостаток – возможность влияния аргументов наиболее авторитетного члена комиссии на мнение остальных участников.

· Неэффективное расходование времени. Пока обсуждается вопрос, касающийся только части экспертов, остальные сидят и скучают.

Дельфийский метод

· Особенности:

o заочность, что снимает недостаток «метода комиссий».

O проведение опроса в несколько итераций (раундов), в результате повышается точность экспертной оценки.

O анонимность.

· Для реализации этого метода требуются значительные затраты времени и финансов. История · Дельфийский метод (Delphi) появился в 1950-60-е годы в США для анализа планов атомной войны и прогнозирования…

Процедура повторяется, пока большинство экспертов не поддержит один вариант.

Недостатки метода:

· Мнение большинства не обязательно правильное; креативное решение как правило, выдвигается меньшинством, а наиболее эффективные решения отбрасываются.

· Не подходит для оперативного анализа, так как анализ требует много времени, на каждый этап нужны как минимум сутки.

· Возрастает конформизм экспертов, стремление попасть в большинство.

· Беззащитность эксперта перед организационной группой, у которой слишком большие полномочия, и которая может манипулировать экспертами.

Противодействия:

· Подбор организационной группы из различных структур, научных и социальных школ.

· Ту же проблему «прогнать» чрез другую группу.

· Самые оригинальные решения можно включать в качестве дополнений.

Применение в России

· В России применяется мало так как:

O долгое время аналитика была централизована и высок конформизм экспертов;

O нужны независимые аналитические структуры (у нас их нет);

o стратегический анализ мало востребован – все стейкхолдеры «знают» свои цели;

O нет традиции проведения таких исследований и мало профессионалов, все эксперты знают друг друга и их очень мало.

· Метод сценариев применяется прежде всего для экспертного прогнозирования. · Любое прогнозирование требует некоторой стабильности условий. Но решения… Метод сценариев

O ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом.

O попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации,

O и т.д.

МОЗГОВОЙ ШТУРМ

· Методмозгового штурма (мозговая атака, англ. brainstorming) – оперативный метод решения проблемы на основе стимулирования творческой активности, при котором участникам обсуждения предлагают высказывать возможно большее количество вариантов решения, в том числе самых фантастических. Затем из общего числа высказанных идей отбирают наиболее удачные, которые могут быть использованы на практике.

· Может использоваться как метод экспертного оценивания.

· Изобретателем метода мозгового штурма считается Алекс Осборн.

Этапы и правила мозгового штурма

· Постановка проблемы (предварительный этап).

O К началу основного этапа проблема должна быть четко сформулирована.

O Происходит отбор участников штурма, определение ведущего и распределение прочих ролей участников в зависимости от поставленной проблемы и выбранного способа проведения штурма.

· Генерация идей.

O Основной этап, от которого во многом зависит успех всего мозгового штурма.

o Важно соблюдать правила для этого этапа:

§ Главное – количество идей. Не делайте никаких ограничений.

Полный запрет на критику и любую (в том числе положительную) оценку высказываемых идей, так как оценка отвлекает от основной задачи и сбивает творческий настрой.

Необычные и даже абсурдные идеи приветствуются.

Комбинируйте и улучшайте любые идеи.

· Группировка, отбор и оценка идей.

O Этот этап позволяет выделить наиболее ценные идеи и дать окончательный результат мозгового штурма.

O На этом этапе, в отличие от второго, оценка не ограничивается, а наоборот, приветствуется. Методы анализа и оценки идей могут быть очень разными.

Правила мозгового штурма

· Для проведения мозгового штурма обычно создают две группы:

O участники, предлагающие новые варианты решения задачи;

O члены комиссии, обрабатывающие предложенные решения.

· Вначале решения не отличаются оригинальностью, но затем у участников начинают возникать необычные идеи. Все идеи записываются ведущим. · Когда все идеи высказаны, производится их анализ, развитие и отбор. В итоге… · Успех мозгового штурма в значительной степени зависит от психологической атмосферы и активности обсуждения, поэтому…

O в Швеции (Экологический суд),

O в некоторых штатах США (Экологическое жюри штата Вермонт),

O в Канаде (слушания в рамках работы Бюро по общественному контролю окружающей среды).

· В Швеции много лет существовал Водный суд – квазисудебная процедура выдачи лицензии на водопользование. Затем этот опыт был распространен на… · Комиссия принимает решение об условиях природопользования. · Комиссией руководит судья, специализирующийся на экологических делах, в комиссию входят представитель…

В Петербурге демонстрационные слушания по выдаче разрешений на природопользование прошли в ноябре 2001 г. при участии судей Экологического суда Швеции.

В них приняли участие представители государственных контролирующих органов и местного самоуправления, общественные организации.

Проект не ставил своей целью дальнейшее развитие квази-судебных процедур в принятии решений.

Всеволожские слушания

В 2002 г. во Всеволожске были проведены общественные слушания по обоснованию инвестиций Всеволожского завода прокатных изделий.

Слушания проходили по временному регламенту, принятому ОМСУ Всеволожского района на основании квазисудебной процедуры.

§ Целями проведения общественных слушаний являлись:

Информирование общественности о проекте и его возможном воздействии на окружающую среду,

Выявление общественных предпочтений и их учет в процессе ОВОС.

§ Общественные слушания проводятся в форме открытого и публичного процесса обсуждения экспертных заключений, выступлений экспертов, в том числе… § Общественные слушания являются открытым процессом, в котором любой человек… § Общественные слушания проводятся на основании полной и достоверной информации о намечаемой деятельности и ее…

Сейчас в США для проведения жюри граждан необходимо получить разрешение от Джефферсон Центра, который должен убедиться, что технология соблюдена.

§ Гражданское жюри – это аналог суда присяжных, перед которым поставлены вопросы, касающиеся той или иной политики местного, регионального или национального уровня. Вопросы формулируются органом власти, который должен принять решение.

§ Гражданское жюри представляет собой репрезентативную группу граждан, которая собирается на несколько дней для тщательного изучения материалов по общественно значимой проблеме.

Жюри обычно состоит из 18-20 человек.

Репрезентативность является основным принципом формирования состава жюри. Состав группы подбирается так, чтобы в ней были представлены разные социально-демографические группы в пропорциях, характерных для местного сообщества, а также различные заинтересованные группы по отношению к рассматриваемой проблеме.

§ Репрезентативность заменяет всеобщность участия, а столкновение интересов и позиций обеспечивает глубокую и неравнодушную дискуссию.

Пилотный проект

Пилотный проект по проведению Гражданских слушаний был реализован в селе Обьячево Прилузского района Республики Коми.

Материалы размещены на сайте Центра экспертиз ЭКОМ www.ecom.su