Основные проблемы экспертных оценок.
1. Формирование экспертных комиссий.
От того, насколько компетентна и профессиональна экспертная комиссия, во многом зависит успех проводимой экспертизы. Если эксперты недостаточно компетентны, результатами экспертизы пользоваться нельзя. В настоящее время разработаны технологии, способствующие формированию компетентных экспертных комиссий. Однако они нуждаются в дальнейшем совершенствовании.
2. Организация и проведение экспертиз.
Большое значение в экспертных технологиях принадлежит методам корректной организации и проведения экспертиз. Наиболее известные из них метод Дельфи, ПАТТЕРН, метод суда, метод комиссий, мозговая атака и т.д. с успехом используются в экспертной практике.
Однако каждый из них эффективен для решения определенного класса задач. При проведении экспертиз сложных объектов, в том числе связанных с решением экономических проблем, приходится сталкиваться с проведением комплексных экспертиз. Методы их организации и проведения разработаны недостаточно. Имеется необходимость и в совершенствовании широко используемых технологий организации и проведения экспертиз.
3. Классификация объектов экспертизы.
Результаты экспертной классификации используются при аккредитации, сертификации, оценке качества товаров, при подготовке управленческих решений, при проведении конкурсов и т.д. Необходимо совершенствование технологий формирования решающих правил, оценочных систем (критериев, весовых коэффициентов, шкал), пороговых значений, процедур оценки, принятия коллективных решений.
4. Работа с количественной и качественной экспертной информацией.
Работа с количественной и качественной экспертной информацией лежит в основе, практически, всех технологий, связанных с получением, обработкой и анализом экспертной информации. Здесь необходимо использование корректных методов получения, анализа, обработки, определения результирующих экспертных оценок, а также оценки полученных результатов.
5. Обеспечение процесса получения качественной (неколичественной) экспертной информации.
Эта проблема является одной из основных для современных экспертных технологий. Здесь необходимо совершенствование процедур:
- регламентации необходимой содержательной экспертной информации;
- развитие методов получения индивидуальной качественной (неколичественной) оценки, включая разработку специальных шкал, форм, анкет
- развитие методов работы с экспертом (анкетирование, интервьюирование, мозговая атака и т.д.);
- совершенствование методов обработки качественной (неколичественной) информации;
- развитие методов принятия экспертных решений при многокритериальных качественных (неколичественных) оценках;
- получение качественной (неколичественной) экспертной оценки, как результата работы экспертной комиссии;
- анализ результатов экспертизы при качественных (неколичественной) оценках.
6. Целеполагание.
Несмотря на исключительную важность этой проблемы в управленческих экспертизах, хорошо отработанные технологии процедуры целеполагания, практически, отсутствуют.
Необходимо совершенствование экспертных технологий целеполагания таких, как:
- определение перечня целей;
- установление соответствия целей, предъявляемым к ним требованиям;
- формирование оценочных систем для оценки степени достижения целей;
- формирование деревьев целей и критериев.
7. Экспертное прогнозирование.
Тот, кто не умеет предвидеть, не может эффективно управлять. В ситуации, когда во многих случаях статистические массивы, необходимые при прогнозировании с помощью методов изыскательского прогнозирования отсутствуют, особенно актуальным становится использование методов экспертного прогнозирования, в особенности методов построения экспертных кривых.
Для успешного использования этой группы технологий особое значение приобретают:
- совершенствование методов разработки экспертных сценариев;
- получение коллективного экспертного сценария;
- получение коллективного экспертного прогноза.
8. Ситуационный анализ.
Ситуационный анализ является сегодня комплексной экспертной технологией, предназначенной для использования при принятии важных управленческих решений.
Его корректное использование невозможно сегодня без использования таких методов, как мозговая атака, определение факторов, характеризующих развитие ситуации, экспертные сценарии развития ситуации, подготовки аналитических отчетов и т.д., которые нуждаются в совершенствовании с целью повышения их надежности.
9. Организация, проведение, обработка данных коллективных экспертиз, корректное определение результата работы экспертной комиссии.
Эта проблема относится к числу центральных проблем в экспертных технологиях. Профессиональное владение экспертными технологиями невозможно без владения технологиями проведения коллективных экспертиз и корректной обработки данных. Основной задачей здесь является повышение надежности и обоснованности получаемых экспертных заключений.
10. Графы решений (карты решений).
Эффективная управленческая деятельность требует принятия системных решений, учитывающих как ранее принимавшиеся решения, так и возможные альтернативные варианты решений при том или ином ходе развития ситуации.
Возможность учета прошлых и будущих решений при выработке управленческих решений сегодня дает использование графов решений (карт решений), вершины которых соответствуют решениям, которые уже приняты или могут быть приняты, а дуги показывают возможную технологическую последовательность принимаемых решений.
Необходимо развитие экспертных технологий, позволяющих как оценивать принятые ранее решения, так и решения, которые могут быть приняты. В частности, необходима разработка методов построения графов решений, формирования перспективных вершин графов решений, изучение их свойств с последующей выработкой рекомендаций для практического использования.
11. Анализ результатов экспертизы.
Актуальной остается проблема развития технологий экспертного оценивания, позволяющих оценивать точность результатов экспертизы. Не полностью решена задача оценки согласованности экспертных оценок и определения «коалиций» экспертов-единомышленников. При использовании методов парного сравнения остается актуальной задача выявления и, по возможности, устранения противоречивых оценок экспертов.
Продвижение в этом направлении позволит сделать процедуры получения, обработки и анализа экспертной информации более надежными, а экспертные заключения – более достоверными.
Сюда же примыкает и такая важная проблема, как защита экспертных процедур от манипулирования, поскольку при непрофессиональном проведении экспертиз манипулирование экспертными процедурами с целью получения заранее определенного результата представляет реальную опасность.
12. Развитие интеллектуальных систем, поддерживающих современные экспертные технологии. Использование современных экспертных технологий невозможно сегодня без использования автоматизированных компьютерных систем, в которых предусматривается сопровождение основных экспертных процедур, их информационное обеспечение, математическая обработка и анализ экспертной информации.
В частности, необходимы:
- разработка автоматизированных систем экспертного оценивания нового поколения;
- развитие нового класса интегрированных систем управления и автоматизированных систем оценки экономической эффективности проектов, более полно использующих экспертную информацию;
- создание автоматизированных систем, обеспечивающих проведение конкурсов, тендеров, подрядных торгов, автоматизированных системы мониторинга, основанных на использовании экспертной информации.