Метод экспертных оценок, его виды, особенности организации

Анализ характеристики экспертных опросов (анкетирование и интервью) лучше всего сочетать с уяснением сущности еще одного метода сбора социологической информации – экспертных оценок. Использование метода экспертных оценок имеет большое будущее не только в социологии. Этот метод лежит в основе содержательного наполнения «экспертных систем» – компьютерных программ, которые относятся к разряду наиболее перспективных.

Среди разновидностей экспертных опросов следует выделить индивидуальные (интервью и аналитические экспертные оценки) и коллективные (мозговой штурм, синектика, деловые игры в разных вариантах: упражнения «дилетантов», серийные операционные игры, метод Дельфи). Кроме техники организации экспертизы студентам надо освоить методики формирования экспертных групп, отбора их по качественным и количественным характеристикам.

Идея привлечения экспертов апробирована в различных отраслях знания. Социология многое может почерпнуть из имеющихся разработок. В частности, создание экспертных систем (электронных советчиков) практикуется в медицине, юриспруденции, сельском хозяйстве, при конструировании ЭВМ и т.п. Экспертные системы - это компьютерные программы, аккумулирующие знания экспертов (специалистов) в той или иной области и совершающие на их основе логические выводы, выдающие рекомендации по соответствующим запросам. Такие системы могут создаваться и с успехом использоваться в моделировании знаний о социальных процессах, став составной частью банков социологических данных.

Но если экспертные системы в социологии - это все-таки дело будущего, то применение методов экспертных оценок, на которых основываются такие системы, в социологии практикуется давно и достаточно широко. Их суть сводится к опросу экспертов (специалистов) и анализу их суждений относительно исследуемого вопроса (проблемы). В научной практике методы экспертных оценок чаще всего используются при исследовании проблем, которые слабо поддаются или не поддаются вовсе формализации, т.е. для которых трудно выработать адекватную модель. Специфика объектов социологического познания, сложность их формализации, как раз создает широкое поле возможностей для использования методов экспертных оценок. Тем более что оценки могут носить как качественный, так и количественный характер.

В настоящее время разработан и используется ряд методик получения индивидуальных и коллективных экспертных оценок. Индивидуальные экспертные оценки основаны на мнениях экспертов, которые производят экспертизу совершенно независимо друг от друга. Известны два основных метода получения таких оценок — интервью и аналитические экспертные оценки.

В интервью исследователи обращаются к отдельным экспертам-специалистам, задавая вопросы по проблеме исследования, по сути изучаемого предмета. Содержание вопросов в таком интервью неизбежно отражает исследовательский подход к проблеме. Эксперту предлагается оценить те или иные положения, высказав свое мнение. Требуются особые навыки в проведении интервью, чтобы получить с его помощью необходимую и действительно новую информацию, услышать то, что хочет сказать эксперт, а не только то, что хочет слышать интервьюер. В этом содержится ряд трудностей. Но безусловным достоинством метода интервью является возможность получения оценок с обоснованием, данным «из первых рук».

Известно, что форма изложения научных положений не всегда адекватно выражает их содержание. В качестве образцов научного юмора приводят высказывания по одному поводу, выраженные на языке научной литературы и сказанные для себя так, как это могло бы прозвучать в обыденной речи.

Если в научной статье пишется: «для детального исследования мы выбрали три образца», то вполне возможно, что имеется в виду следующее: «результаты, полученные на остальных двадцати образцах, не лезли ни в какие ворота». Если в научной статье мы читаем: «имеет огромное теоретическое и практическое значение» или «общепринято, что», то можно не сомневаться, что автор думает: «мне лично это кажется интересным» или «еще двое отличных ребят думают точно так же». За достаточно корректным замечанием типа «Блоггинс и др. оставили этот факт без внимания...» вполне может стоять менее любезное выражение: «Блоггинс не понимает электрохимию, потому что он тупица».

Примеры, заимствованные из физики, вполне могут иллюстрировать схожие ситуации в социологии, в которой вообще велик элемент субъективности. Поправка на него обязательно должна делаться при анализе научных записок, отчетов об экспертизе, которые являются результатами аналитических экспертных оценок. Этот метод предполагает самостоятельную работу экспертов над заданием. В результате ход их рассуждений в меньшей степени испытывает влияние наводящих вопросов исследователя-интервьюера.

Но зато проблема обоснования позиции (для эксперта) и ее интерпретации (для того, кто дал ему задание) встает более остро. В целом же индивидуальные экспертные оценки рассчитаны на получение качественной информации, в основном не связанной с количественным выражением оценок. Количественные методы не используются и при организации индивидуальной экспертизы. Это снижает методическую обоснованность их применения.

Во многом ограниченность индивидуальных методов преодолевается в методах коллективных экспертных оценок. Наиболее распространенными из них являются такие, как «мозговая атака», или «мозговой штурм», синектика, деловые игры в разных видах, метод Дельфи. Эти методы, в содержание которых входит учет коллективных мнений об изучаемом предмете, основаны на тщательном подборе групп экспертов.

Существуют общие требования к экспертам-специалистам, которым доверяют проведение экспертизы. Они сводятся к наличию у экспертов высокого уровня эрудиции, глубоких специальных знаний в исследуемой области, производственного и исследовательского опыта, академического интереса к изучаемому предмету, способности к объективному и принципиальному анализу.

Для определения соответствия потенциальных экспертов выдвигаемым требованиям используются документальные данные о стаже производственной и научной деятельности в исследуемой области, о научных степенях и званиях претендентов; проводится тестирование и анкетирование с помощью специально разработанных вопросников, часто дополнительно используется метод самооценки.

В настоящее время разработаны и используются количественные методы определения уровня компетентности кандидатов в эксперты. Самый простой и доступный метод расчета уровня компетентности на основе самооценки - это исчисление индекса по ранговой шкале.

Потенциальным экспертам дается перечень качеств, необходимых эксперту, и предлагается оценить степень сформированности этих качеств у них по шкале: высокий уровень (1 балл), средний
(0,5 балла), низкий (0 баллов).

Для упрощения процедуры в перечень качеств включаются, чаще всего, три основных: уровень теоретических знаний в исследуемой области (I), практический опыт в разработке изучаемых проблем (II), способность к экспертизе (III). Индекс уровня компетентности (К) в этом случае рассчитывается по формуле:

,

где К₁ — числовое значение самооценки экспертом уровня своих теоретических знаний, К_ІІ — числовое значение самооценки практического опыта, К_ІІІ — числовое значение самооценки способности к экспертизе. Индекс уровня компетентности, вычисленный по этой формуле, может принимать значения от 1 (полная компетентность) до 0 (полная некомпетентность). В качестве экспертов отбираются лица, оценка уровня компетентности которых равна среднему значению или выше его, т. е. принимает значения от 0,5 до 1.

Существуют более точные, но и более сложные методы расчета уровня компетентности на основе групповых оценок.

В методах коллективных экспертных оценок требования к уровню компетентности отдельных экспертов дополняются условиями, которые надо соблюдать при формировании экспертных групп. Прежде всего, возникает вопрос об оптимальной их численности: нельзя чересчур увеличивать группу - могут возникнуть сложности как внутри нее, так и в анализе результатов экспертизы; но и слишком малочисленная группа не сможет дать достаточно надежной информации.

В разных методах коллективной экспертной оценки подходят по-разному к определению численности групп, но существуют и достаточно точные, формализованные подходы к решению этого вопроса. С их помощью можно определить максимальную и минимальную численность экспертной группы, что позволяет варьировать ее численность по обстоятельствам, при этом соблюдая допустимые границы.

Еще более важными, чем оптимальная численность группы, являются формы и методы взаимодействия экспертов в ходе коллективной оценки. Существуют экспериментально отработанные методические приемы, дающие высокий уровень эффективности коллективных экспертных оценок.

«Мозговая атака» («мозговой штурм») — одна из таких методик, которая в значительной степени позволяет устранить некоторые издержки коллективной работы экспертов. В экспериментальной психологии доказано, что страх перед критикой и излишняя самокритичность затрудняют выработку принципиально новых решений. Поэтому в методе «мозговой атаки» экспертная группа разбивается на две подгруппы с внешне противоположными целями: первая ориентирована на генерирование как можно большего количества идей, вторая - на критическую оценку выдвинутых положений. В первой группе допускается выдвижение даже неаргументированных, фантастических предложений. Вторая же ставит своей целью критику, оценку и отбор наиболее приемлемых из них.

Метод «мозговой атаки», который разработан Л.Осборном («брейнсторминг»), нашел широкое применение в выработке принципиально новых решений, в анализе сложных, не поддающихся строгой формализации проблем. Достаточно широко он используется в социологии.

Другой разновидностью коллективных экспертных оценок является такой метод, как синектика, - буквально - соединение разнородного. В отличие от метода «мозговой атаки», который направлен на получение как можно большего числа предложений, синектика изначально ориентирована на выработку наиболее приемлемых и ценных, прямо работающих на решение поставленного вопроса.

В группу «синекторов» отбираются хорошо подготовленные, эрудированные, способные к нетривиальным суждениям эксперты. Обычно - это 5 - 7 человек, способных четко формулировать позиции, выделять в них взаимоисключающие стороны, широко использующие аналоги из других, даже не смежных областей реальности.

В числе методических приемов, применяемых в синектике, обращает на себя внимание рекомендация экспертам-«синекторам» «войти в образ» оцениваемого явления или процесса, отождествляя себя с ним. (Чем не система Станиславского! Ведь С.Станиславский, обучая актеров сценическому мастерству, предлагал им пожить, к примеру, жизнью дерева, глубоко вросшего корнями в землю, почувствовать внутри себя столетний дуб). В синектике допускаются рассуждения не только о том, какими видятся анализируемые объекты, но и представления того, какими бы их хотелось видеть.

Хотя в отечественной литературе, в основном по социальной психологии и системному анализу, достаточно подробно описывается метод синектики, широкого применения в практике (у нас) он пока не нашел. Это связано, вероятно, с тем, что его использование требует особой подготовки специалистов-«синекторов». В США, например, создана фирма «Синектик инкорпорейтед», дающая консультации в области синектики и занимающаяся специальным обучением.

В то же время следует отметить, что при соответствующей заинтересованности метод синектики может найти применение в отечественной исследовательской практике, в том числе и в социологии, где очень часто требуются нетривиальные решения, связанные не только с объяснением, но и более глубокими механизмами понимания, проникновения в сущность изучаемых явлений и процессов.

Тем более что специфика объектов социологического познания способствует «вживанию в образ». Представление себя на месте другого, но тоже одушевленного субъекта (субъектов), имеет больше оснований, чем «вживание в образ» неодушевленного предмета, как это рекомендуется в синектике. Кроме того, постижение явлений социальной сферы, имеющих ярко выраженную субъективную окраску, настоятельно требует включения механизмов понимания наряду с логикой объяснения. Об этом речь уже шла ранее. С методом синектики имеет много общего более распространенный метод экспертных оценок - деловая игра. «Деловыми играми называется имитационное моделирование реальных ситуаций, в процессе которого участники игры ведут себя так, будто они в реальности выполняют порученную им роль, причем сама реальность заменяется некоторой моделью».

Организация деловой игры требует предварительной подготовки, разработки сценария, в котором описываются общие ролевые функции участников. Численность группы экспертов в каждом конкретном случае зависит от количества возможных ролей в проигрываемой ситуации и, разумеется, от характера проблемы, которая решается в ходе игры. На этапе построения модели функции участников игры существенно отличаются от тех ролевых функций, которые актуализируются в ходе исследования уже построенной модели.

В любом случае все должно быть оговорено в сценарии, разработка которого в системном анализе существует в качестве самостоятельного метода. Разработка сценария— это метод экспертных оценок, суть которого сводится к детальному анализу логически обоснованных предположений по типу: «что будет, если...» В ходе моделирования сложных многоцелевых систем разработка сценария может оказаться весьма эффективным методом. В сценарии составляется перечень факторов, влияющих на ход событий, определяются лица, которые контролируют эти факторы прямо или косвенно, предусматриваются возможные негативные последствия воздействия ряда внутренних или внешних факторов и т.д.

По этому типу возможно построение аналитических экспертных прогнозов, которые относятся к индивидуальным формам экспертных оценок. Сценарии могут разрабатываться и экспертной группой, но здесь включаются факторы, которые значительно осложняют эту работу: встает проблема оптимальной численности групп, совместимости ее членов по типу мышления, актуализируется вопрос преодоления излишней критичности одних и боязни критики у других и т.п.

В деловой игре, которая называется «серийная операционная игра», часть вопросов, связанных с психологическими проблемами коллективной экспертной деятельности, снимается. Для этого игровая ситуация разбивается на этапы, которые проигрываются разными экспертными группами. При этом предыдущая группа информирует о полученных ею результатах последующую. В этом случае результат коллективной экспертизы уравновешивается за счет усреднения характеристик разных экспертных групп. Если результаты экспертизы одной из них были недостаточно высокими из-за негативного влияния некоторых внутренних психологических факторов, то за счет другой группы, действующей, возможно, более эффективно, эти результаты могут приблизиться к оптимальным.

В серийную игру могут включаться так называемые группы «дилетантов» — тогда игра приобретает новые черты и получает в литературе название «упражнение дилетантов». Это тоже одна из разновидностей методик коллективных экспертных оценок, основанная на использовании в ходе экспертизы мнений неспециалистов об изучаемом предмете. Истории науки известны случаи, когда открытия делались неспециалистами. Так, например, закон сохранения энергии впервые был сформулирован врачом Ю.Р.Майером, а художник С.Ф.Б.Морзе изобрел электромагнитный телеграфный аппарат и разработал телеграфный код - азбуку Морзе.

Количество примеров можно множить и за счет того, что многие великие ученые в детстве и юности не всегда обнаруживали свои таланты, и окружавшие считали их, мягко говоря, недоучками. Это относится к Ч.Дарвину, Г.Л.Ф.Гельмгольцу и даже к А.Эйнштейну. Справедливости ради, надо отметить, что такие феномены известны не только науке - в искусстве их не меньше: композитор Г.Л.Берлиоз не смог в более-менее сносной форме овладеть игрой на каком-либо музыкальном инструменте, К.Дебюсси стал учиться музыке лишь в 18 лет, ну а А.Кристи (некоторые, возможно, не считают жанр детектива искусством) написала свое первое произведение в 35 лет.

В науке такие феномены находят вполне логичное объяснение: у «дилетантов» есть одно решающее преимущество перед специалистами - перед ними нет фильтра, состоящего из укоренившихся представлений и методов. Нельзя, конечно, думать, что в «упражнениях дилетантов» проблема полностью отдается «на откуп» неспециалистам. После выдвижения предложений «дилетантами» в экспертизу включаются эксперты, которые критически оценивают все мнения, отбирают наиболее приемлемые, а в заключение устраивается совместная дискуссия между авторами отобранных решений и экспертами.

Причем в качестве экспертов (тех, кто оценивает выдвинутые предложения) желательно использовать не только специалистов в исследуемой области, но и неспециалистов, т.е. тоже «дилетантов». Вероятно, не следует лишний раз подчеркивать, что «дилетант» так же, как и эксперт, должен быть эрудированной, творчески мыслящей личностью, с необходимым образовательным уровнем.

Кроме перечисленных выше методов коллективных экспертных оценок, в практике, в том числе и социологической, широко применяется метод Дельфи. Свое название он получил в честь древнегреческого города Дельфы, известного оракулами, которые, по преданию, делали свои прогнозы независимо друг от друга. Специфика дельфийского метода заключается в том, что в нем делается значительный шаг в направлении рационального совмещения индивидуальных и коллективных экспертных оценок.

Аналитическая экспертная работа каждого эксперта совершается индивидуально, но при этом его ставят в известность о результатах деятельности других экспертов. Метод Дельфи предполагает проведение заочных опросов экспертов в несколько туров. Для начала разрабатывается вопросник, который раздается тем, кто участвует в экспертизе.

После того, как собраны ответы, они приводятся к общему знаменателю, делаются уточнения, и на основе этого строится новый вопросник, который вновь рассылается (раздается) экспертам. В третьем туре экспертам сообщают, по каким пунктам достигнуто согласие, дается обоснование иных точек зрения, т.е. эксперту дается развернутая картина мнений, отличных от его собственного. В заключительном туре (обычно это четвертый по счету) подводятся итоги, и в перечень анализируемых факторов включаются только те, по которым достигнуто согласие между всеми участниками коллективной экспертной оценки.

Рассмотренные методы экспертных оценок не являются единственно возможными, они лишь наиболее употребимы. В целом же спектр экспертных методов постоянно расширяется и дополняется. Это объясняется высокой эффективностью таких методов исследования, которая существенно повышается за счет представления оценок в виде количественных данных. Количественные оценки, как и любые оценки, носят условный характер, но они позволяют вполне «зримо» представлять и сопоставлять изучаемые явления и процессы. В этих целях используются разработанные в статистике методы определения средних величин, их доверительные характеристики, статистические оценки согласованности мнений экспертов и т.п.

Обзор наиболее распространенных методик экспертных оценок лишний раз подтверждает слова Р.Шеннона, одного из основателей информатики, что построение содержательных моделей - это не только наука, но и искусство. Тем не менее вполне возможно овладеть элементарными навыками в этой области, что в значительной степени облегчит творческую интеллектуальную деятельность исследователя.

Освоение наиболее распространенных и апробированных методик сбора социологической информации должно лежать в основе знакомства с более сложными методическими разновидностями: социологическим тестированием и экспериментом. Следует обратить внимание на организационные и содержательные особенности социологического тестирования и социологического эксперимента.