Определение согласованности мнений экспертов

При оценке объектов эксперты обычно расходятся во мнениях по решаемому вопросу. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Оценка согласованности мнений экспертов основывается на использовании понятия компактности. Оценка каждого эксперта представляется как точка в некотором пространстве, в котором введено понятие расстояния. Если оценки экспертов находятся на небольшом расстоянии друг от друга, то можно это интерпретировать как хорошую согласованность суждений экспертов. Если же точки разбросаны в пространстве на большом расстоянии, то согласованность – невысокая.

При использовании количественных шкал измерения и оценке объекта всего по одному критерию мнения группы экспертов можно представить как точки числовой оси. Эти значения можно рассматривать как реализации случайной величины. Тогда центр группировки точек можно рассматривать как математическое ожидание, а разброс количественно оценивается дисперсией случайной величины.

При измерении объектов в порядковой шкале согласованность оценок экспертов в виде ранжировок или парных сравнений объектов также основывается на понятии компактности. Для этого обычно используется мера согласованности мнений экспертов – дисперсионный коэффициент конкордации (коэффициент согласия).

Сущность данного подхода.

Рассмотрим матрицу результатов ранжировки n объектов m экспертами (i=1,2,…,n; j=1,2,…,m), где r_ij– ранг, присваиваемый j-м экспертом i-му объекту. Составим суммарный ранг для каждого объекта по всем экспертам.

i=1,2,…,n. (11)

Будем рассматривать величины r_i как реализацию некоторой случайной величины и найдем оценку ее дисперсии.

(12)

где - оценка математического ожидания, равная

Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии к максимальному значению этой оценки

(13)

1 случай – Отсутствие связанных рангов в матрице ранжировок.

Данное условие характеризуется отсутствием совпадающих рангов объектов, устанавливаемых экспертами. Полное согласие экспертов определяется следующей структурой матрицы при соответствующей перенумерации строк

.

Указанной матрице соответствует максимальная дисперсия, значение которой вычисляется по следующей формуле с учетом того, что .

Введем обозначение , тогда Подставляя полученные результаты в формулу (13), запишем окончательное выражение для коэффициента конкордации

(14)

Коэффициент конкордации изменяется от 0 до 1. В случае полного совпадения ранжировок W=1, в случае полного расхождения мнений экспертов W=0.

2 случай – Наличие связанных рангов в матрице ранжировок.

Если в ражировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе формулы (14) становится меньше, чем при отсутствии связанных рангов. В этом случае коэффициент конкордации вычисляется по формуле

(15)

где (16)

В формуле (16) T_j – показатель связанных рангов в j-ой ранжировке, H_j – число групп равных рангов в j-ой ранжировке, h_k – число равных рангов в k-ой группе связанных рангов при ранжировке j-ым экспертом. Если совпадающих рангов нет, формула (15) совпадает с формулой (14).