Статистические гипотезы в ЗАдаЧАХ обработки экспериментальных данных

Статистические гипотезы в ЗАдаЧАХ обработки экспериментальных данных

Понятие статистической гипотезы. Виды гипотез

Наряду с принятой гипотезой рассматривают и противоречащую ей гипотезу, которая может быть принята в том случае, если первая не подтвердится. Для… Для краткости записи гипотез используют специальное обозначение. Пусть нулевая… ; .

Общий подход к проверке гипотез

П р и м е р 6.1. На склад готовой продукции микросхемы одного типа поступают с двух заводов, выпускающих продукцию разного качества, и такими же… ▼ Введём нулевую гипотезу H0, состоящую в том, что выбранная партия… Отберём из партии случайным образом n изделий. Обозначим число бракованных микросхем среди отобранных символом .…

Показатель согласованности и его свойства

Конкретный вид показателя согласованности для различных гипотез может быть различным. Так, при проверке гипотезы о законе распределения показатель… - в виде зависимости от гипотетической функции распределения , т.е. функции… ; (6.3.1)

Методы задания критической области

Как отмечалось выше, проверка гипотез требует задания решающего правила, т.е. метода разбиения множества U возможных значений показателя согласованности на два подмножества: подмножество U₀, при попадании в которое наблюдаемого значения u показателя нулевая гипотеза принимается, и подмножество U₁, при попадании в которое наблюдаемого значения u нулевая гипотеза отвергается. В дальнейшем область, соответствующую U₀, будем называть областью допустимых значений (областью принятия гипотезы H₀) и обозначать символом D, а область, соответствующую подмножеству U₁ – критической областью показателя и обозначать символом Q.

Поскольку – одномерная случайная величина, то все её возможные значения принадлежат некоторому интервалу. Поэтому области Q и D являются интервалами, следовательно, существуют разделяющие их точки. Они называются критическими точками (границами). Задание критической области и сводится к заданию критических точек.

Сущность задания критических точек состоит в следующем. Рассмотрим события:

– верна гипотеза H₀;

– верна гипотеза H₁;

– наблюдаемое значение u показателя согласованности попало в область D;

– наблюдаемое значение u попало в область Q.

Тогда в процессе принятия решения возможен один из следующих исходов:

– верна гипотеза H₀ и принято решение о её справедливости;

– верна гипотеза H₀, а принято решение о справедливости гипотезы H₁;

– верна гипотеза H₁, а принято решение о справедливости гипотезы H₀;

– верна гипотеза H₁ и принято решение о её справедливости.

Очевидно, что исходы и являются ошибочными, первому из них соответствует ошибка первого рода, а второму – ошибка второго рода.

Таким образом, под ошибкой первого рода понимается принятие решения об отклонении нулевой гипотезы в случае, если в действительности она является правильной, а под ошибкой второго рода – решение о принятии нулевой гипотезы, если в действительности она не верна.

Поскольку рассмотренные события являются случайными, то им могут быть поставлены в соответствие вероятности наступления данных событий, а именно:

p₁₁ – вероятность наступления события ;

p₁₂ – вероятность наступления события ;

p₂₁ – вероятность наступления события ;

p₂₂ – вероятность наступления события .

Значения p₁₁, p₁₂, p₂₁, p₂₂ можно вычислить как вероятности попадания случайной величины в области D и Q следующим образом.

Пусть законы распределения показателя согласованности при условии, что справедлива нулевая или конкурирующая гипотеза заданы в форме плотности распределения и , а границей данных областей является точка . Предположим, что взаимное расположение кривых распределения и , а также областей D и Q имеет вид, изображённый на рис.6.2.

Рис.6.2. Кривые распределения показателя согласованности при различных гипотезах

В этом случае вероятности p₁₁, p₁₂, p₂₁, p₂₂ определяются следующими соотношениями:

; (6.4.1)

; (6.4.2)

; (6.4.3)

. (6.4.4)

Из выражений (6.4.1) – (6.4.4) следует, что значения p₁₁, p₁₂, p₂₁, p₂₂ зависят от размеров и расположения области D допустимых значений и критической области Q. Поэтому, предъявляя соответствующие требования к вероятностям p₁₁, p₁₂, p₂₁, p₂₂, можно определить расположение и размеры данных областей, т.е. критические границы.

Так как проверка гипотезы связана с принятием решения о справедливости или несправедливости выдвинутой гипотезы, то при нахождении областей D и Q целесообразно опираться на результаты теории статистических решений (см. § 2.3). Практическое применение данных результатов зависит от объёма априорной информации, которая может быть использована при проверке гипотез. В связи с этим методы задания критической области принято делить на две группы [5]:

- методы, опирающиеся на оценки потерь от неправильного решения;

- методы, опирающиеся на оценки вероятностей ошибок при принятии решений.

Наибольшее практическое распространение получили методы второй группы, так как их применение требует минимальной априорной информации при проверке гипотез, однако, достоверность принятия решений с помощью данных методов ниже, чем для методов первой группы.

Проверка гипотез как задача принятия решений

В качестве объекта наблюдения здесь выступает гипотеза H. Будем полагать, что два возможных варианта данной гипотезы – нулевая H0 и конкурирующая H1… В качестве статистической характеристики гипотезы используется показатель… Множество решений включает в себя: решение , состоящее в принятии гипотезы H0, и решение , состоящее в отклонении…

Проверка гипотез классическим методом

Применение рассмотренных выше методов, как уже отмечалось, связано с использованием априорной информации, которая далеко не всегда имеется в распоряжении исследователя при обработке экспериментальных данных. В связи с этим на практике наибольшее распространение получили методы проверки гипотез, опирающиеся при назначении критических границ только на информацию о вероятностях ошибок первого и второго рода.

Сущность данных методов состоит в задании вероятности p₁₂ ошибки первого рода. Зная эту величину и зависимость, связывающую вероятность p₁₂ с показателем согласованности , можно определить границы и расположение критической области Q.

В связи с тем, что вероятность p₁₂ ошибки первого рода играет в данных методах ведущую роль, она имеет специальное название – уровень значимости критерия проверки гипотезы и специальное обозначение . Таким образом, в соответствии с выражением (6.4.2)

. (6.6.1)

Если известны и a, то выражение (6.6.1) позволяет определить критические границы, т.е. границы области Q. Данные границы в дальнейшем будем обозначать символами u_a1, u_a2,…, если область Q состоит из нескольких подобластей, или символом u_a, если она представляет собой одну область, т.е. возможные значения показателя согласованности делятся границей u_a на две полупрямые.

При конкретном выборе критических границ u_a необходимо учитывать два дополнительных обстоятельства, а именно:

- соотношение между условными законами распределения показателя согласованности , соответствующими нулевой и альтернативной гипотезам;

- взаимозависимость ошибок первого и второго рода.

Поясним эти обстоятельства более подробно. Соотношение между условными законами распределения показателя согласованности , соответствующими нулевой и конкурирующей гипотезам, выражается в виде взаимного расположения их кривых распределения на оси абсцисс. Особенности характеристики , а также нулевой и конкурирующей гипотез приводят к тому, что кривые распределения , могут располагаться друг относительно друга тремя различными способами:

- известно, что кривая распределения сдвинута относительно вправо (рис.6.3,а);

- известно, что кривая распределения сдвинута относительно влево (рис.6.3,б);

- сдвиг кривой распределения неизвестен, т.е. она может быть сдвинута относительно как вправо, так и влево (рис.6.3,в).

Рис.6.3.Варианты расположения условных законов распределения показателя согласованности

Очевидно, что вид критической области для каждого способа должен быть различен, а именно в первом случае должна быть выбрана правосторонняя критическая область, во втором – левосторонняя и в третьем – двусторонняя. Правосторонней называют критическую область, определяемую неравенством u > u_a, левосторонней – неравенством u < u_a, двусторонней – неравенствами u < u_a1, u > u_a2, где u_a2 > u_a1.

При отыскании критической области достаточно найти критические точки. Методика их отыскания состоит в следующем. Задаются уровнем значимости a и ищут критическую точку u_a, исходя из требования, чтобы при условии справедливости нулевой гипотезы вероятность попадания показателя согласованности в критическую область была равна принятому уровню значимости.

На основании (6.6.1) для правосторонней критической области это условие имеет вид

,

для левосторонней

,

для двусторонней

.

В последнем случае чаще всего выбирают симметрично расположенные критические точки:

.

Критические точки, удовлетворяющие приведённым выше условиям, находят по соответствующим таблицам (см., например, приложения 5 и 6).

Из вышеизложенного следует, что при выборе критических областей необходимо учитывать не только свойства нулевой, но и свойства конкурирующей гипотезы.

Для пояснения взаимозависимости ошибок первого и второго рода рассмотрим условные плотности , и правостороннюю критическую область с критической границей u_a, см. рис.6.4.

Рис.6.4. Взаимозависимость ошибок первого и второго рода

Следует напомнить, что вероятность ошибки первого рода равняется вероятности a попадания показателя в критическую область. Чем меньше уровень значимости a, тем реже будет допускаться ошибка первого рода, а, следовательно, отвергаться правильная нулевая гипотеза H₀. Однако было бы неверно на основании этого делать вывод о том, что значение вероятности a должен быть выбрано как можно меньшим.

Из рис. 6.4 видно, чем меньше a, тем больше вероятность

(6.6.2)

ошибки второго рода.

Указанная взаимосвязь ошибок первого и второго рода позволяет сделать следующий важный вывод: для уменьшения вероятности ошибки при принятии гипотезы критическую границу необходимо выбирать таким образом, чтобы сумма вероятностей ошибок первого и второго рода была минимальной (см. п.п.2.3.3). Если показатель согласованности подчинён нормальному закону, то минимум суммы вероятностей ошибок первого и второго рода достигается при выборе критической границы в абсциссе точки пересечения кривых распределения и . На рис.6.4. указанное деление показано пунктиром.

Вместе с тем следует заметить, что не во всех случаях подход к выбору u_a с учётом минимума суммы вероятностей ошибок первого и второго рода целесообразен. На практике выбор целесообразной величины a зависит от «тяжести» последствий ошибок первого и второго рода для каждой конкретной задачи. Например, если ошибка первого рода повлечёт большие потери, а второго рода – малые, то целесообразно принять возможно меньшее a. Вернёмся к примеру 6.1 и рассмотрим, какую величину уровня значимости критерия проверки целесообразно выбрать с точки зрения потребителя микросхем. Заметим, что в задачах подобного типа вероятность приёма бракованной партии изделий (в нашем примере – микросхем), т.е. вероятность ошибки первого рода, принято называть риском потребителя, а вероятность признать бракованной партию качественных изделий (вероятность ошибки второго рода) – риском производителя. С точки зрения потребителя желательно уменьшать вероятность приёма бракованной партии микросхем, т.е. уменьшать вероятность ошибки первого рода, в связи с чем величину a целесообразно выбирать возможно меньшей.

Поскольку вероятность ошибки второго рода также играет важную роль при выборе критической области, то критерий проверки принято характеризовать так называемой мощностью показателя согласованности.

Мощностью g показателя согласованности называют вероятность попадания показателя согласованности в критическую область при условии, что справедлива конкурирующая гипотеза.

На основе определения можно записать

. (6.6.3)

С учётом выражения (6.6.2) равенство (6.6.3) примет вид

.

Таким образом, мощность показателя согласованности – вероятность того, что не будет допущена ошибка второго рода. Поэтому для уменьшения ошибки второго рода критическую область необходимо строить так, чтобы мощность показателя согласованности при заданном уровне значимости была максимальной.

Мощность показателя согласованности позволяет обоснованно подойти к выбору односторонних критических областей. Предположим, что в качестве критической выбрана правосторонняя область (рис.6.4), но кривая условной плотности распределения для конкурирующей гипотезы смещена относительно кривой влево (рис.6.5).

Рис.6.5. Условные распределения показателя согласованности гипотез

Найденные в этих условиях вероятности

показывают, что при таком выборе критической области показатель согласованности становится непригодным для статистической проверки гипотезы H₀, так как его мощность близка к нулю, а ошибки второго рода становятся практически достоверными. Очевидно, что для увеличения мощности показателя согласованности необходимо выбрать левостороннюю критическую область.

Если характер конкурирующей гипотезы неясен, то в качестве критической целесообразно выбирать двустороннюю симметричную область. Но следует отметить, что единственный способ одновременного уменьшения вероятностей ошибок первого и второго рода состоит в увеличении объёма выборки.

Проверка гипотез об аномальности результатов наблюдений

В любой выборке сомнительными являются, как правило, наибольший и наименьший элементы, которые и подлежат проверке. Обозначим через и наименьший и… Предположим, что сомнительным является наибольший элемент xn случайной… (6.7.1)