2.04. Статистическая проверка гипотез

Одна из основных задач математической статистики состоит в решении вопроса о том, подтверждает или не подтверждает выборка то или иное предположение (гипотезу) о генеральной совокупности. Например:

А) Подтверждает ли выборка предложение о том, что исследуемый признак X Объектов генеральной совокупности распределен нормально?

Б) Подтверждают ли выборки из двух разных генеральных совокупностей существенность (значимость) различия генеральных средних или дисперсий этих совокупностей?

И т. д. Правильный ответ на вопрос (а) важен в связи с тем, что именно при нормальности распределения исследуемого признака X верны многие положения и применимы многие методы математической статистики. В частности, применимы полученные в §2 формулы для случая, когда объем выборки невелик (N<30). А ответ на вопрос (б) позволяет понять, действительно ли следует считать различными обе исследуемые генеральные совокупности с нормально распределенным признаком Х объектов этой совокупности, или все же это просто две части единой генеральной совокупности.

Задачи статистической проверки гипотез в принципе решаются следующим образом. Относительно генеральной совокупности высказывается та или иная гипотеза H0 (нулевая гипотеза), Которая подлежит проверке. Заодно высказывается и Конкурирующая с ней гипотеза H1, которая будет признана верной, если будет отвергнута нулевая гипотеза H0. Далее, из генеральной совокупности извлекается некоторая случайная выборка. Затем применяется некий критерий, с помощью которого по выборочным данным решают, следует ли отклонить гипотезу H0 в пользу конкурирующей гипотезы H1 или все же следует гипотезу H0 принять.

Сразу отметим, что критерия, позволяющего точно (на 100%) узнать, верна гипотеза H0 Или нет, не существует в силу ограниченности и случайности выборки (выборка не содержит всей информации о генеральной совокупности). Действительно, абсолютно точную информацию обо всем, что касается генеральной совокупности (в том числе и о справедливости или несправедливости гипотезы H0) мы бы получили, если бы исследовали Всю генеральную совокупность. Но мы ведь исследуем Лишь выборку из неё, поэтому не застрахованы от ошибки в любых своих выводах (об этом, напомним, мы уже говорили в начале). Отклоняя или принимая гипотезу H0, можно допустить ошибку двух видов:

1) Нулевая гипотеза H0 отвергается несмотря на то, что она верна. Это ошибка 1-го рода. Ее вероятность принято обозначать буквой α.

2) Нулевая гипотеза H0 принимается несмотря на то, что она неверна. Эта ошибка 2-го рода. Ее вероятность принято обозначать буквой .

А вообще все возможные ситуации с принятием и непринятием гипотезы H0 изображены ниже в таблице (в скобках указаны вероятности соответствующих ситуаций)

Заключение О гипотезе H0	На самом деле гипотеза H0­
Верна	Неверна
Отвергается	Ошибка 1-го рода (α)	Правильное решение (1-β)
Принимается	Правильное решение (1-α)	Ошибка 2-го рода (β)

Естественно потребовать от упомянутого выше критерия, чтобы возможные ошибки 1-го и 2-го родов обе имели как можно меньшие вероятности. Но добиться этого трудно, ибо очевидно, что при фиксированном объеме N выборки и выбранном критерии уменьшение α автоматически ведет к увеличению , и наоборот.

Проиллюстрируем это утверждение на таком житейском примере. Пусть гипотеза Н0 Состоит в том, что переход пешеходом перекрестка на красный свет окончится для него плохо. Тогда отвергнуть эту гипотезу – это значит переходить перекресток. Принять эту гипотезу – это значит стоять на месте (ждать зеленый сигнал).

1) Если гипотеза Н0 Верна, то переходить перекресток – это отвергнуть правильную гипотезу, то есть совершить ошибку 1- го рода (смертельную).

2) Если гипотеза H0 неверна, то оставаться на месте – это принять неправильную гипотезу, т. е. совершить ошибку 2-го рода (потерять время на ожидание зеленого сигнала светофора)

Очевидно, что тяжесть последствий каждой из этих двух ошибок совершенно разная. И еще очевидно, что уменьшая вероятность α ошибки 1-го рода, пешеход автоматически будет увеличивать вероятность ошибки 2-го рода. Действительно, уменьшая ошибку 1-го рода, пешеход не будет переходить на красный свет даже в тех случаях, когда машины от перекрестка далеко и переход ему практически ничем бы не грозил.

Можно дать понятиям ошибки 1-го и 2-го родов и юридическую трактовку. Пусть гипотеза H0 Состоит в том, что подсудимый невиновен (это исходная юридическая гипотеза, вытекающая из принципа презумпции невиновности). Тогда ошибка 1-го рода будет состоять в том, что подсудимому будет вынесен обвинительный приговор, несмотря на то, что он невиновен. А ошибка 2-го рода будет состоять в том, что подсудимому будет вынесен оправдательный приговор, несмотря на то, что он виновен. Эти ошибки тоже разные по тяжести. Стараясь уменьшить одну из них (например, ошибку первого рода), судья чаще должен выносить оправдательный приговоры, что автоматически ведет к увеличению ошибки 2-го рода.

При практической проверке гипотез, выдвигая нулевую гипотезу H0 и альтернативную ей гипотезу H1, сразу задают допустимую вероятность α ошибки 1-го рода – вероятность отвергнуть нулевую гипотезу H0, если она верна. Конкретное числовое значение для этой ошибки выбирают, исходя из реальной тяжести последствий такой ошибки. Кстати, принятое значение α называют еще Уровнем значимости. Таким образом, Уровень значимости α – это вероятность отвергнуть нулевую гипотезу Н0 при условии, что она верна. При решении инженерных, сельскохозяйственных, экономических задач по статистической проверке гипотез обычно в качестве уровня значимости α принимают значения α = 0,1; или α = 0,05; или α = 0,01. Часто, особенно в литературе прикладного характера, уровень значимости выражается еще в процентах. При этом только что названные уровни значимости называют 10% - ым, 5% - ым, 1% - ым уровнями значимости. Чем меньше мы выберем значение α, тем меньше будет риск отвергнуть нулевую гипотезу Н0, если она правильная. Но зато тем больше будет риск принять ее, если она неправильная (то есть если правильной будет альтернативная гипотеза Н1). Брать α=0 смысла нет, так как при α=0 риск отклонить проверяемую гипотезу Н0, если она верна, должен быть сведен к нулю. А это значит, что при α=0 гипотезу Н0 , как бы мало вероятной она ни была, заведомо нужно принимать. То есть при α=0 теряется сам смысл статистической проверки гипотез.

Приняв гипотезу Н0, тем самым соглашаются с тем, что те результаты исследования выборки, которые этой гипотезе противоречат, являются несущественными (незначимыми) и являются лишь следствием случайности самой выборки. А отвергнув гипотезу Н0, тем самым признают, что противоречащие гипотезе Н0 результаты исследования выборки трудно объяснить лишь случайностью самой выборки, они слишком существенны (значимы) для того, чтобы можно было согласиться со справедливостью гипотезы Н0. Наше решение относительно значимости или незначимости выборочных данных, противоречащих гипотезе Н0, Зависит от принятого уровня значимости α. Отсюда и его название – Уровень значимости.

Отметим еще одно важное и очевидное обстоятельство: принятие или непринятие гипотезы Н0 зависит не только от величины уровня значимости, но и от того, какова гипотеза H1 – гипотеза, альтернативная гипотезе Н0. Действительно, гипотеза H1 противостоит гипотезе Н0 – они конкурируют друг с другом за принятие. И устоит ли гипотеза Н0 против гипотезы H1 – это, естественно, зависит и от того, что эта гипотеза H1 Собой представляет.

В самом деле, если пешеход выбирает, переходить ли ему на красный свет или дождаться через пару минут зеленого – это одна ситуация. А если он выбирает между переходом на красный свет и необходимостью перехода в другом месте (метров за 300 от данного места) – это ситуация совсем другая. Во втором случае пешеходы будет рисковать, переходя улицу, чаще. И тем самым будут увеличивать вероятность собственной ошибки (ведущей под колеса автомобиля).

Заметим еще, что Отклонение нулевой гипотезы Н0 – Акт гораздо более обоснованный, чем принятие этой гипотезы. Действительно, отклоняя гипотезу Н0, мы знаем вероятность того, что ошибаемся - ведь это вероятность ошибки первого рода. А она равна принятому уровню значимости α, то есть она известна и мала. А принимая гипотезу H0, мы не знаем вероятности возможной собственной ошибки (ошибки второго рода) - эта вероятность не контролируется, и она может быть не мала, особенно если слишком мал задаваемый уровень значимости α. Отклонив гипотезу H0, мы при малых значениях α практически можем быть уверены, что эта гипотеза действительно не верна. А приняв ее, мы отнюдь не можем утверждать, что подтвердили ее правильность. Мы можем лишь позволить себе осторожно сказать, что экспериментальные выборочные данные не противоречат этой гипотезе. Но ведь точно так же при малых α они могут не противоречить и многим другим, отличным от H0, гипотезам. А при α = 0 любые противоречия гипотезе Н0 Будут признаны несущественными (незначимыми) и гипотеза Н0, даже самая невероятная, будет принята!

Для борьбы с принятием неверных гипотез Н0 Нужно или увеличивать α, уменьшая тем самым ошибку принятия неверной нулевой гипотезы, или, что гораздо продуктивнее, не уменьшая α, увеличивать объем N выборки, приближая тем самым выборку ко всей генеральной совокупности, а сомнительные результаты – к точным.

В качестве критерия, в соответствии с которым решают, принять или не принять выдвинутую нулевую гипотезу Н0, используют специально подобранную случайную величину К, распределение которой, при условии справедливости гипотезы Н0, известно (величина К может иметь нормальное распределение, или распределение Стьюдента, или распределение Фишера-Снедекора, и т. д.). С учетом выдвинутой гипотезы Н0, альтернативной гипотезы Н1 и принятого уровня значимости α Множество всех возможных этой величины разбивают на два подмножества:

A) Множество тех значений K величины К, при которых нулевая гипотеза Н0 принимается (это множество называется Областью принятия гипотезы);

B) Множество тех значений K величины К, при которых нулевая гипотеза отвергается (а следовательно, принимается альтернативная гипотеза Н1). Это подмножество называется Критической областью.

Точки KКр (их может быть одна или несколько), разделяющие область принятия гипотезы Н0 и критическую область, называются Критическими.

Считая сделанную выборку экспериментом, на основании данных этой выборки вычисляют экспериментальное значение KЭксп величины К. И если оно попадет в область принятия гипотезы Н0, гипотезу Н0 Принимают. А если в критическую область – то отвергают.

Заметим, что KЭксп в силу случайности выборки может попасть в критическую область и, следовательно, гипотеза Н0 будет отвергнута несмотря на то, что на самом деле она верна. Тогда будет допущена ошибка 1-го рода – отвергнута правильная гипотеза. Вероятность такой ошибки, то есть Вероятность попадания KЭксп в критическую область, должна быть равна принятому уровню значимости α. Из этого условия, а также из соображений, касающихся возможной симметрии критической области, и находятся критические точки KКр. При этом используется специальная таблица критических точек того распределения, которое имеет выбранный критерий К.

Наоборот, KЭксп может попасть в область принятия гипотезы Н0, когда она неверна. Тогда будет допущена ошибка 2-го рода – принята неправильная гипотеза. Вероятность β такой ошибки обычно неизвестна (она, в отличие от ошибки α, не задается и не контролируется). Не обращая внимание на эту ошибку второго рода, при попадании KЭксп в область принятия гипотезы Н0 эту гипотезу принимают.

А теперь перейдем к некоторым конкретным примерам статистической проверки гипотез.

< Предыдущая		Следующая >