Виды критериев согласия. Смотреть страницы где упоминается термин критерий согласия
Так как все предположения о характере того или иного распределения – это гипотезы, то они должны быть подвергнуты статистической проверке с помощью критериев согласия , которые дают возможность установить, когда расхождения между теоретическими и эмпирическими частотами следует признать несущественными, т.е. случайными, а когда – существенными (неслучайными). Таким образом, критерии согласия позволяют отвергнуть или подтвердить правильность выдвинутой при выравнивании ряда гипотезы о характере распределения в эмпирическом ряду.
Существует ряд критериев согласия. Чаще применяют критерии Пирсона, Романовского и Колмогорова.
Критерий согласия Пирсона
– один из основных:
где k – число групп, на которые разбито эмпирическое распределение,
– наблюдаемая частота признака в i-й группе,
– теоретическая частота.
Для распределения составлены таблицы, где указано критическое значение критерия согласия для выбранного уровня значимости и степеней свободы df.(или )
Уровень значимости – вероятность ошибочного отклонения выдвинутой гипотезы, т.е. вероятность того, что будет отвергнута правильная гипотеза. В статистике пользуются тремя уровнями:
- a= 0,10, тогда Р=0,90 (в 10 случаях их 100 может быть отвергнута правильная гипотеза);
- a= 0,05, тогда Р=0,95;
- a= 0,01, тогда Р=0,99.
Число степеней свободы df определяется как число групп в ряду распределения минус число связей: df = k –z. Под числом связей понимается число показателей эмпирического ряда, использованных при вычислении теоретических частот, т.е. показателей, связывающих эмпирические и теоретические частоты.
Например, при выравнивании по кривой нормального распределения имеется три связи:
; ; .
Поэтому при выравнивании по кривой нормального распределения число степеней свободы определяется как df = k –3.
Для оценки существенности расчетное значение сравнивается с табличным .
При полном совпадении теоретического и эмпирического распределений , в противном случае >0. Если >, то при заданном уровне значимости и числе степеней свободы гипотезу о несущественности (случайности) расхождений отклоняем.
В случае, если , заключаем, что эмпирический ряд хорошо согласуется с гипотезой о предполагаемом распределении и с вероятностью Р=(1-a) можно утверждать, что расхождение между теоретическими и эмпирическими частотами случайно.
Критерий согласия Пирсона используется, если объем совокупности достаточно велик , при этом частота каждой группы должна быть не менее 5.
Критерий Романовского с
основан на использовании критерия Пирсона, т.е. уже найденных значений , и числа степеней свободы df:
Он удобен при отсутствии таблиц для .
Если с<3, то расхождения распределений случайны, если же с>3, то не случайны и теоретическое распределение не может служить моделью для изучаемого эмпирического распределения.
Критерий Колмогорова
l
основан на определении максимального расхождения между накопленными частотами и частостями эмпирических и теоретических распределений:
или ,
где D и d – соответственно максимальная разность между накопленными частотами и накопленными частостями эмпирического и теоретического рядов распределений;
N – число единиц совокупности.
Рассчитав значение l, по таблице Р(l) определяют вероятность, с которой можно утверждать, что отклонения эмпирических частот от теоретических случайны. Вероятность Р(l) может изменяться от 0 до 1. При Р(l)=1 происходит полное совпадение частот, Р(l)=0 – полное расхождение. Если l принимает значения до 0,3, то Р(l)=1.
Основное условие использования критерия Колмогорова – достаточно большое число наблюдений.
Для проверки гипотезы о соответствии эмпирического распределения теоретическому закону распределения используются особые статистические показатели - критерии согласия (или критерии соответствия). К ним относятся критерии Пирсона, Колмогорова, Романовского, Ястремского и др. Большинство критериев согласия базируется на использовании отклонений эмпирических частот от теоретических. Очевидно, что чем меньше эти отклонения, тем лучше теоретическое распределение соответствует эмпирическому (или описывает его).
Критерии согласия - это критерии проверки гипотез о соответствии эмпирического распределения теоретическому распределению вероятностей. Такие критерии подразделяются на два класса: общие и специальные. Общие критерии согласия применимы к самой общей формулировке гипотезы, а именно, к гипотезе о согласии наблюдаемых результатов с любым априорно предполагаемым распределением вероятностей. Специальные критерии согласия предполагают специальные нулевые гипотезы, формулирующие согласие с определенной формой распределения вероятностей.
Критерии согласия, опираясь на установленный закон распределения, дают возможность установить, когда расхождения между теоретическими и эмпирическими частотами следует признать несущественными (случайными), а когда - существенными (неслучайными). Из этого следует, что критерии согласия позволяют отвергнуть или подтвердить правильность выдвинутой при выравнивании ряда гипотезы о характере распределения в эмпирическом ряду и дать ответ, можно ли принять для данного эмпирического распределения модель, выраженную некоторым теоретическим законом распределения.
Критерий согласия Пирсона c 2 (хи-квадрат) - один из основных критериев согласия. Предложен английским математиком Карлом Пирсоном (1857-1936) для оценки случайности (существенности) расхождений между частотами эмпирического и теоретического распределений:
Схема применения критерия c 2 к оценке согласованности теоретического и эмпирического распределений сводится к следующему:
1. Определяется расчетная мера расхождения .
2. Определяется число степеней свободы.
3. По числу степеней свободы n с помощью специальной таблицы определяется .
4. Если , то при заданном уровне значимости α и числе степеней свободы n гипотезу о несущественности (случайности) расхождений отклоняют. В противном случае гипотезу можно признать не противоречащей полученным экспериментальным данным и с вероятностью (1 – α) можно утверждать, что расхождения между теоретическими и эмпирическими частотами случайны.
Уровень значимости - это вероятность ошибочного отклонения выдвинутой гипотезы, т.е. вероятность того, что будет отвергнута правильная гипотеза. В статистических исследованиях в зависимости от важности и ответственности решаемых задач пользуются следующими тремя уровнями значимости:
1) a = 0,1, тогда Р = 0,9;
2) a = 0,05, тогда Р = 0,95;
3) a = 0,01, тогда Р = 0,99.
Используя критерий согласия c 2 , необходимо соблюдать следующие условия:
1. Объем исследуемой совокупности должен быть достаточно большим (N ≥ 50), при этом частота или численность группы должна быть не менее 5. Если это условие нарушается, необходимо предварительно объединить небольшие частоты (меньше 5).
2. Эмпирическое распределение должно состоять из данных, полученных в результате случайного отбора, т.е. они должны быть независимыми.
Недостатком критерия согласия Пирсона является потеря части первоначальной информации, связанная с необходимостью группировки результатов наблюдений в интервалы и объединения отдельных интервалов с малым числом наблюдений. В связи с этим рекомендуется дополнять проверку соответствия распределений по критерию c 2 другими критериями. Особенно это необходимо при сравнительно малом объеме выборки (n ≈ 100).
В статистике критерий согласия Колмогорова (также известный, как критерий согласия Колмогорова - Смирнова) используется для того, чтобы определить, подчиняются ли два эмпирических распределения одному закону, либо определить, подчиняется ли полученное распределение предполагаемой модели. Критерий Колмогорова основан на определении максимального расхождения между накопленными частотами или частостями эмпирических или теоретических распределений. Критерий Колмогорова исчисляется по следующим формулам:
где D и d - соответственно максимальная разность между накопленными частотами (f – f ¢) и между накопленными частостями (p – p ¢) эмпирического и теоретического рядов распределений; N - число единиц в совокупности.
Рассчитав значение λ, по специальной таблице определяется вероятность, с которой можно утверждать, что отклонения эмпирических частот от теоретических случайны. Если признак принимает значения до 0,3, то это означает, что происходит полное совпадение частот. При большом числе наблюдений критерий Колмогорова способен обнаружить любое отступление от гипотезы. Это означает, что любое отличие распределения выборки от теоретического будет с его помощью обнаружено, если наблюдений будет достаточно много. Практическая значимость этого свойства не существенна, так как в большинстве случаев трудно рассчитывать на получение большого числа наблюдений в неизменных условиях, теоретическое представление о законе распределения, которому должна подчиняться выборка, всегда приближенное, а точность статистических проверок не должна превышать точность выбранной модели.
Критерий согласия Романовского основан на использовании критерия Пирсона, т.е. уже найденных значений c 2 , и числа степеней свободы:
где n - число степеней свободы вариации.
Критерий Романовского удобен при отсутствии таблиц для . Если < 3, то расхождения распределений случайны, если же > 3, то не случайны и теоретическое распределение не может служить моделью для изучаемого эмпирического распределения.
Б. С. Ястремский использовал в критерии согласия не число степеней свободы, а число групп (k ), особую величину q, зависящую от числа групп, и величину хи-квадрат. Критерий согласия Ястремского имеет тот же смысл, что и критерий Романовского, и выражается формулой
где c 2 - критерий согласия Пирсона; - число групп; q - коэффициент, для числа групп меньше 20 равный 0,6.
Если L факт > 3, расхождениz между теоретическими и эмпирическими распределениями неслучайны, т.е. эмпирическое распределение не отвечает требованиям нормального распределения. Если L факт < 3, расхождения между эмпирическим и теоретическим распределениями считаются случайными.
Была рассмотрена в гл. 5 здесь мы применим данный метод к проектам капиталовложений. Ограничения и условия, при которых используется этот метод, будут обсуждены в гл. 15, где мы рассмотрим критерий согласия для рисковых инвестиций. Наша цель здесь - только показать, как измеряется риск для комбинаций рисковых инвестиций, допуская, что такой критерий необходим.
Следующий этап связан с использованием высших производных (формула Тейлора), и завершается этот этап обзором метода в целом.Далее рассматриваются некоторые вопросы численной характеристики функций - численных методов (приложение дифференциального исчисления к приближенным вычислениям). На этом этапе устанавливается погрешность уклонения ломаных из секущих, ломаной из касательной, кусочных кривых из парабол Тейлора более высоких степеней от данной функции в зависимости от ее дифференциальных свойств, и сравнивается погрешность. Для простоты рассматривается случай равноотстоящих узлов. Тем самым, устанавливаются границы применимости метода дифференциального исчисления. В качестве дальнейшего развития этого этапа можно рассматривать и другие приближающие модели, конструирование их, руководствуясь, например, следующей схемой 1.Какие узлы мы мы будем использовать 2. Какой класс приближающих функции будем использовать 3. Какой критерий согласия мы применим 4. Какую точность мы хотим
В данном анализе при оценке степени согласованности эмпирического и теоретического распределения использовался основанный на критерии Пирсона критерий согласия В. И. Романовского
Результаты расчетов параметров кривых распределения приведены в табл. 10. Расчетные частоты вычислялись по формулам 10, 11, 12. Объективной оценкой степени совпадения эмпирических и теоретических частостей является критерий согласия (в данном исследовании использовался критерий согласия В. И. Романовского ). Проверка показала, что исследуемые эмпирические интервальные ряды распределения времени пролеживания предметов труда в переходящих заделах достаточно точно описываются найденными кривыми функции плотности р (х).
Число единиц в выборке, N Величина интервала, Н Показатель асимметрии ряда, гл Показатель эксцесса , Ех Дисперсия, а Среднее значение , X Критерий согласия, К
Полученное эмпирическое распределение будет аппроксимировано непрерывной аналитической функцией , то есть будет идентифицирован закон распределения случайной величины . Также рассмотрено использование критериев согласия при идентификации закона распределения.
Использование критериев согласия при идентификации закона распределения случайной величины.
При использовании критерия согласия Пирсона необходимо вычислить величину
Следует особо подчеркнуть, что при проверке модели по критерию согласия определенным является лишь отрицательный ответ, то есть отклонение модели.
Положительный ответ означает лишь то, что модель не противоречит эмпирическим данным. Это вовсе не означает, что именно этой моделью данные описываются на самом деле, что это наилучшая модель, что нельзя подобрать другую модель для описания данных и т.д. Фактически, положительный ответ при проверке по критерию согласия следует понимать как "возможно эти данные описываются такой-то моделью", и не более того.
Полученная гистограмма проверяется на соответствие нормальному распределению с помощью критерия согласия Пирсона.
По данным задачи 21 проведите выравнивание ряда распределения населения по размеру среднедушевых денежных доходов по кривой нормального распределения . Постройте графики эмпирического и теоретического распределений. Оцените близость эмпирического и теоретического распределений, используя критерии согласия [Пирсона (хи-квадрат), Колмогорова или др.]
Независимо от вида используемого критерия согласия в про-
Для С.п.г. используются разные критерии. В частности, когда проверяется согласие между выборочным и гипотетическим распределениями, используется критерий согласия, напр., т.н. критерий Пирсона "хи-квадрат". См. также Ошибка.
Заменяя в формуле (2.15) М[Н(х) и D уравнениями (2.3), выводим окончательную формулу информационного критерия согласия
В табл. 2.3 приведены значения энтропийных параметров наиболее часто встречающихся в технических приложениях законов распределения . Таблица энтропийных параметров различных законов распределения предоставляет возможность при применении информационного критерия согласия проверить одновременно несколько гипотез, что по существующим методикам сделать без дополнительных расчетов нельзя.
Поскольку наиболее распространенным является критерий согласия Пирсона, проведем сравнение информационного критерия J с критерием %2.
При выравнивании эмпирического распределения нулевая гипотеза принимается, если при применении информационного критерия согласия
ГОСТ 8.532-85 предлагает с помощью критериев согласия не менее чем при 10 %-ном уровне значимости при и>50 и при 15 нормального распределения - с помощью критерия Вилкоксона для разностей пар - для проверки симметричности распределения) относить массив результатов аттестации СО к одному из классов распределений нормальному , симметричному, несимметричному. Для каждого класса распределений значения основных метрологических характеристик СО определяют различными способами.
Для определения степени согласованности эмпирического и теоретического распределений предложены различные критерии согласия. Так, известны критерий согласия Пирсона, Романовского, Колмогорова, Ястремского. Критерий согласия Пирсона сводится к исчислению по распределению Пирсона вероятности достижения л 2 данного значения Р = х2. При этом х2 рассчитывается по формуле (9.3)
В отсутствие каких-либо готовых схем для оптимального выбора модели исследователь должен опробовать различные статистические критерии согласия. Так, Утанс и Муди оценивали риск предсказания, полученный при различных архитектурах сети, а Каяма и др. находили общее число дублирующих друг друга элементов в скрытом слое. Мы же просто сравнивали величины квадратного корня из среднеквадратичной ошибки (RMSE) на тестовом множестве, состоящем из 60 наблюдений, относящихся к последним 5 годам интервала наблюдений (1981-85 гг.). Для дальнейшей работы была взята та архитектура сети, которая давала наименьшее RMSE.
Эти критерии согласия позволяют провести проверку гипоте-
При оценивании энтропии н.с.в. встает вопрос о выборе количества интервалов разбиения экспериментальных данных. Эта задача аналогична типичным задачам математической статистики определение закона распределения , расчет оценок эмпирических распределений, вычисление критериев согласия. А. Хальд показал, что существует оптимальное число интервалов группирования, когда ступенчатая огибающая гистограмма наиболее близка к плавной кривой распределения генеральной совокупности . Можно сформулировать ряд критериев такой близости, используя показатели в виде эксцесса, критерия %2 и т. д. . Различные критерии дают несколько различающиеся значения оптимального числа интервалов группирования. Однако сам факт существования оптимума не зависит от выбора критерия близости, так как при группировании данных в слишком большое число мелких интервалов некоторые из них окажутся пустыми или мало заполненными. Гистограмма будет отличаться от плавной кривой распределения вследствие изрезанности многими всплесками и провалами.
Шторм Р. рекомендует для определения оптимального числа интервалов формулу Брукса и Каррузера k = 5 lg п. В работе рекомендуется соотношение k = 4п. В работе приводится таблица, согласно которой числа интервалов назначаются от 7 до 22 в зависимости от объема выборки от 40 до 10000. Сравнение указанных рекомендаций, приведенное на рис. 2.2, указывает на близость рекомендаций при п - 100 с последующим увеличивающимся расхождением их по мере увеличения объема выборки. Отдельную группу составляют рекомендации по использованию критерия согласия %2. Применение критерия %2 к интервалам постоянной длины неэффективно . Исходная посылка всех работ по эффективности критерия х2 - рассмотрение интервалов с равной вероятностью. Однако практически эти рекомендации не используются из-за сложности их применения. Учитывая разнородность перечисленных рекомендаций, возникает необходимость отдельного исследования влияния числа интервалов при использовании информационных методов анализа технологических процессов.
Можно выбрать 6 или 7 интервалов. Определяем зону рассеяния размеров R. Устанавливаем максимальное значение размера х = 0,126 и минимальное хт а= - 0,149, размах R = дгтах - xmin = 0,275 мм. Выбираем 7 интервалов и определяем их цену деления С = RI k 0,04 мм. Подсчитаем число отклонений размеров, попавших в соответствующий интервал. Результаты (табл. 2.5) позволяют выдвинуть гипотезу о распределении исследуемых погрешностей по закону Гаусса. Для проверки гипотезы необходимо подготовить данные, входящие в состав
Критерии для проверки случайности и оценки резко выделяющихся наблюдений Литература Введение В практике статистического анализа экспериментальных данных основной интерес представляет не само по себе вычисление тех или иных статистик а ответы на вопросы такого типа. Соответственно разработано и множество критериев для проверки выдвигаемых статистических гипотез. Все критерии для проверки статистических гипотез делятся на две большие группы: параметрические и непараметрические.
Поделитесь работой в социальных сетях
Если эта работа Вам не подошла внизу страницы есть список похожих работ. Так же Вы можете воспользоваться кнопкой поиск
Использование критериев согласия
Введение
Литература
Введение
В практике статистического анализа экспериментальных данных основной интерес представляет не само по себе вычисление тех или иных статистик, а ответы на вопросы такого типа. Действительно ли среднее генеральной совокупности равно некоторому числу? Значимо ли отличается от нуля коэффициент корреляции? Равны ли дисперсии двух выборок? И таких вопросов в зависимости от конкретной исследовательской задачи может возникать много. Соответственно разработано и множество критериев для проверки выдвигаемых статистических гипотез. Некоторые наиболее употребительные из них мы и рассмотрим. В основном они будут относиться к средним, дисперсиям, коэффициентам корреляции и распределениям численностей.
Все критерии для проверки статистических гипотез делятся на две большие группы: параметрические и непараметрические. Параметрические критерии основаны на предположении о том, что выборочные данные взяты из генеральной совокупности с известным распределением, и основная задача состоит в оценке параметров этого распределения. Для непараметрических критериев не требуется никаких предположений о характере распределения, за исключением предположения о том, что оно непрерывно.
Первыми рассмотрим параметрические критерии. Последовательность проверки будет включать формулирование нуль-гипотезы и альтернативной гипотезы, формулирование делаемых допущений, определение выборочной статистики, используемой при проверке и, образование выборочного распределения проверяемой статистики, определение критических областей для выбранного критерия и построение доверительного интервала для выборочной статистики.
1 Критерии согласия для средних
Пусть проверяемая гипотеза состоит в том, что параметр генеральной совокупности. Необходимость такой проверки может возникнуть, например, в следующей ситуации. Предположим, что на основании обширных исследований установлен диаметр раковины ископаемого моллюска в отложениях из некоторого фиксированного места. Пусть также в нашем распоряжении оказалось некоторое количество раковин, найденных в другом месте, а мы делаем предположение, что конкретное место не оказывает влияния на диаметр раковины, т.е. что среднее значение диаметра раковины для всей популяции моллюсков, когда-то живших в новом месте, равно известному значению, полученному ранее при изучении данного вида моллюсков в первом местообитании.
Если это известное значение равно, то нуль-гипотеза и альтернативная гипотеза записываются следующим образом: Примем, что переменная x в рассматриваемой совокупности имеет нормальное распределение, а величина дисперсии генеральной совокупности неизвестна.
Будем проверять гипотезу с помощью статистики:
, (1)
где - выборочное стандартное отклонение.
Было показано, что если справедлива, то t в выражении (1) имеет t-распределение Стьюдента с n-1 степенями свободы. Если выбрать уровень значимости (вероятность отбросить правильную гипотезу) равным, то в соответствии с тем, о чем шла речь в предыдущей главе, можно определеить критические значения для проверки =0.
В данном случае, так как распределение Стьюдента симметрично, то (1-) часть площади под кривой этого распределения с n-1 степенями свободы будет заключена между точками и, которые равны друг другу по абсолютной величине. Следовательно, все значения меньше отрицательного и больше положительного значения для t-распределения с заданным числом степеней свободы при выбранном уровне значимости будут составлять критическую область. Попадание выборочного значения t в эту область приводит к принятию альтернативной гипотезы.
Доверительный интервал для строится по описанной ранее методике и определяется из следующего выражения
(2)
Итак, пусть в нашем случае известно, что диаметр раковины ископаемого моллюска равен 18,2 мм. В нашем распоряжении оказалась выборка из 50 вновь найденных раковин, для которых мм, а =2,18 мм. Проверим: =18,2 против Имеем
Если уровень значимости выбрать =0,05 то критическое значение. Отсюда следует, что можно отклонить в пользу на уровне значимости =0,05 . Таким образом, для нашего гипотетического примера можно утверждать (естественно, с некоторой вероятностью), что диаметр раковины ископаемых моллюсков определенного вида зависит от мест, в которых они обитали.
В связи с тем, что t-распределение симметрично, приводятся только положительные значения t этого распределения при выбранных уровнях значимости и числе степеней свободы. Причем учитывается не только доля площади под кривой распределения справа от значения t, но и одновременно слева от значения -t. Это связано с тем, что в большинстве случаев при проверке гипотез нас интересует существенность отклонений сама по себе, независимо от того, в большую или меньшую сторону эти отклонения, т.е. мы проверяем против, а не против: >a или: Вернемся теперь к нашему примеру. Доверительный 100(1-)% интервал для равен
18,92,01
Рассмотрим теперь случай, когда необходимо сравнить между собой средние двух генеральных совокупностей. Проверяемая гипотеза выглядит так: : =0, : 0. Предполагается также, что имеет нормальное распределение со средним и дисперсией, а - нормальное распределение со средним и той же дисперсией. Кроме того, принимаем, что выборки, по которым оцениваются генеральные совокупности, извлекаются независимо друг от друга и имеют объем соответственно и Из независимости выборок следует, что если взять большее их число и для каждой пары рассчитать средние значения, то множество этих пар средних будет полностью некоррелированно.
Проверка нулевой гипотезы проводится с использованием статистики
(3)
где и - оценки дисперсии для первой и второй выборок соответственно. Нетрудно видеть, что (3) представляет собой обобщение (1).
Было показано, что статистика (3) имеет t-распределение Стьюдента с степенями свободы. При равенстве и, т.е. = = формула (3) упрощается и имеет вид
(4)
Рассмотрим пример. Пусть при измерении стеблевых листьев одной и той же популяции растений в течение двух сезонов получены следующие результаты: Будем считать, что условия для использования критерия Стьюдента, т.е. нормальность генеральных совокупностей, из которых взяты выборки, существование неизвестной, но одной и той же дисперсии для этих совокупностей и независимость выборок выполнены. Оценим на уровне значимости =0,01. Имеем
Табличное значение t = 2,58. Поэтому гипотеза о равенстве средних значений длин стеблевых листьев для популяции растений в течение двух сезонов должна быть отвергнута на выбранном уровне значимости.
Внимание!
В качестве нулевой гипотезы в математической статистике выбирается гипотеза об отсутствии значимых различий между сравниваемыми показателями, причем независимо от того, идет ли речь о средних, дисперсиях или других статистиках. И во всех этих случаях, если эмпирическое (вычисленное по формуле) значение критерия больше теоретического (выбранного из таблиц), то отвергается. Если же эмпирическое значение меньше табличного, то принимается.
Для того, чтобы построить доверительный интервал для разности средних этих двух генеральных совокупностей, обратим внимание на то, что критерий Стьюдента, как видно из формулы (3), оценивает значимость разности между средними относительно стандартной ошибки этой разности. В том, что знаменатель в (3) представляет именно эту стандартную ошибку, нетрудно убедиться, используя уже рассмотренные ранее соотношения и сделанные предположения. В самом деле, нам известно, что в общем случае
Если x и y независимы, то и
Взяв вместо x и y выборочные значения и и припомнив сделанное предположение о том, что обе генеральные совокупности имеют одну и ту же дисперсию, получим
(5)
Оценка дисперсии может быть получена из следующего соотношения
(6)
(Мы делим на, потому что по выборкам оцениваются две величины и, и значит, число степеней свободы должно быть уменьшено на два.)
Если теперь подставить (6) в (5) и извлечь квадратный корень, то получится знаменатель в выражении (3).
После этого отступления вернемся к построению доверительного интервала для через -.
Имеем
Сделаем некоторые замечания, связанные с предположениями, используемыми при построении t-критерия. Прежде всего было показано, что нарушения допущения о нормальности для имеют незначительное влияние на уровень значимости и мощность критерия для 30. Несущественно также и нарушение предположения об однородности дисперсий обоих генеральных совокупностей, из которых берутся выборки, но тольков том случае, когда объемы выборок равны. Если же а дисперсии обеих совокупностей отличаются друг от друга, то вероятности ошибок первого и второго рода будут существенно отличаться от ожидаемых.
В этом случае для проверки следует пользоваться критерием
(7)
с числом степеней свободы
. (8)
Как правило, получается дробным числом, поэтому при пользовании таблицами t-распределения необходимо брать табличные значения для ближайших целых значений и проводить интерполяцию для нахождения t, соответствующего полученному.
Рассмотрим пример. При изучении двух подвидов озерной лягушки рассчитывалось отношение длины тела к длине голени. Были взяты две выборки с объемами =49 и =27. Средние и дисперсии интересующего нас отношения оказались равными соответственно =2,34; =2,08; =0,21; =0,35. Если теперь проверять гипотезу с использованием формулы (2), то получим, что
При уровне значимости =0,05 мы должны отвергнуть нулевую гипотезу (табличное значение t=1,995) и считать, что есть статистически достоверные на выбранном уровне значимости различия между средними значениями измеряемых показателей для двух подвидов лягушки.
При использовании же формул (6) и (7) имеем
В данном случае для того же уровня значимости =0,05 табличное значение t=2,015, и нулевая гипотеза принимается.
На этом примере достаточно ясно видно, что пренебрежение условиями, принимаемыми при выводе того или иного критерия, может привести к результатам, прямо противоположным тем, которые имеют место на самом деле. Конечно же, в данном случае, имея выборки разного объема в отсутствии заранее установленного факта о том, что дисперсии измеряемого показателя в обеих популяциях статистически равны, следовало пользоваться формулами (7) и (8), которые и показали отсутствие статистически значимых различий.
Поэтому хочется повторить еще раз, что проверка соблюдения всех предположений, сделанных при выводе того или иного критерия, является совершенно необходимым условием для его корректного использования.
Неизменным требованием в обоих приведенных модификациях t-критерия было требование о независимости между собой выборок. Однако на практике достаточно часто встречаются ситуации, когда это требование не может быть выполнено по объективным причинам. Например, измеряются некоторые показатели на одном и том же животном или участке территории до и после действия внешнего фактора и т.д. И в этих случаях нас может интересовать проверка гипотезы против. Будем по-прежнему предполагать, что обе выборки взяты из нормальных генеральных совокупностей с одинаковой дисперсией.
В этом случае можно воспользоваться тем фактом, что разности между нормально распределенными величинами также имеют нормальное распределение, и поэтому можно воспользоваться критерием Стьюдента в форме (1). Таким образом, будет проверяться гипотеза о том что n разностей есть выборка из нормально распределенной генеральной совокупности со средним, равным нулю.
Обозначив i-ю разность через, имеем
, (9) Рассмотрим пример. Пусть в нашем распоряжении имеются данные о количестве импульсов отдельной нервной клетки за определенный интервал времени до () и после () действия раздражителя:
Отсюда Имея в виду, что (9) имеет t-распределение, и выбрав уровень значимости =0,01, из соответствующей таблицы Приложения найдем, что критическое значение t для n-1=10-1=9 степеней свободы равно 3,25. Сравнение теоретического и эмпирического значений t-статистики показывает, что нулевая гипотеза об отсутствии статистически значимых различий между частотой импульсации до и после подачи стимула должна быть отвергнута. Можно сделать вывод о том, сто используемый раздражитель статистически значимо меняет частоту импульсации.
В экспериментальных исследованиях, как упоминалось выше, зависимые выборки появляются достаточно часто. Тем не менее этот факт иногда игнорируется и t-критерий некорректно используется в форме (3).
В неправомерности этого можно убедиться, рассматривая стандартные ошибки разности между некоррелированными и коррелированными средними. В первом случае
А во втором
Стандартная ошибка разности d равна
С учетом этого знаменатель в (9) будет иметь вид
Теперь обратим внимание на то, что числители выражений (4) и (9) совпадают:
следовательно, различие в величине t в них зависит от знаменателей.
Таким образом, если в задаче с зависимыми выборками будет использована формула (3), и при этом выборки будут иметь положительную корреляцию, то получаемые значения t будут меньше, чем они должны были бы быть при использовании формулы (9), и может возникнуть ситуация, что будет принята нулевая гипотеза, в то время как она неверна. Обратная ситуация может возникнуть, когда между выборками будет существовать отрицательная корреляция, т.е. в этом случае значимыми будут признаваться такие различия, которые на самом деле таковыми не являются.
Вернемся вновь к примеру с импульсной активностью и вычислим для приведенных данных значение t по формуле (3), не обращая внимания на то, что выборки связаны. Имеем: Для числа степеней свободы, равного 18, и уровня значимости =0,01 табличное значение t=2,88 и, на первый взгляд, кажется, что ничего не произошло, даже при использовании непригодной для данных условий формулы. И в этом случае вычисленное значение t приводит к отбрасыванию нулевой гипотезы, т.е. к тому же самому выводу, который был сделан с использованием правильной в данной ситуации формулой (9).
Однако давайте переформируем имеющиеся данные и представим их в следующем виде (2):
Это те же самые значения, и они вполне могли бы быть получены в каком-нибудь из опытов. Так как все значения в обеих выборках сохранены, то использование критерия Стьюдента в формуле (3) дает уже полученное ранее значение =3,32 и приводит к тому же самому выводу, который уже был сделан.
А теперь рассчитаем значение t по формуле (9), которая и должна использоваться в данном случае. Имеем: Критическое значение t при выбранном уровне значимости и девяти степенях свободы равно 3,25. Следовательно, оснований отвергнуть нулевую гипотезу у нас нет, мы ее принимаем, и оказывается, что этот вывод прямо противоположен тому, который был сделан при использовании формулы (3).
На этом примере мы вновь убедились в том, как важно для получения правильных выводов при анализе экспериментальных данных строго соблюдать все требования, которые были положены в основу определения того или иного критерия.
Рассмотренные модификации критерия Стьюдента предназначаются для проверки гипотез относительно средних двух выборок. Однако возникают ситуации, когда появляется необходимость сделать выводы относительно равенства одновременно k средних. Для этого случая тоже разработана определенная статистическая процедура, которая будет рассмотрена в дальнейшем при обсуждении вопросов, связанных с дисперсионным анализом.
2 Критерии согласия для дисперсий
Проверка статистических гипотез относительно дисперсий генеральных совокупностей проводится в той же последовательности, что и для средних. Напомним вкратце эту последовательность.
1. Формулируется нулевая гипотеза (об отсутствии статистически значимых различий между сравниваемыми дисперсиями).
2. Делаются некоторые предположения относительно выборочного распределения статистики, с помощью которой планируется оценивать параметр, входящий в гипотезу.
3. Выбирается уровень значимости для проверкигипотезы.
4. Рассчитывается значение интересующей нас статистики и принимается решение относительно истинности нулевой гипотезы.
А теперь начнем с проверки гипотезы о том, что дисперсия генеральной совокупности =a, т.е. против. Если предположить, что переменная x имеет нормальное распределение, и что выборка объема n извлекается из генеральной совокупности случайно, то для проверки нулевой гипотезы используется статистика
(10)
Вспомнив формулу для расчета дисперсии, перепишем (10) так:
. (11)
Из этого выражения видно, что числитель представляет собой сумму квадратов отклонений нормально распределенных величин от их среднего. Каждое из этих отклонений также распределено нормально. Поэтому в соответствии с известным нам распределением суммы квадратов нормально распределенных величин статистики (10) и (11) имеют -распределение с n-1 степенью свободы.
По аналогии с использованием t-распределения при проверке для выбранного уровня значимости по таблице распределения устанавливают критические точки, соответствующие вероятностям принятия нулевой гипотезы и. Доверительный интервал для при выбранном строится следующим образом:
. (12)
Рассмотрим пример. Пусть на основании обширных экспериментальных исследований установлено, что дисперсия содержания алкалоидов одного вида растений из определенного района равна 4,37 условных единиц. В распоряжение специалиста попадает выборка объемом n = 28 таких растений, предположительно из того же района. Проведенный анализ показал, что для этой выборки =5,01 и нужно убедиться в том, что эта и известная ранее дисперсии статистически неразличимы на уровне значимости =0,1.
По формуле (10) имеем
Полученную величину необходимо сравнить с критическими значениями /2=0,05 и 1--/2=0,95. Из таблицы Приложения для с 27 степенями свободы имеем соответственно 40,1 и 16,2, откуда следует, что нулевая гипотеза может быть принята. Соответствующий доверительный интервал для равен 3,37<<8,35.
В отличии от проверки гипотез относительно выборочных средних с использованием критерия Стьюдента, когда ошибки первого и второго рода несущественно менялись при нарушении предположения о нормальном распределении генеральных совокупностей, в случае гипотез о дисперсиях при невыполнении условий нормальности ошибки меняются существенно.
Рассмотренная выше задача о равенстве дисперсии некоторому фиксированному значению представляет ограниченный интерес, так как довольно редко встречаются ситуации, когда известна дисперсия генеральной совокупности. Значительно больший интерес представляет случай, когда нужно проверить, равны ли дисперсии двух совокупностей, т.е. проверка гипотезы против альтернативы. При этом предполагается, что выборки объемом и случайно извлекаются из генеральных совокупностей с дисперсиями и.
Для проверки нулевой гипотезы используется критерий отношения дисперсий Фишера
(13)
Так как суммы квадратов отклонений нормально распределенных случайных величин от их средних значений имеют распределение, то и числитель и знаменатель (13) представляют собой величины с распределением, поделенные соответственно на и, и следовательно, их отношение имеет F-распределение с -1 и -1 степенями свободы.
Общепринято - и так построены таблицы F-распределения, - что в качестве числителя в (13) берется большая из дисперсий, и поэтому определяется только одна критическая точка, соответствующая выбранному уровню значимости.
Пусть в нашем распоряжении оказались две выборки объемом =11 и =28 из популяций обыкновенных и овальных прудовиков, для которых отношения высоты к ширине имеют дисперсии =0,59 и =0,38. Необходимо проверить гипотезу о равенстве этих дисперсий этих показателей для изучаемых популяций при уровне значимости =0,05. Имеем
В литературе иногда можно встретить утверждение о том, что проверке гипотезы о равенстве средних по критерию Стьюдента должна предшествовать проверка гипотезы о равенстве дисперсий. Это неправильная рекомендация. Более того, она может привести к ошибкам, которых можно избежать, если ей не следовать.
В самом деле, результаты проверки гипотезы о равенстве дисперсий с использованием критерия Фишера в значительной мере зависят от предположения о том, что выборки взяты из совокупностей с нормальным распределением. В то же время критерий Стьюдента малочувствителен к нарушениям нормальности, и если удается получить выборки равного объема, то предположение о равенстве дисперсий также не является существенным. В случае неравных n следует пользоваться для проверки формулами (7) и (8).
При проверке гипотез о равенстве дисперсий возникают некоторые особенности в расчетах, связанных с зависимыми выборками. В этом случае для проверки гипотезы против альтернативы используется статистика
(14)
Если нулевая гипотеза справедлива, то статистика (14) имеет t-распределение Стьюдента с n-2 степенями свободы.
При измерении блеска 35 образцов покрытий была получена дисперсия =134,5. Повторные измерения через две недели показали =199,1. При этом коэффициент корреляции между парными измерениями оказался равным =0,876. Если не обращать внимание на то, что выборки зависимы и воспользоваться критерием Фишера для проверки гипотезы, то получим F=1,48. Если выбрать уровень значимости =0,05, то нулевая гипотеза будет принята, так как критическое значение F-распределения для =35-1=34 и =35-1=34 степеней свободы равно 1,79.
В то же время, если использовать подходящую для данного случая формулу (14), то получим t=2,35, в то время как критическое значение t для 33 степеней свободы и выбранного уровня значимости =0,05 равно 2,03. Следовательно, нулевая гипотеза о равенстве дисперсий в этих двух выборках должна быть отклонена. Таким образом, из этого примера видно, что, как и в случае проверки гипотезы о равенстве средних, использование критерия, не учитывающего специфику экспериментальных данных, приводит к ошибке.
В рекомендуемой литературе можно найти критерий Бартлетта, используемый при проверке гипотез об одновременном равенстве k дисперсий. Кроме того, что вычисления статистики этого критерия довольно трудоемки, основной недостаток этого критерия в том, что он необычайно чувствителен к отклонениям от предположения о нормальности распределений совокупностей из которых извлекаются выборки. Таким образом, при его использовании никогда нельзя быть уверенным в том, что нулевая гипотеза отклонена в самом деле из-за того, что статистически значимо различаются дисперсии, а не из-за того, что выборки не имеют нормального распределения. Поэтому в случае возникновения проблемы сравнения нескольких дисперсий необходимо искать такую постановку задачи, когда можно будет использовать критерий Фишера или его модификации.
3 Критерии согласия относительно долей
Довольно часто приходится анализировать совокупности, в которых объекты могут быть отнесены к одной из двух категорий. Например, по принадлежности к полу в некоторой популяции, по наличию некоторого микроэлемента в почве, по темной или светлой окраске яиц у некоторых видов птиц и т.д.
Долю элементов, обладающих определенным качеством, обозначим через P, где P представляет собой отношение объектов с интересующим нас качеством ко всем объектам в совокупности.
где