Однофакторный дисперсионный анализ в excel

Содержание

1 История
2 Пример
3 Предпосылки и терминология
4 Классы моделей
- 4.1 Модели с фиксированными эффектами
- 4.2 Модели со случайными эффектами
- 4.3 Модели со смешанными эффектами
5 Допущения
- 5.1 Анализ учебников с использованием нормального распределения
- 5.2 Анализ на основе рандомизации
  - 5.2.1 Аддитивность единичной терапии
  - 5.2. 2 Производная линейная модель
  - 5.2.3 Статистические модели для данных наблюдений
- 5.3 Резюме предположений
6 Характеристики
7 Логика
- 7.1 Разделение суммы квадратов
- 7.2 F-тест
- 7.3 Расширенная логика
8 Для одного фактора
9 Для нескольких факторов
10 Рабочие числовые примеры
11 Сопутствующий анализ
- 11.1 Подготовительный анализ
  - 11.1.1 Количество экспериментальных ед.
  - 11.1.2 Анализ мощности
  - 11.1.3 Величина эффекта
- 11.2 Последующий анализ
  - 11.2.1 Подтверждение модели
  - 11.2.2 Последующие тесты
12 Дизайн исследования
13 Предостережения
14 Обобщения
- 14.1 Подключение к линейной регрессии
15 См. также
16 Сноски
17 Примечания
18 Ссылки
19 Дополнительная литература
20 Внешние ссылки

ANOVA

ANOVA в статистике — это мощный инструмент для определения влияния различных групп наблюдений между собой.
Дисперсионный анализ был введён Фишером — английским учёным, сделавшим огромный вклад в развитие науки.
ANOVA — это акроним от ANalysis Of VAriance (дисперсионный анализ).

Пример

Предположим, Вы хотите эмпирическим методом провести исследование бензина на качество, для этого вы заправляете бак
на одной заправке и проезжаете n километров, повторяете такой эксперимент, скажем, пять раз, затем проводите
такой же эксперимент, только на другой заправке. У Вас два набора данных — заправка A и заправка B. Разумеется,
цифры разбегаются, но всё же есть некоторая зависимость, так вот, что бы определить, влияет ли заправка на
расход бензина (или данные не связаны между собой) Вы используете дисперсионный анализ.

Дисперсионный анализ позволяет определить какой из факторов влияет больше, внутригрупповой или межгрупповой. В
примере выше Вы сможете определить, насколько влияет на расход бензина выбор заправки. В этом суть дисперсионного
анализа: узнать, является ли выбранный фактор значимым для выбранных наблюдений.

В некотором смысле, дисперсионный анализ похож на регрессионный и корреляционный анализы, т.к. позволяет
определить влияние переменных друг на друга.

21.2 Post-hoc тесты

Тем не менее, дисперсионного анализа недостаточно, чтобы решить, какие именно группы между собой различаются. Для этого нужно проводить post-hoc тесты (апостериорные тесты).

Post-hoc переводится с латыни как “после этого”. Post-hoc тесты или просто “пост-хоки” проводятся, если в результате ANOVA была отвергнута нулевая гипотеза. Собственно, пост-хоки никак не связаны с дисперсионным анализом на уровне расчетов — это абсолютно независимые тесты, но исторически так сложилось, что они известны именно как дополнительный этап ANOVA.

Самый простой вариант пост-хок теста — это попарные т-тесты с поправками на множественные сравнения:

Второй подход связан с использованием специализированных тестов, таких как тест Тьюки (Tukey Honest Significant Differences = Tukey HSD). Для этого в R есть функция , которую нужно применять на объект :

Вычисления в MS Excel. Тема 2. Однофакторный дисперсионный анализ

Тема 2. Однофакторный дисперсионный анализ

Вариант 1. Однофакторный дисперсионный анализ

Задание: при уровне значимости 0,05, установить значимость влияния фактора А методом однофакторного дисперсионного анализа. Дать интерпретацию фактору и его уровню, а также результирующему показателю в терминах экономических величин.

Уровни фактора А	Номер испытания 1 2 3 4
а1 а2 а3 а4	12 17 13 11 14 13 14 12 10 11 14 13 13 9 8 9

Вариант 2. Однофакторный дисперсионный анализ

Уровни фактора А	Номер испытания 1 2 3 4
а1 а2 а3	100 101 126 128 92 102 104 115 74 87 88 93

Вариант 10. Однофакторный дисперсионный анализ

Уровни фактора А	Номер испытания 1 2 3 4
а1 а2 а3 а4	8 8 11 9 12 11 7 6 14 13 12 9 10 15 8 7

Вариант 11. Однофакторный дисперсионный анализ

Уровни фактора А	Номер испытания 1 2 3 4
а1 а2 а3 а4	18 18 22 29 32 31 37 36 44 43 52 49 50 55 60 57

Вариант 14. Однофакторный дисперсионный анализ

Уровни фактора А	Номер испытания 1 2 3 4
а1 а2 а3 а4	12 14 15 11 15 17 20 22 20 16 19 23 33 29 24 27

Вычисления в MS Excel

Пример. Известны итоговые результаты в баллах 20 студентов по дисциплине «Теория вероятностей и математическая статистика». Требуется установить, влияет ли базовое (среднее) образование на успеваемость студента.

Уровни фактора А – базовое (среднее) образование студента	Номер испытания
Гимназия или лицей
Школа с углубленным изучением предметов
Обычная школа
Техникум

Решение. Заносим исходные данные в MS Excel, как в таблице.

Рис. 2.4. Выбор однофакторного дисперсионного анализа

Рис. 2.5. Ввод данных для расчета однофакторного дисперсионного анализа

После проделанных расчетов можно выполнить проверку результата с помощью пакета анализа (пункт меню «Данные», затем выбираем «пакет анализа») (рис. 2.4.).

При введении данных в раздел пакет анализа «однофакторный дисперсионный анализ» необходимо обратить внимание на расположение исходных данных в строках или столбцах (рис. 2.5)

Для расчетов входной интервал выделяем вместе с названиями уровней фактора, не забывая при этом поставить отметку в графе «метки в первом столбце». Когда все данные правильно введены, нажимаем кнопку «ОК» и переходим на тот лист, на который будут выведены результаты расчетов (рис. 2.6).

По рис. 2.6. видно, что все результаты, сделанные вручную, совпадают с результатами, рассчитанными автоматически. Таким образом, они верны.

Рис. 2.6. Результаты расчетов значений критерия Фишера с помощью пакета анализа

Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.005 сек.)

Решение задач

В качестве примера приведём задачу из метрологии. На заводе размещены пять станков, на которых производят валы.
Необходимо определить, влияет ли выбор станка или подготовка работника на результат производства. Для анализа
производят замеры для каждого станка и работника, в результате получается таблица:

Оператор 1
М1	30.646	31.094	30.447	30.697	30.977	31.023	31.285	30.641	31.241	30.515
М2	30.61	30.434	30.512	30.586	30.395	30.342	30.511	30.6	30.583	30.525
М3	30.372	30.374	30.393	30.378	30.355	30.333	30.3	30.351	30.331	30.379
М4	30.385	30.334	30.365	30.319	30.388	30.388	30.375	30.378	30.347	30.32
М5	30.4	30.371	30.314	30.336	30.371	30.308	30.389	30.302	30.338	30.302
Оператор 2
М1	30.686	30.542	30.647	30.589	30.436	30.304	30.574	30.612	30.621	30.394
М2	30.442	30.475	30.588	30.41	30.617	30.406	30.488	30.683	30.655	30.436
М3	30.452	30.617	30.659	30.52	30.307	30.447	30.489	30.414	30.534	30.541
М4	30.219	30.22	30.219	30.293	30.29	30.224	30.288	30.298	30.27	30.204
М5	30.369	30.327	30.396	30.308	30.388	30.336	30.357	30.385	30.365	30.396

Воспользуемся методом двухфакторного анализа, фактор А — оператор, фактор В — станок. Рассчитаем суммы квадратов,
для этого необходимо рассчитать значение среднего для каждой из групп:

T	T_A1	T_A2	T_B1	T_B2	T_B3	T_B4	T_B5
3045.997	1524.26	1521.737	613.971	610.298	608.546	606.124	607.058

Таблица результатов:

Влияние станка на результат	Да	0.199 < 2.77
Влияние квалификации работника на результат	Да	1.498 < 2.01
Взаимное влияние квалификации работника и выбора станка на результат	Да	0.464 < 2.01

В excel/Open Calc

Для решения дисперсионного анализа в электронной таблице Вам потребуются следующие формулы:

sumproduct	Сумма произведений, используется для нахождения суммы квадратов
finv	Обратное значение распределения F — критерий Фишера

Таблица для скачивания в форматах ods и
xls.

Выполнение одностороннего теста ANOVA

Нулевая гипотеза одностороннего теста ANOVA:

И этот тест пытается проверить, верна эта гипотеза или нет.

Давайте сначала рассмотрим определение уровня достоверности 95%, что также подразумевает, что мы примем только уровень ошибок в 5%.

Пример –

 
mymod = ols('Height ~ Diet', data = mydata).fit() 
# performing type 2 anova test 
aovtable = sm.stats.anova_lm(mymod, typ = 2) 
print('ANOVA table for Female') 
print('----------------------') 
print(aovtable) 
print() 
 
mod = ols('Height ~ Diet', data = mydata).fit() 
# performing type 2 anova test 
aovtable = sm.stats.anova_lm(mymod, typ = 2) 
print('ANOVA table for Male') 
print('----------------------') 
print(aovtable)

Выход:

ANOVA table for Female 
---------------------- 
               sum_sq    df        F    PR(>F) 
Diet       559.680764   1.0  7.17969  0.010566 
Residual  3196.086677  41.0      NaN       NaN 
 
ANOVA table for Male 
---------------------- 
               sum_sq    df        F    PR(>F) 
Diet       559.680764   1.0  7.17969  0.010566 
Residual  3196.086677  41.0      NaN       NaN

В приведенном выше выводе мы можем наблюдать два p-значения (PR(> F)): мужской и женский.

В случае мужчин мы не можем принять нулевую гипотезу ниже уровня достоверности 95%, потому что значение p больше, чем значение альфа, т. е. 0,05 <0,512784. Таким образом, не обнаружено никакой разницы в весе мужчин после того, как они соблюдали эти три типа диеты.

В случае женщин, поскольку p-значение PR(> F) ниже уровня ошибки, т. е. 0,05> 0,010566, мы могли бы отклонить нулевую гипотезу. Это утверждение указывает на то, что мы довольно уверены в том факте, что существует разница у женщин в диетах.

Итак, теперь мы понимаем влияние диеты на женщин; однако мы не осознаем разницу между диетами. Итак, мы проведем апостериорный анализ с помощью теста Tukey HSD (Honest Significant Difference).

Давайте рассмотрим следующий фрагмент кода.

Пример –

 
from statsmodels.stats.multicomp import pairwise_tukeyhsd, MultiComparison 
# using the female data only 
mydf = mydata 
 
# comparing the height between each diet, using 95% confidence interval  
multiComp = MultiComparison(mydf, mydf) 
tukeyres = multiComp.tukeyhsd(alpha = 0.05) 
 
print(tukeyres) 
print('Unique diet groups: ', multiComp.groupsunique)

Выход:

Multiple Comparison of Means - Tukey HSD, FWER=0.05 
===================================================== 
group1 group2 meandiff p-adj   lower    upper  reject 
----------------------------------------------------- 
     1      2  -3.5714 0.5437 -11.7861  4.6432  False 
     1      3  -8.7714 0.0307  -16.848 -0.6948   True 
     2      3     -5.2 0.2719 -13.2766  2.8766  False 
----------------------------------------------------- 
Unique diet groups:

Как видно из вышеприведенных результатов, мы можем отклонить только нулевую гипотезу между 1-м и 3-м типами диеты, что означает наличие статистически значимой разницы в весе для диеты 1 и диеты 3.

Изучаю Python вместе с вами, читаю, собираю и записываю информацию опытных программистов.

Односторонний дисперсионный анализ по сравнению с двусторонним дисперсионным анализом

Существует два типа ANOVA: односторонний (или однонаправленный) и двусторонний. Односторонний или двусторонний относится к количеству независимых переменных в вашем тесте дисперсионного анализа. Односторонний ANOVA оценивает влияние единственного фактора на единственную переменную ответа. Он определяет, все ли образцы одинаковы. Односторонний дисперсионный анализ ANOVA используется для определения наличия статистически значимых различий между средними значениями трех или более независимых (не связанных) групп.

Двусторонний дисперсионный анализ — это расширение одностороннего дисперсионного анализа. В одностороннем порядке у вас есть одна независимая переменная, влияющая на зависимую переменную. В двустороннем ANOVA есть два независимых параметра. Например, двусторонний дисперсионный анализ позволяет компании сравнивать производительность труда на основе двух независимых переменных, таких как заработная плата и набор навыков. Он используется для наблюдения за взаимодействием между двумя факторами и одновременного тестирования эффекта двух факторов.

Анализ чувствительности инвестиционного проекта в Excel

Метод анализа чувствительности в сфере инвестиций

При анализе «что если» используют перебор – ручной или автоматический. Известен диапазон значений, и они по очереди подставляются в формулу. В итоге получается набор значений. Из них выбирают подходящую цифру. Рассмотрим четыре показателя, по которым ведется анализ чувствительности в сфере финансов:

Чистая приведенная стоимость – вычисляется путем вычитания размера вложения из объема доходов.
Внутренняя норма доходности/прибыли – указывает, какую прибыль требуется получить с вложения за год.
Коэффициент окупаемости – отношение всей прибыли к начальному вложению.
Дисконтированный индекс прибыли – указывает на эффективность инвестиции.

Формула

Чувствительность вложения можно вычислить с помощью этой формулы: Изменение выходного параметра в % / Изменение входного параметра в %.

Выходным и входным параметром могут быть величины, описанные ранее.

Необходимо узнать результат при стандартных условиях.
Заменяем одну из переменных и следим за изменениями результата.
Вычисляем процентное изменение обоих параметров относительно установленных условий.
Вставляем полученные проценты в формулу и определяем чувствительность.

Пример анализа чувствительности инвестиционного проекта в Excel

Для лучшего понимания методики анализа необходим пример. Проанализируем проект с такими известными данными:

Заполним таблицу, чтобы анализировать проект по ней.

Вычисляем денежный поток с помощью функции СМЕЩ. На начальном этапе поток равен вложениям. Далее применяем формулу: =ЕСЛИ(СМЕЩ(Номер;1;)=2;СУММ(Приток 1:Отток 1); СУММ(Приток 1:Отток 1)+$B$5)Обозначения ячеек в формуле могут быть другими, это зависит от размещения таблицы. В конце прибавляется значение из начальных данных – ликвидационная стоимость.

Определяем срок, за который проект окупится. Для начального периода используем эту формулу: =СУММЕСЛИ(G7:G17;»<0″). Диапазон ячеек – это столбец денежного потока. На дальнейших периодах применим эту формулу: =Начальный период+ЕСЛИ(Первый д.поток>0; Первый д.поток;0). Проект оказывается в точке безубыточности за 4 года.

Создаем столбец для номеров тех периодов, когда проект окупается.

Вычисляем рентабельность вложений. Необходимо составить выражение, где прибыль в конкретном отрезке времени делится на начальные вложения.

Определяем коэффициент дисконтирования по этой формуле: =1/(1+Ставка диск.%) ^Номер.

Вычислим приведенную стоимость с помощью умножения – денежный поток умножается на коэффициент дисконтирования.

Рассчитаем PI (индекс рентабельности). Приведенная стоимость в отрезке времени делится на вложения в начале развития проекта.

Определим внутреннюю норму прибыли с помощью функции ВСД: =ВСД(Диапазон денежного потока).

21.6 Многофакторный дисперсионный анализ (Factorial ANOVA)

На практике можно встретить One-Way ANOVA (однофакторную ANOVA) довольно редко. Обычно в исследованиях встречается многофакторный дисперсионный анализ, в котором проверяется влияние сразу нескольких факторов. В научных статьях это обозначается примерно так: “3х2 ANOVA”. Это означает, что был проведен двухфакторный дисперсионный анализ, причем в одном факторе было три уровня, во втором — два. В нашем случае это будут факторы “Диета” и “Пол”. Это означает, что у нас две гипотезы: о влиянии диеты на потерю веса и о влиянии пола на потерю веса. Кроме того, появляется гипотеза о взаимодействии факторов — то есть о том, что разные диеты по разному влияют на потерю веса для разных полов.

Взаимодействие двух факторов хорошо видно на графике с линиями: если две линии параллельны, то взаимодействия нет. Если они не параллельны (пересекаются, сходятся, расходятся), то взаимодействие есть.

Как видно по картинке, разница в эффективности диеты С по сравнению с другими видна только для женщин.

Понимание теста после дисперсионного анализа

При проведении теста ANOVA мы пытаемся определить статистически значимую разницу между группами, если она имеется. В случае, если мы его найдем, нам нужно будет проверить, где находится место групповых различий.

Таким образом, исследователь использует апостериорный тест, чтобы проверить, какие группы отличаются друг от друга.

Мы могли бы проводить апостериорные тесты, которые представляют собой t-тесты, проверяющие средние различия между группами. Мы можем провести несколько сравнительных тестов, чтобы контролировать частоту ошибок первого типа, включая тесты Бонферрони, Даннета, Шеффе и Турции.

Теперь мы разберемся только с односторонним тестом ANOVA с использованием языка программирования Python.

Задача

В качестве задачи рассмотрим технологический процесс изготовления нити в химическом реакторе.

Пусть предполагается, что инженер исследует влияние некой добавки на прочность нити Y. Он решает провести эксперимент:

Использовать 4 различных концентраций добавки (1%; 5%; 7% и 10%). Прим .: эти значения концентраций не участвуют в расчетах.
Провести по 6 (n) измерений прочности нити для каждой концентрации добавки.

Таким образом, имеется только 1 фактор (концентрация добавки). Фактор имеет 4 (а=4) различные уровня (j=1; 2; 3; 4). Всего у нас имеется 24 (N=4*6) измерения.

Вроде бы эксперимент полностью описан, теперь инженеру требуется только провести измерения. Однако, есть еще одна сложность: на разброс результатов при различных уровнях фактора может повлиять то, как мы проводим эксперимент.

Классы моделей

Существует три класса моделей, используемых в дисперсионном анализе, и они описаны здесь.

Модели с фиксированными эффектами

Модель дисперсионного анализа с фиксированными эффектами (класс I) применяется к ситуациям, в которых экспериментатор применяет одно или несколько методов лечения к испытуемым в эксперименте, чтобы проверить, действительно ли значения переменной ответа изменяются. Это позволяет экспериментатору оценить диапазоны значений переменных ответа, которые лечение может вызвать в популяции в целом.

Модели случайных эффектов

Модель случайных эффектов (класс II) используется, когда обработки не фиксированы. Это происходит, когда различные уровни факторов выбираются из более широкой совокупности. Поскольку сами уровни являются случайными величинами, некоторые допущения и метод противопоставления обработок (многомерное обобщение простых различий) отличаются от модели с фиксированными эффектами.

Смешанные эффекты модели

Модель со смешанными эффектами (класс III) содержит экспериментальные факторы как с фиксированными, так и со случайными эффектами, с соответственно разными интерпретациями и анализом для двух типов.

Пример: Обучающие эксперименты могут проводиться колледжем или отделом университета, чтобы найти хороший вводный учебник, где каждый текст считается лечением. Модель с фиксированными эффектами будет сравнивать список текстов-кандидатов. Модель случайных эффектов будет определять, существуют ли важные различия между списком случайно выбранных текстов. Модель со смешанными эффектами будет сравнивать (фиксированные) существующие тексты со случайно выбранными альтернативами.

Определение фиксированных и случайных эффектов оказалось труднодостижимым, с конкурирующими определениями, возможно, ведущими к лингвистическому болоту.

Типы тестов ANOVA

Тесты ANOVA можно разделить на три основных типа. Эти типы показаны ниже:

Односторонний тест ANOVA
Двусторонний тест ANOVA
n-Way ANOVA-тест

Односторонний тест ANOVA

Тест дисперсионного анализа, который имеет только одну независимую переменную, известен как односторонний тест ANOVA.

Например, страна может оценить различия в случаях коронавируса, при этом страна может иметь несколько категорий для сравнения.

Двусторонний тест ANOVA

Тест дисперсионного анализа, который имеет две независимые переменные, известен как двусторонний тест ANOVA. Этот тест также известен как факторный тест ANOVA.

Например, расширяя приведенный выше пример, двусторонний ANOVA может исследовать разницу в случаях коронавируса (зависимая переменная) по возрастной группе (первая независимая переменная) и полу (вторая независимая переменная). Двусторонний дисперсионный анализ ANOVA может использоваться для изучения взаимодействия между этими двумя независимыми переменными. Взаимодействия означают, что различия неравномерны по всем классам независимых переменных.

Предположим, что в пожилой возрастной группе может быть больше случаев коронавируса в целом по сравнению с молодой возрастной группой; однако эта разница может отличаться в странах Европы от стран Азии.

n-Way ANOVA-тест

Тест дисперсионного анализа считается n-сторонним тестом ANOVA, если исследователь использует более двух независимых переменных. Здесь n представляет количество имеющихся у нас независимых переменных. Этот тест также известен как тест MANOVA.

Например, мы можем изучить потенциальные различия в случаях коронавируса, используя независимые переменные, такие как страна, возрастная группа, пол, этническая принадлежность и многие другие одновременно.

Тест ANOVA предоставит нам единственное (одномерное) F-значение; однако тест MANOVA предоставит нам многомерное F-значение.

ANOVA с репликацией и без

Как правило, некоторые из нас могут слышать “с репликацией и без репликации” в отношении теста ANOVA. Давайте разберемся, что это такое.

Двусторонний тест ANOVA с репликацией

Двусторонний тест ANOVA с репликацией выполняется, когда две группы и члены этих групп выполняют несколько задач.

Например, предположим, что вакцина от коронавируса все еще находится в стадии разработки. Врачи проводят два разных лечения, чтобы вылечить две группы пациентов, инфицированных вирусом.

Двусторонний тест ANOVA без репликации

Двусторонний тест ANOVA без репликации выполняется, когда у нас есть только одна группа, и мы дважды тестируем эту же группу.

Например, предположим, что вакцина была успешно разработана, и исследователи тестируют одну группу добровольцев до и после вакцинации, чтобы увидеть, работает ли вакцина должным образом или нет.

Предположения теста ANOVA

Перед выполнением теста ANOVA мы должны сделать определенные предположения, как показано ниже:

Мы можем получать наблюдения случайным образом и независимо от совокупности, определяемой уровнями факторов.
Данные по каждому уровню фактора распределены в целом.
Независимость от случая: Примеры случаев должны быть независимыми друг от друга.
Однородность дисперсии: однородность означает, что дисперсия между группами должна быть примерно одинаковой.

Мы можем проверить предположение об однородности дисперсии с помощью таких тестов, как тест Брауна-Форсайта или тест Левена. Мы также можем проверить нормальность распределений оценок с помощью гистограмм, значений эксцесса или асимметрии или с помощью таких тестов, как график Колмогорова-Смирнова, Шапиро-Уилка или график Q-Q. Мы также можем определить предположение о независимости от дизайна исследования.

Следует отметить, что тест ANOVA не является устойчивым к нарушению предположения о независимости. Это информирует о том, что даже если кто-то пытается нарушить предположения о нормальности или однородности, он может провести тест и доверять результатам.

Тем не менее, результаты теста ANOVA неприемлемы, если допущение независимости опровергается. Обычно анализ, наряду с нарушениями однородности, считается надежным, если у нас есть группы одинакового размера. Возобновление теста ANOVA вместе с нарушениями нормальности обычно нормально, если у нас большой размер выборки.

Что такое Дисперсионный анализ (ANOVA)?

Дисперсионный анализ (ANOVA) — это инструмент анализа, используемый в статистике, который разделяет наблюдаемую совокупную изменчивость, обнаруженную внутри набора данных, на две части: систематические факторы и случайные факторы. Систематические факторы оказывают статистическое влияние на данный набор данных, а случайные факторы — нет. Аналитики используют тест ANOVA для определения влияния независимых переменных на зависимую переменную в регрессионном исследовании.

Методы t- и z-критериев, разработанные в 20 веке, использовались для статистического анализа до 1918 года, когда Рональд Фишер создал метод дисперсионного анализа.12 ANOVA также называется дисперсионным анализом Фишера и является расширением t- и z-критериев.Этот термин стал широко известен в 1925 году после появления в книге Фишера «Статистические методы для научных работников».3 Его использовали в экспериментальной психологии, а затем расширили на более сложные предметы.

21.1 Тестирование значимости нулевой гипотезы в ANOVA.

Как и в случае с другими статистическими тестами, мы можем выделить 4 этапа в тестировании значимости нулевой гипотезы в ANOVA:

Формулирование нулевой и альтернативной гипотезы. Нулевая гипотеза говорит, что между средними в генеральной совокупности нет различий:

\ Можно было бы предположить, что ненулевая гипотеза звучит как “все средние не равны”, но вообще-то это не так. Альтернативная гипотеза в дисперсионном анализе звучит так:

Подсчет статистики. Как мы уже видели раньше, в дисперсионном анализе используется новая для нас статистика F. Впрочем, мы ее видели, когда смотрели на аутпут функции , когда делали линейную регрессию. Чтобы считать F (если вдруг мы хотим сделать это вручную), нужно построить талбицу ANOVA (ANOVA table).

Таблица ANOVA	Степени свободы	Суммы квадратов	Средние квадраты	F-статистика
Межгрупповые	$df_{b}$	$SS_{b}$	$MS_{b} =\frac{SS_{b}}{df_{b}}$	$F=\frac{MS_{b}}{MS_{w}}$
Внутригрупповые	$df_{w}$	$SS_{w}$	$MS_{w} =\frac{SS_{w}}{df_{w}}$
Общие	$df_{t}$	$SS_{t}= SS_{b} + SS_{w}$

Именно эту таблицу мы видели, когда использовали функцию :

Вот как это все считается:

Таблица ANOVA	Степени свободы	Суммы квадратов	Средние квадраты	F-статистика
Между	$df_{b}=J-1$	$SS_{b}= \sum\limits_{j=1}^J \sum\limits_{i=1}^{n_j} (\overline{x_j}-\overline{x})^2$	$MS_{b} =\frac{SS_{b}}{df_{b}}$	$F=\frac{MS_{b}}{MS_{w}}$
Внутри	$df_{w}=N-J$	$SS_{w}= \sum\limits_{j=1}^J \sum\limits_{i=1}^{n_j} (x_{ij}-\overline{x_j})^2$	$MS_{w} =\frac{SS_{w}}{df_{w}}$
Общие	$df_{t}=N-1$	$SS_{t}= \sum\limits_{j=1}^J \sum\limits_{i=1}^{n_j} (x_{ij}-\overline{x})^2$

$J$ означает количество групп, $N$ — общее количество наблюдений во всех группах, $n_j$ означает количество наблюдений в группе j, а $x_{ij}$ — наблюдение под номером $i$ в группе $j$.

Вариабельность обозначается $SS$ и означает “сумму квадратов” (sum of squares) — это то же, что и дисперсия, только мы не делим вме в конце на количество наблюдений (или количество наблюдений минус один): \

Здесь много формул, но суть довольно простая: мы разделяем вариабельность зависимой переменной на внутригрупповую и межгрупповую, считаем их соотношение, которое и будет F. В среднем, F будет равен 1 при верности нулевой гипотезы. Это означает, что и межгрупповая вариабельность, и внутригрупповая вариабельность — это просто шум. Но если же межгрупповая вариабельность — это не просто шум, то это соотношение будет сильно больше единицы.

Подсчет p-value. В t-тесте мы смотрели, как статистика распределена при условии верности нулевой гипотезы. То есть что будет, если нулевая гипотеза верна, мы будем повторять эксперимент с точно таким же дизайном (и размером выборок) бесконечное количество раз и считать F.

Заметьте, распределение F несимметричное. Это значит, что мы всегда считаем считаем площадь от F до плюс бесконечности (без умножения на 2, как мы это делали в t-тесте):

Это и есть наш p-value!

Сравнение p-value с уровнем $\alpha$. Самый простой этап: если наш p-value меньше, чем $\alpha$ (который обычно равен 0.05), то мы отвергаем нулевую гипотезу. Если нет — не отвергаем.

21.3 ANOVA и т-тест как частные случаи линейной регрессии

Как мы уже видели, если применить или на одних и тех же данных с одной и той же формулой, то результат будет очень похожим. Но есть одно но: создает из одного фактора две переменных-предиктора:

Дело в том, что мы не можем просто так загнать номинативную переменную в качестве предиктора в линейную регрессию. Мы можем это легко сделать, если у нас всего два уровня в номинативном предикторе. Тогда один из уровней можно обозначить за 0, другой — за 1. Такие переменные иногда называются “бинарными”. Тогда это легко использовать в линейной регрессии:

Можно ли так делать? Вполне! Допущения линейной регрессии касаются остатков, а не переменных самих по себе. Разве что это немного избыточно: линейная регрессия с бинарным предиктором — это фактически независимый t-тест:

Как видите, p-value совпадают! А t статистика в квадрате — это F (при двух группах):

Более того, те же самые результаты можно получить и с помощью коэффициента корреляции Пирсона:

О рандомизированном эксперименте

Представим, что у нас есть только 1 реактор. Инженер включает реактор, делает 6 измерений для первого уровня, затем, для 2-го и т.д. В итоге, может случиться так, что первые 6 измерений у нас будут выполнены в реакторе, который только начал прогреваться, а последние 6, когда он полностью вышел в рабочий режим. Понятно, что такой подход не годится: на разброс выборок может влиять не только концентрация добавки, но и порядок, в котором проводились измерения.

Также не годится подход, когда используются 4 одинаковых, но отдельных реактора для каждого эксперимента: первый реактор для концентрации 1%, второй — для 5% и т.д. Однако, индивидуальные особенности каждого реактора (период эксплуатации, воздействие ремонтов, незначительное различие конструкции допущенное при изготовлении) могут сказаться на разбросе выборки.

То есть для постановки правильного эксперимента требуется исключить влияние конкретного устройства (experimental unit) на значение переменной Y.

Обычно используют полностью рандомизированный эксперимент (completely randomized experimental design) – это когда для каждого испытания ( treatment ) выбираются образцы экспериментального устройства выбираются случайным способом.

Например, для нашего случая можно предложить следующую схему полностью рандомизированного эксперимента : мы случайным образом выбираем из большого количества одинаковых ректоров (например, из 1000) 6 ректоров для наблюдений первого уровня фактора (для каждого наблюдения 1 реактор), 6 – для второго и т.д. Всего 24 ректора из 1000.

Или можно предложить схему попроще. Всего имеется 24 одинаковых реакторов. Для каждого наблюдения выбираем случайным образом свой реактор.

Или еще проще: каждому из 24 измерений случайным образом (вне зависимости от уровня фактора) назначаем один из 4 одинаковых реакторов. Каждый реактор участвует в 6 измерениях.

Примечание : Т.к. не всегда представляется возможным иметь в распоряжении множество одинаковых экспериментальных устройств для проведения полностью рандомизированного эксперимента , то в статистике часто используются и другие формы проведения экспериментов, например, блочный рандомизированный эксперимент ( randomized block design ).

21.10 Заключение

Мы разобрали много разных вариантов дисперсионного анализа. Зачем так много? ANOVA — один из самых распространенных методов как в психологии, так и во многих других областях. Естественно, это отнюдь не все методы, используемые в той же психологии. Более того, некоторые вопросы остались за бортом. Постараюсь коротко их перечислить:

многомерный ANOVA (Multivariate ANalysis Of Variance; MANOVA) — расширение ANOVA для ситуации нескольких зависимых переменных

Это довольно редкая разновидность ANOVA, который берет во внимание ковариации между зависимыми переменными.
тестирование сферичности для дисперсионного анализа с повторноми измерениями с помощью теста сферичности Моучли (Mauchly’s sphericity test). Этот тест проверяет использует матрицу ковариаций разниц каждого условия с каждым: дисперсии разниц между условиями должны быть примерно одинаковыми

Если нулевая гипотеза о сферичности может быть отброшена (p-value

В тексте это будет выглядеть это будет вот так:

Dietf: F(2, 73) = 5.38, p = .007, $\eta^2_p$ = .13

Еще есть пакеты и , которые могут даже сразу делать весь документ в APA-формате! Если же Вы описываете результаты самостоятельно вручную, то нужно помнить: ни в коем случае не описывайте только p-value. Обязательно прописывайте значение $F$ и степени свободы, желательно с размером эффекта. Для post-hoc теста часто репортятся только p-value (зачастую только для статистически значимых сравнений), но обязательно нужно прописывать какие именно post-hoc тесты проводились, какой показатель размера эффекта использовался (если использовался), применялись ли тест сферичности Моучли вместе с поправками Гринхауса-Гейсера для дисперсионного анализа с повторными измерениями.

Модели со смешанными эффектами (mixed-effects models) / иерархическая регрессия (hierarchical regression) / многоуровневое моделирование (multilevel modelling). очень популярный нынче метод, которому повезло иметь много названий — в зависимости от области, в которой он используется. В экспериментальной психологии обычно он называется “модели со смешанными эффектами” и позволяет включать в линейную регрессию не только фиксированные эффекты (fixed effects), но и случайные эффекты (random effects). Для экспериментальной психологии это интересно тем, что в таких моделях можно не усреднять показатели по испытуемым, а учитывать влияние группирующей переменной “испытуемый” как случайный эффект. Подобные модели используются в самых разных областях. Для их использования в R есть два известных пакета: nlme и lme4.

Таблица ANOVA	Степени свободы	Суммы квадратов	Средние квадраты	F-статистика
Межгрупповые	\(df_{b}\)	\(SS_{b}\)	\(MS_{b} =\frac{SS_{b}}{df_{b}}\)	\(F=\frac{MS_{b}}{MS_{w}}\)
Внутригрупповые	\(df_{w}\)	\(SS_{w}\)	\(MS_{w} =\frac{SS_{w}}{df_{w}}\)
Общие	\(df_{t}\)	\(SS_{t}= SS_{b} + SS_{w}\)

Таблица ANOVA	Степени свободы	Суммы квадратов	Средние квадраты	F-статистика
Между	\(df_{b}=J-1\)	\(SS_{b}= \sum\limits_{j=1}^J \sum\limits_{i=1}^{n_j} (\overline{x_j}-\overline{x})^2\)	\(MS_{b} =\frac{SS_{b}}{df_{b}}\)	\(F=\frac{MS_{b}}{MS_{w}}\)
Внутри	\(df_{w}=N-J\)	\(SS_{w}= \sum\limits_{j=1}^J \sum\limits_{i=1}^{n_j} (x_{ij}-\overline{x_j})^2\)	\(MS_{w} =\frac{SS_{w}}{df_{w}}\)
Общие	\(df_{t}=N-1\)	\(SS_{t}= \sum\limits_{j=1}^J \sum\limits_{i=1}^{n_j} (x_{ij}-\overline{x})^2\)