Что такое нулевая гипотеза простыми словами: с чего начинается любой А/Б-тест

Когда я разбирал p-value , мощность теста и ошибки аналитиков, всюду мелькала фраза «если эффекта нет». «Если новая кнопка ничего не меняет, как часто выскакивала бы такая разница». Это не оговорка. На этом предположении стоит вся классическая статистика. Оно называется нулевая гипотеза. Разберу, что это и почему без неё не работает ни один тест.

Нулевая гипотеза — это презумпция невиновности для эксперимента

Понять нулевую гипотезу помогает суд.

В суде действует презумпция невиновности: пока не доказано обратное, человек невиновен. Обвинение приносит факты и доказывает вину. Не хватило доказательств — оправдан.

В статистике логика та же. Прежде чем поверить, что новая кнопка работает, статистика по умолчанию занимает скептическую позицию:

«Кнопка ничего не меняет. Эффекта нет. Пока не докажешь — не поверю».

Это скептическое «эффекта нет» и есть нулевая гипотеза. Обозначают её H₀ — «аш-ноль». Она верна по умолчанию, а задача эксперимента — собрать доказательства, чтобы её опровергнуть.

Запомнить легко по мнемонике: нулевая гипотеза = эффекта ноль.

Нулевая и альтернативная гипотеза: чем они отличаются

У теста две гипотезы, и они ходят парой.

• Нулевая гипотеза (H₀) — «ничего не происходит». Средние в группах равны, новая версия не отличается от старой. Позиция скептика.
• Альтернативная гипотеза (H₁) — «а вот и происходит». Разница есть, новая версия работает иначе. Это то, что вы хотите доказать.

Пример. Вы тестируете новую форму подписки.

• H₀: «Новая форма даёт такую же конверсию, как старая. Разницы нет».
• H₁: «Новая форма даёт другую конверсию. Разница есть».

Статистика не доказывает H₁ напрямую. Она проверяет H₀. Если данные сильно противоречат «эффекта нет», H₀ отвергают — и тогда верят в H₁.

Как нулевая гипотеза связана с p-value

P-value отвечает на вопрос: как часто такие данные встречались бы, если бы эффекта не было. Это «если бы эффекта не было» — и есть нулевая гипотеза.

Цепочка проверки:

1. Принимаем нулевую гипотезу: «эффекта нет, разница случайна».
2. Считаем p-value: насколько вероятно получить такие данные, если H₀ верна.
3. Сравниваем с порогом 0,05:
   • p-value маленькое → данные слишком странные для мира без эффекта → отвергаем H₀, верим в эффект;
   • p-value большое → данные вписываются в H₀ → не отвергаем H₀, доказательств не хватило.

P-value — это мера доказательств против нулевой гипотезы.

Почему нулевую гипотезу нельзя доказать, а можно только отвергнуть

Тест умеет отвергать H₀ или не отвергать её. «Не отвергли» — это не «доказали, что H₀ верна».

Оправдательный приговор не означает «стопроцентно невиновен». Он означает «вины не доказали». Может, человек чист, а может, улик не хватило.

Так и с тестом: большое p-value не доказывает, что эффекта нет. Оно говорит, что доказательств против H₀ я не набрал. Отсутствие доказательств — не доказательство отсутствия.

Коротко: что такое нулевая гипотеза и зачем она нужна

• Нулевая гипотеза (H₀) — предположение «эффекта нет, разница случайна». Верна по умолчанию, пока не доказано обратное. Мнемоника: нулевая гипотеза = эффекта ноль.
• Альтернативная гипотеза (H₁) — то, что вы хотите доказать: «эффект есть».
• Тест отвергает H₀ или не отвергает, но не доказывает её.
• P-value — мера того, насколько данные противоречат нулевой гипотезе.

Нулевая гипотеза — это скептик по умолчанию, которого эксперимент пытается переубедить. Понимаете её — и весь цикл про p-value и мощность складывается в единую картину.

Ссылки, подобранные вручную

• Что такое p-value простыми словами — с чего начать, если термин видите впервые.
• Три ошибки в понимании p-value — как не сделать неверных выводов из результатов теста.
• Пересечение доверительных интервалов (распределений) - еще одна метрика для оценки АБ
• «Классический калькулятов А/Б тестов»