Односторонние и двусторонние гипотезы в A/B-тесте: разбор простыми словами
Вы запускаете A/B-тест и выбираете гипотезу. Тут два варианта: односторонняя и двусторонняя. Выбор влияет на размер выборки и на то, какие эффекты тест вообще заметит. Разберём без формул.
Что проверяет тест
В A/B-тесте всегда есть две гипотезы.
Нулевая (H₀): разницы между вариантами нет.
Альтернативная (H₁): разница есть.
Тест решает, отвергнуть нулевую гипотезу или нет. Разница между односторонним и двусторонним подходом — в том, как сформулирована альтернативная.
Двусторонняя гипотеза
Вы проверяете, есть ли разница вообще — в любую сторону.
- H₀: конверсия A = конверсия B.
- H₁: конверсия A ≠ конверсия B.
Тест ловит оба исхода: и когда B лучше, и когда B хуже. Уровень значимости делится на два хвоста распределения.
Пример. Вы поменяли кнопку заказа и хотите знать любой результат: стало лучше или стало хуже. Берёте двустороннюю гипотезу.
Односторонняя гипотеза
Вы заранее фиксируете направление и проверяете только его.
- H₀: конверсия B ≤ конверсия A.
- H₁: конверсия B > конверсия A.
Тест ловит только улучшение. Ухудшение он не заметит — он на это не рассчитан.
В чём разница на практике
При одном и том же уровне значимости односторонний тест чувствительнее. Порог ниже, поэтому нужный эффект найти легче, а выборка нужна меньше.
За это платят слепотой к обратному эффекту. Если новая кнопка обвалила конверсию, односторонний тест этого не покажет.
Что выбрать
По умолчанию берите двустороннюю гипотезу. В большинстве продуктовых тестов ухудшение критично: если новая версия сделала хуже, вы захотите её откатить. Двусторонний тест это увидит.
Односторонняя гипотеза уместна в двух случаях сразу:
- Обратный эффект вам не важен для решения.
- Направление зафиксировано до старта теста, а не подогнано под данные.
Подгонять направление задним числом нельзя. Это раздувает ложные срабатывания: вы подстраиваете гипотезу под то, что уже увидели.
Коротко
Двусторонняя гипотеза проверяет разницу в любую сторону. Односторонняя — только в заданную. Двусторонняя безопаснее и берётся по умолчанию. Односторонняя чувствительнее, но применяется осознанно и только с заранее выбранным направлением.
Комментарии
Пока никто не высказался. Будьте первым.