Калькулятор размера выборки для A/Б-теста
Введите текущую конверсию, рост, который хотите поймать, и сколько посетителей в день пойдёт в тест. Калькулятор посчитает, сколько людей нужно в каждую группу и сколько дней гонять тест, чтобы эффект такого размера стал значимым.
Как это читать
Минимальный рост (MDE, minimum detectable effect — минимальный обнаруживаемый эффект) — самое маленькое улучшение, которое тест должен уверенно заметить. Здесь он задаётся в процентах от текущей конверсии: рост на 10% при конверсии 5% значит, что B должен дать 5,5%. Всё, что меньше, тест может и пропустить.
Мощность — вероятность, что тест заметит эффект, если он действительно есть. При 80% настоящий рост нужного размера покажется в восьми тестах из десяти, а в двух потеряется в шуме. Выше мощность — больше людей.
Уровень доверия и гипотеза — те же, что в классическом калькуляторе. Ставьте там потом ровно такие же, иначе расчёт выборки и проверка результата будут говорить о разных вещах.
Эффект в формуле стоит в квадрате: чтобы поймать вдвое меньший рост, людей нужно примерно вчетверо больше. Поэтому таблица под результатом так быстро уходит в месяцы. Если для вашего трафика выходит год, тест лучше не запускать, а придумать изменение посмелее.
Дни округляются до целых недель: в будни и выходные люди покупают по-разному, и тест из десяти дней перекосит в сторону тех дней недели, что попали в него дважды. И гоняйте тест до конца срока, не останавливая его при первой «значимости».