Ликбез
Сколько гонять А/Б-тест: считаем размер выборки и длительность на пальцах
Обычно про А/Б-тест спрашивают уже после финиша: тест прошёл, аналитик посчитал p-value = 0,17, праздник отменяется. Данные есть, вопрос один — можно …
ROAS и ДРР: одно число, разная психология
Допустим, у меня ларёк с шаурмой у метро. Чтобы про него узнали, я заказываю листовки, и раздача обходится в 2 000 рублей. За день продаю шаурмы на 10 …
Uplift в маркетинге: кому скидка нужна, а кому нет
Вы разослали скидку 10% на 100 000 клиентов. Купили 5 000. Конверсия 5%, отчёт красивый. Вопрос, который никто не задал: сколько из этих пяти тысяч …
Амортизация и EBITDA: как её считают и почему EBITDA её не учитывает
Амортизация — способ размазать стоимость купленного оборудования по годам его службы вместо того, чтобы списать всю покупку в месяц оплаты. EBITDA — …
Как отличить мошенника от настоящего посетителя (реферер и не только)
В прошлой статье мы построили турникет (редирект) и научились выдавать каждому посетителю уникальный билетик (ClickID). Это сильная защита. Но в самом …
Что такое Z-оценка: объяснение простыми словами
Вы получили число: рост 185 см, результат теста 92 балла, конверсия 4%. Само по себе оно ничего не говорит. Много это или мало — зависит от того, с …
Односторонние и двусторонние гипотезы в A/B-тесте: разбор простыми словами
Вы запускаете A/B-тест и выбираете гипотезу. Тут два варианта: односторонняя и двусторонняя. Выбор влияет на размер выборки и на то, какие эффекты …
Что такое нулевая гипотеза простыми словами: с чего начинается любой А/Б-тест
Когда я разбирал p-value , мощность теста и ошибки аналитиков, всюду мелькала фраза «если эффекта нет». «Если новая кнопка ничего не меняет, как часто …
Пересечение доверительных интервалов простыми словами: когда разница между группами настоящая
В отчёте по А/Б-тесту рядом с p-value часто стоит ещё одна загадочная колонка — «пересечение доверительных интервалов, %».
Три ошибки в понимании p-value, из-за которых принимают неверные решения
В первой части мы разобрались, что p-value — это детектор случайности: он подсказывает, можно ли доверять цифрам эксперимента или вы просто поймали …
