Что такое p-value простыми словами: объясняем на монетке и А/Б-тесте
Представьте, что вы поменяли что-то на сайте — например, цвет кнопки «Купить» — и средний чек вырос на 6%. Вроде бы победа: раскатываем на всех, идём за премией. Но тут приходит аналитик и говорит: «Погоди, это может быть просто случайность». И показывает загадочное число — p-value = 0,17. Что это за зверь и почему из-за него отменяют праздник — давайте разберёмся.
Почему цифры в А/Б-тесте врут: всё дело в случайности
Вот главная беда любого эксперимента: цифры прыгают сами по себе, даже когда ничего не происходит.
Подбросьте монетку 10 раз. Честная монета должна давать 5 орлов и 5 решек, так? А теперь попробуйте на практике — легко выпадет 7 орлов и 3 решки. Или 4 и 6. Монета честная, но результат каждый раз чуть-чуть разный. Это и есть случайность.
Ровно то же самое творится в А/Б-тестах. Вы показываете одной группе пользователей старую версию сайта, другой — новую. Даже если версии абсолютно одинаковые, средние чеки в двух группах всё равно не совпадут копейка в копейку. Просто потому, что люди разные: кто-то в этот день купил телевизор, кто-то — пачку жвачки.
И вот тут возникает вопрос на миллион: разница в 6% — это потому что новая кнопка правда работает? Или это та самая случайность, «7 орлов вместо 5»?
Что такое p-value и на какой вопрос оно отвечает
P-value (читается «пи-вэлью», по-русски — «пи-значение») — это способ измерить, насколько удивительны ваши цифры, если на самом деле никакого эффекта нет.
Работает он через здоровый скептицизм. Прежде чем радоваться, статистика делает вид, что не верит вам, и говорит:
«Допустим, твоя новая кнопка — пустышка. Ничего она не меняет. А разница в 6% — просто случайность, как лишние орлы у монетки. Ну-ка, посмотрим, часто ли такая случайность вообще бывает».
И считает вероятность. Это и есть p-value:
- P-value маленькое (например, 0,01) → «Такую разницу случайно получить почти невозможно. Похоже, кнопка правда работает».
- P-value большое (например, 0,17) → «Да такую разницу и по чистой случайности легко получить. Нет повода думать, что дело в кнопке».
Проще говоря: p-value = 0,17 означает, что даже у двух одинаковых версий сайта разница в 6% (или больше) выскочила бы примерно в 17 случаях из 100 просто по воле случая. Семнадцать из ста — это довольно часто. Поэтому радоваться рано.
Порог 0,05: когда результат считается статистически значимым
Раз p-value — это вероятность «нарваться на случайность», надо решить: с какого момента мы всё-таки верим, что эффект настоящий?
По негласному договору во всём мире эту черту провели на 0,05 (то есть 5%).
- P-value меньше 0,05 → результат называют «статистически значимым». Верим, что эффект есть.
- P-value больше 0,05 → «незначимо». Не верим — точнее, не хватает доказательств.
Важно понимать: 0,05 — это не закон природы, а просто договорённость, как договорились ездить по правой стороне дороги. Кто-то использует более строгий порог 0,01, кто-то — свои значения. Но 0,05 — самый ходовой.
В нашем примере p-value = 0,17. Это заметно больше 0,05, поэтому вывод такой: рост чека на 6% статистически не доказан. Может, эффект и есть, но с этими данными отличить его от случайности мы не можем.
Зачем вообще нужно p-value: защита от дорогих ошибок
Легко махнуть рукой: «Да ладно, чек же вырос, чего вы придираетесь». Но представьте, что вы раскатали новую кнопку на всех, потратили деньги на разработку, отчитались начальству о победе — а на следующий месяц чек вернулся на место. Потому что роста и не было, была случайность. Неловко.
P-value — это как раз тот друг, который останавливает вас на пороге со словами: «Ты уверен, что это точно сработало, а не просто повезло в этот раз?»
Коротко: главное о p-value за один абзац
P-value — это оценка того, насколько ваши цифры похожи на случайность. Маленькое (меньше 0,05) — «случайностью не объяснить, эффект скорее всего настоящий». Большое (как 0,17) — «такое запросто бывает и само по себе, доказательств нет».
Проще говоря: p-value — это встроенный детектор везения. Он не говорит вам, работает ли ваша идея. Он говорит другое, но не менее важное: можно ли вообще доверять цифрам, которые вы видите, или вы просто поймали удачный расклад монетки.
Комментарии 1