Пересечение доверительных интервалов простыми словами: когда разница между группами настоящая

В отчёте по А/Б-тесту рядом с p-value часто стоит ещё одна загадочная колонка — «пересечение доверительных интервалов, %».

У меня в данных там было 51,57%. Цифра пугает загадочностью, а на деле читается просто и помогает быстро понять, есть между группами разница или нет. Разберу по порядку: сначала сам доверительный интервал, потом его пересечение.

Что такое доверительный интервал простыми словами

Средний чек в тесте — 13 897 рублей. Это точное число. Но оно посчитано по выборке, а выборка — только кусок всех пользователей. Позови я других людей — среднее вышло бы чуть другим. Поэтому одно точное число врёт: оно создаёт иллюзию, будто я знаю среднее до рубля.

Честнее назвать не точку, а диапазон. Не «средний чек 13 897», а «средний чек где-то от 13 400 до 14 400». Этот диапазон правдоподобных значений и есть доверительный интервал.

Знакомая аналогия — соцопросы перед выборами. Там не говорят «кандидат наберёт ровно 45%». Там говорят «45% плюс-минус 3%», то есть от 42% до 48%. Вот эти «плюс-минус 3%» и есть доверительный интервал: диапазон, куда с большой вероятностью попадает истинное значение.

Стандартная надёжность интервала — 95%. Чем меньше выборка и чем сильнее разброс в данных, тем шире интервал: мало данных — больше неопределённость — шире вилка.

Что значит пересечение доверительных интервалов

В А/Б-тесте два интервала: у контрольной группы свой, у тестовой свой. Дальше я смотрю, накладываются они друг на друга или расходятся.

• Интервалы не пересекаются. Диапазоны нигде не совпадают. Значит, группы отличаются по-настоящему — разницу не спишешь на случайность.
• Интервалы пересекаются. Диапазоны накладываются: истинное среднее у обеих групп может лежать в общей зоне. Значит, я не могу утверждать, что группы разные.

Вернусь к выборам. Кандидат А — 45% ± 3% (42–48%), кандидат Б — 43% ± 3% (40–46%). Диапазоны пересекаются в зоне 42–46%. Отсюда фраза журналистов «статистическая ничья»: формально у А больше, но разрыв внутри погрешности, и кто победит — непонятно.

Как читать процент пересечения

Колонка в отчёте показывает, насколько сильно интервалы накладываются друг на друга.

1. Пересечение около нуля. Интервалы едва соприкасаются или разошлись. Сильный сигнал: разница между группами реальна.
2. Пересечение большое (как мои 51,57%). Интервалы наложились почти наполовину. Разницу между группами доказать не удаётся — среднее могло сдвинуться по случайности.

Чем меньше пересечение, тем правдоподобнее разница. Мнемоника: разошлись — разница есть, пересеклись — разницы не видно.

Как пересечение интервалов связано с p-value

Пересечение доверительных интервалов и p-value — два взгляда на одну и ту же неопределённость.

• p-value отвечает числом: как часто такая разница выскочила бы, если бы эффекта не было.
• пересечение интервалов показывает то же самое картинкой: накладываются диапазоны или расходятся.

В моих данных оба сигнала совпали. P-value = 0,17 — выше порога 0,05, разница незначима. Пересечение = 51,57% — интервалы наложились наполовину. Обе метрики говорят одно: рост среднего чека на 6% пока не доказан. Так и должно быть — они меряют одну неопределённость с разных сторон.

Почему пересечение интервалов — грубая прикидка, а не точный тест

Здесь легко наделать выводов сверх меры. Правило «пересекаются — значит незначимо» работает только в одну сторону надёжно.

• Интервалы не пересекаются → разница точно значима. Это правда всегда.
• Интервалы пересекаются → разница может быть и значимой, и нет. Небольшое пересечение иногда совпадает с p-value ниже 0,05.

Поэтому пересечение интервалов — быстрый способ оценить результат на глаз, а не замена статистическому тесту. Увидели большое пересечение, как мои 51% — вывод «разницы не видно» надёжен. Увидели маленькое — не спешите, сверьтесь с p-value.

Коротко: что такое пересечение доверительных интервалов

• Доверительный интервал — диапазон правдоподобных значений метрики, а не одно точное число. Стандартная надёжность — 95%.
• Пересечение интервалов контрольной и тестовой групп показывает, отличаются ли они. Разошлись — разница есть, пересеклись — разницы не видно.
• Процент пересечения: около нуля — разница реальна; большой (мои 51,57%) — доказать разницу не выходит.
• Пересечение интервалов и p-value меряют одну неопределённость с разных сторон и обычно дают одинаковый вывод.
• Непересечение доказывает значимость всегда, а пересечение — лишь повод свериться с p-value.

Пересечение доверительных интервалов — это способ увидеть неопределённость глазами: два диапазона либо расходятся, либо накладываются. Наложились наполовину — значит, группы пока неотличимы.

Ссылки, подобранные вручную

• Что такое p-value простыми словами — вторая метрика из того же отчёта.
• Три ошибки в понимании p-value, из-за которых принимают неверные решения — ментальные ловушки в интерпретации p-value