Uplift в маркетинге: кому скидка нужна, а кому нет

Вы разослали скидку 10% на 100 000 клиентов. Купили 5 000. Конверсия 5%, отчёт красивый.

Вопрос, который никто не задал: сколько из этих пяти тысяч купили бы и без скидки?

Что такое uplift в маркетинге

Uplift — по-английски «подъём». В маркетинге так называют прирост результата, который дало именно воздействие: письмо, скидка, звонок, баннер. Не «сколько купили после рассылки», а «на сколько больше купили из-за рассылки».

Меряют его одним способом: сравнивают с теми, кого не трогали. Придержали 10% базы без письма. У получивших письмо конверсия 5%, у контрольной группы — 4%. Uplift — один процентный пункт. Из пяти тысяч покупок письму по-честному принадлежит тысяча. Остальные четыре тысячи вы отдали со скидкой людям, которые несли деньги сами.

Uplift и инкрементальность

В статье про атрибуцию я предлагал выучить слово «инкрементальность» — сколько продаж не случилось бы без канала. Uplift — это то же самое, только с другого конца.

Инкрементальность — вопрос про канал или кампанию целиком: окупается ли рассылка, нужен ли нам брендовый поиск.

Uplift — тот же вопрос, опущенный до отдельного человека или сегмента: кому эта рассылка что-то меняет, а кому нет.

Слова часто используют как синонимы, и это почти не ошибка. Uplift кампании в целом и есть её инкрементальный эффект. Разница в том, что с uplift обычно начинают следующий шаг — не просто измерить прирост, а решать, кого трогать.

Четыре типа клиентов в uplift-моделировании

Если посмотреть на клиентов через uplift, база делится на четыре группы:

• Persuadables (уговариваемые). Без скидки не купят, со скидкой купят. Ради них всё и затевалось.
• Sure Things (верняки). Купят в любом случае. Скидка им — подарок из вашей маржи.
• Lost Causes (безнадёжные). Не купят ни со скидкой, ни без. Письмо — деньги в пустоту.
• Sleeping Dogs (спящие собаки — те, которых лучше не будить). Трогать их вредно: после письма они уходят. Напоминание о вас заставляет вспомнить, что подписка до сих пор списывается, и отменить её.

Обычная модель отклика ищет тех, кто вероятнее всего купит. И находит Sure Things. Кампания показывает отличную конверсию и при этом почти ничего не добавляет к выручке — а иногда и отнимает.

Uplift-подход ищет Persuadables. Конверсия у такой кампании может выйти ниже, зато вся она — ваша.

Как категории получаются из эксперимента

Тут есть подвох. Категорию конкретного человека увидеть нельзя.

Марина получила письмо и купила. Она Persuadable или Sure Thing? Чтобы знать наверняка, нужно отмотать время назад и посмотреть, купила бы она без письма. Отмотать нельзя: каждый клиент живёт только в одной из двух версий — с письмом или без.

Поэтому категории ищут не у людей, а у похожих людей. Схема такая:

1. Случайно делите базу на тестовую группу (получает письмо) и контрольную (не получает). Именно случайно, монеткой. Если в контроль попадут «те, кому неудобно слать», сравнение сломается ещё до начала.
2. Проводите кампанию и ждёте результата.
3. Режете обе группы на сегменты по тому, что знаете о клиентах: давность последней покупки, средний чек, открывает ли письма.
4. В каждом сегменте сравниваете конверсию теста и контроля.

Разница между колонками — uplift сегмента. Большой плюс — там живут Persuadables. Ноль при высокой конверсии — Sure Things. Ноль при нулевой — Lost Causes. Минус — Sleeping Dogs.

Категория — это не ярлык на человеке, а оценка: «среди людей с такими признаками письмо в среднем помогает». Внутри сегмента все четыре типа перемешаны, просто в разных пропорциях.

Подходы к расчёту uplift-категорий

Ручные сегменты работают, пока признаков три-четыре. Когда их сотни, за дело берутся модели. Цель у всех одна — оценить для каждого клиента, насколько воздействие меняет его поведение. Подходы отличаются тем, как именно.

Ручная сегментация. То, что в таблице выше. Прозрачно, считается в Excel, понятно руководителю. Хватает для большинства магазинов. Ограничение — сегменты придумывает человек, и важные сочетания признаков легко пропустить.

Две модели (в литературе — T-learner). Одну модель учат предсказывать покупку на тестовой группе, вторую — на контрольной. Для каждого клиента спрашивают обе: «купит с письмом?» и «купит без письма?». Разница ответов — его uplift. Просто и понятно, но ошибки двух моделей складываются, и слабый эффект тонет в шуме.

Одна модель с флагом воздействия (S-learner). Модель одна, а «получил письмо» — просто ещё один признак клиента. Потом для каждого человека прогоняют прогноз дважды: с флагом «да» и с флагом «нет». Экономнее по данным, но модель может решить, что флаг неважен, и тогда uplift у всех выйдет около нуля.

Трансформация классов. Хитрый трюк: тест и контроль склеивают в одну задачу. «Хорошими» считаются те, кто получил письмо и купил, и те, кто не получил и не купил. Модель учится находить таких — и заодно находит Persuadables. Работает с любым обычным классификатором, но требует, чтобы тест и контроль были примерно равны по размеру.

Uplift-деревья и леса. Обычное дерево решений делит клиентов так, чтобы отделить покупателей от непокупателей. Uplift-дерево делит так, чтобы разница между тестом и контролем в получившихся группах была как можно больше. По сути, это автоматическая версия ручной сегментации: дерево само ищет сегменты из таблицы выше.

Готовые реализации есть в открытых библиотеках — например, scikit-uplift и CausalML .

Как понять, что модель не врёт. Проверить uplift на одном человеке нельзя — по той же причине, по которой нельзя увидеть его категорию. Проверяют на группах: сортируют клиентов по предсказанному uplift и смотрят, правда ли у верхних 10% разница между тестом и контролем больше, чем у нижних. Для этого строят Qini-кривую или uplift-кривую. Если верх и низ не отличаются, модель угадывает, а не считает.

И главное условие для всех подходов: без случайной контрольной группы ни один из них не работает. Модель, обученная на данных, где письма слали «по усмотрению менеджера», выучит усмотрение менеджера, а не эффект письма.

Чем uplift не является

Это не атрибуция. Атрибуция делит уже случившиеся продажи между каналами и всегда выдаёт 100%. Uplift отвечает, что бы произошло без воздействия, — и ответ бывает нулевым или отрицательным.

Это не removal effect из цепей Маркова . Там вопрос правильный, но ответ считается в симуляции по наблюдениям. Uplift без контрольной группы не существует: нет тех, кого не трогали, — нет и прироста, есть только догадка.

Что делать

В любой массовой коммуникации оставляйте контрольную группу. Пять-десять процентов базы, которые ничего не получают. Это стоит немного недополученных продаж и один неприятный разговор, когда окажется, что половина «конверсии» случилась бы и так.

Зато потом вы знаете, за что платите.