Коротко о главном
Рекламный кабинет показывает результаты по правилам атрибуции, но бизнесу важно понять, сколько продаж добавилось благодаря расходам. Эти вопросы связаны, однако не совпадают. Проверка дополнительного эффекта требует сравнения с тем, что могло бы произойти без изменения рекламы.
- Рост после запуска ещё не доказывает эффект рекламы.
- Контроль должен быть сопоставим с тестом.
- Оценивайте дополнительный доход вместе с расходами.
1. Сформулируйте изменение
Выберите конкретное вмешательство: запуск рекламы для определённой группы товаров, увеличение бюджета или подключение нового источника. Нельзя проверить «всю маркетинговую стратегию» одним сравнением двух недель. Опишите, какие настройки меняются, что остаётся стабильным и какой результат считаете полезным для бизнеса.
Определите единицу наблюдения: товар, группа товаров, регион или период. Выбор зависит от доступного управления рекламой и качества данных. Не заявляйте случайное распределение, если группы подобраны вручную. В таком случае это сравнительный тест с ограничениями, а не полноценный рандомизированный эксперимент.
2. Подберите контроль
Контрольная группа должна иметь похожую исходную динамику, сезонность, цену и доступность. Два случайных артикула одного продавца редко подходят автоматически. Сравните несколько периодов до изменения: растут ли их продажи вместе, одинаково ли они реагируют на выходные и акции, нет ли разных проблем с остатками.
Проверьте возможность перетока покупателей. Если рекламируемый товар заменяет контрольный, падение контроля увеличит кажущийся эффект. Склейки, общие акции и продвижение бренда также могут связывать группы. При сильном взаимном влиянии лучше изменить дизайн проверки или честно ограничить силу вывода.
3. Рассчитайте условный результат
До запуска тестовая группа продавала 100 единиц за период, после — 140. Контрольная выросла со 100 до 120 без рекламного изменения. Простое сравнение даёт тесту плюс 40 единиц, но общий рост спроса объясняет часть результата. Разность изменений составляет 20 единиц: (140 − 100) − (120 − 100).
Это учебный пример метода, а не гарантированная оценка причинного эффекта. Он предполагает, что без вмешательства динамика групп оставалась бы сопоставимой. Если параллельность нарушилась из-за поставки, акции или изменения конкуренции, арифметика остаётся верной, но экономическое толкование становится ненадёжным.
| Группа | До | После | Изменение |
|---|---|---|---|
| Тест | 100 | 140 | +40 |
| Контроль | 100 | 120 | +20 |
| Разность изменений | — | — | +20 |
4. Переведите эффект в деньги
Предположим, вклад дополнительной завершённой продажи до рекламы равен 350 ₽, а дополнительный расход составил 6 000 ₽. Оценка двадцати дополнительных продаж даёт 7 000 ₽ вклада и 1 000 ₽ после рекламного расхода. Не подменяйте этот расчёт оборотом всех заказов, приписанных кабинетом.
Учитывайте неопределённость количества дополнительных продаж. При десяти единицах вместо двадцати тот же расход уже не покрывается. Покажите чувствительность результата и отдельно стоимость подготовки теста, если она существенна. Собственнику нужен диапазон возможного решения, а не только наиболее приятное значение.
5. Следите за вмешивающимися событиями
В течение проверки фиксируйте цену, остатки, доставку, изменения карточки и внешние размещения. Если в тестовой группе исчез основной размер, рекламный эффект смешается с потерей доступности. При существенном событии отметьте период как нарушенный и заранее предусмотрите, как будете его анализировать.
Не выбирайте дату окончания после того, как график стал красивым. Срок и критерии завершения задаются до старта с учётом бизнес-цикла и доступного объёма данных. Ранний просмотр нужен для контроля расходов и технических ошибок, а не для постоянного поиска момента, когда можно объявить победу.
6. Оформите вывод с ограничениями
Итог содержит изменение, контроль, исходную динамику, расчёт дополнительного результата и события, которые могли повлиять на сравнение. Возможен вывод «эффект не удалось отделить от сезонности». Он полезнее необоснованного обещания повторить рост, потому что показывает, что нужно исправить в следующем тесте.
Проверьте перед масштабированием: группы сопоставимы; переток не доминирует; расходы посчитаны полностью; заказы дозрели; диапазон результата приемлем. Увеличивайте объём поэтапно и продолжайте наблюдение. Эффект небольшого теста может измениться при расширении аудитории, росте стоимости трафика и ограничениях поставок.
7. Когда контрольная группа не подходит
Представим, что тестовый товар относится к сезонному спросу, а контрольный покупают равномерно круглый год. Даже похожий уровень продаж до запуска не делает их хорошей парой. При наступлении сезона разность изменений припишет рекламе естественный рост категории. Поэтому важно сравнивать не только исходную сумму, но и механизм спроса.
Если подходящий контроль не найден, можно сузить вывод до наблюдаемой динамики и подготовить следующий дизайн проверки. Не следует называть обычное сравнение «до и после» измерением дополнительного эффекта. Оно помогает выдвинуть гипотезу, но не отделяет её от всех альтернативных причин.
В рабочем решении учитывайте цену ошибки. Для небольшого обратимого шага иногда достаточно направленного сигнала при жёстком лимите, а для крупного расширения закупки потребуется более убедительная проверка. Объясните этот компромисс собственнику: решение принимается при конкретной неопределённости и может быть пересмотрено после новых данных. Это честнее, чем придавать слабому сравнению вид окончательного доказательства.
Источники и методика
Источники ниже помогают проверить определения и возможности отчётов. Методика разбора и учебные расчёты подготовлены редакцией HelpStat. Доступность отчётов и условия работы проверяйте в своём кабинете. Расчётные примеры в статье — учебные, а не результаты клиентов.
