1. Сформулируйте гипотезу
«Если на странице программы показать состав курса до формы заявки, больше подходящих посетителей оставят заявку». Назовите аудиторию, изменение и ожидаемое действие. Не подменяйте действие просмотром страницы.
Тема · Проверка гипотез
Маркетинговые эксперименты: как проверить, что действительно увеличивает продажи
Эксперимент нужен не для красивой цифры «конверсия выросла». Он помогает решить, стоит ли менять оффер, страницу или процесс продаж. До запуска зафиксируйте гипотезу, одну главную метрику, способ сравнения и условие остановки. Если данных мало, не выдавайте колебание за доказанный эффект.
Когда эксперимент полезнее очередной переделки
Начните с наблюдаемой проблемы: например, заявок достаточно, но до оплаты доходит мало людей. Не тестируйте сразу и рекламу, и лендинг, и скрипт: тогда нельзя понять, какое изменение повлияло на результат. Сначала убедитесь, что события в аналитике и статусы в CRM описывают один и тот же путь человека.
Для диагностики самого пути начните с воронки продаж, а для связи результата с затратами, с маркетинговой аналитики.
Практический порядок A/B-теста
2. Выберите метрику заранее
Главная метрика, доля квалифицированных заявок или оплат, если объёма достаточно. Дополнительные защитные метрики, возвраты, стоимость привлечения и качество заявок. Зафиксируйте период измерения до просмотра результата.
3. Разделите аудиторию честно
Один человек должен видеть один вариант в течение теста. Сравнивайте варианты в одно и то же время, без выборочного перенаправления «дорогих» и «дешёвых» каналов. Учтите повторные визиты и разные устройства.
4. Решите, что считать выводом
До старта определите минимально полезный эффект и необходимый объём данных. Не останавливайте тест в день, когда вариант B впервые обогнал A. Если неопределённость велика, вывод, «данных недостаточно», а не «победы нет».
Учебный пример: заявок больше, а продаж, нет
Иллюстрация, не клиентский кейс. Вариант B дал больше отправок формы, но менеджеры отметили меньшую долю подходящих учеников. Если главная метрика была просто «любая заявка», тест мог подтолкнуть к убыточному решению. Пересчитайте долю квалифицированных заявок и стоимость одного оплатившего ученика; отдельно проверьте, не изменились ли источники трафика. Числа и результат в этом примере намеренно не заданы: их нельзя переносить на вашу школу.
Если трафика мало
Малой онлайн-школе не всегда доступен быстрый A/B-тест по оплатам: редкие покупки и длинный цикл сделки делают вывод медленным и шумным. Можно начать с проверки корректности воронки, интервью с недавними покупателями и отказавшимися, анализа записей разговоров с их согласия и ограниченного пилота. Эти методы помогают уточнить гипотезу, но не доказывают причинный эффект так же, как корректно проведённый эксперимент.
Пять ошибок, которые искажают результат
- Менять несколько элементов одновременно и приписывать эффект одному.
- Сравнивать разные недели без учёта сезонности и рекламных кампаний.
- Считать клики успехом, когда цель бизнеса, качественные заявки и оплаты.
- Останавливать тест после случайного всплеска.
- Публиковать процент роста без абсолютных чисел, периода и ограничений.
С чего начать в вашей школе
Выберите один переход воронки, где потери подтверждены данными, и запишите гипотезу в формате «изменение → ожидаемое действие → метрика». Если сначала нужно найти этот переход, начните с диагностики текущей ситуации.
Посмотреть маршрут для онлайн-школ →Продолжить разбор
Маркетинговая аналитика помогает определить измеримые результаты; все темы показывают соседние задачи; в блоге будут практические разборы отдельных вопросов.
Материал подготовлен Александром Кочетковым для владельцев действующих онлайн-школ. В примерах выше нет заявлений о результатах клиентов.