Как проводить A/B-тесты в медийной рекламе и оценивать их результаты

Что не стоит сравнивать

Некоторые параметры не подходят для тестирования, так как изначально создают разные условия в кампаниях. Если использовать в эксперименте такие параметры, результаты будут нерепрезентативными. Вот несколько примеров.

Умные стратегии

Каждая из умных медийных стратегий ориентирована на определённый этап воронки и помогает решать конкретные задачи бизнеса. Поэтому кампании, в которых используются разные стратегии, сравнивать нельзя.

Рекламные форматы

Медийные форматы размещаются в разных рекламных средах, у них разная заметность, потенциальный охват и другие детали. Поэтому сравнивать форматы в рамках A/B-теста некорректно. На результаты будет влиять сразу множество факторов.

Как запустить A/B-тест медийных кампаний в Директе

Запуску эксперимента в Директе предшествуют несколько важных подготовительных шагов. От выбора показателей для сравнения и оценки объёма аудитории до создания кампании и подключения исследований. Только когда они пройдены успешно, можно запускать A/B-эксперимент в разделе «Библиотека». Разберём подробно каждый этап.

1. Определите параметр сравнения

Первый шаг — выбор объекта для эксперимента. Вы можете оценить влияние креативов на ключевые метрики, сравнить аудиторию из нескольких сегментов или эффект от разной частоты показов.

2. Оцените объём аудитории

Убедитесь, что аудитории достаточно для проведения эксперимента.

Не используйте слишком узкие сегменты. Кампаниям необходимо обеспечить достаточный объём показов и данных для исследований, иначе получить достоверные результаты не получится. Подробнее об исследованиях читайте в Справке.

3. Создайте кампании

Запустите две новые кампании с идентичными настройками. Их единственным отличием должен быть параметр, по которому вы и будете сопоставлять эти кампании.

Например, если хотите сравнить эффективность разных креативов, настройки аудитории, стратегии, частота показов должны совпадать.

4. Подключите одинаковые исследования

В обеих кампаниях должны быть подключены все доступные исследования, которые понадобятся для последующего сравнения. Настройте их одинаково. Это важно, чтобы после завершения кампании данные в отчётах были сопоставимы.

Также учитывайте рекомендации в исследованиях по необходимому объёму показов — это поможет получить статистически значимые результаты.

5. Добавьте кампании в эксперимент

В «A/B-экспериментах» выберите две созданные кампании.

В параметрах эксперимента в качестве основной метрики установите количество показов. Это поможет выравнять объём показов в двух группах.

Если выбрать другую основную метрику, условия размещения и объём показов в группах будут различаться, что осложнит сравнение медийных кампаний.

6. Заложите достаточно времени

Минимальная рекомендуемая продолжительность эксперимента — 14 дней.

Если задача и объём аудитории позволяют, тест лучше планировать на период от 30 дней. Чем больше данных успеют собрать исследования, тем выше вероятность получить статистически значимый результат.

Как оценивать результаты эксперимента

Хотя в рамках исследования кампании сравниваются по конкретному критерию, нельзя оценивать результат всего по одному показателю или просто посчитать количество прямых конверсий. Для полной картины необходимо смотреть сразу на несколько групп метрик и исследований.

Взаимодействия с рекламой

Для оценки непосредственного контакта с креативом используйте метрики CTR и VTR. CTR поможет понять, насколько креатив вызывает у аудитории желание кликнуть. А VTR — оценить, насколько ролик интересен пользователям, готовы ли они его досмотреть.

Поведение пользователей на сайте

После контакта с рекламой оцените количество визитов, глубину просмотра и долю отказов. Это позволит увидеть, различается ли поведение пользователей, пришедших после взаимодействия с разными вариантами рекламы.

Результаты исследований

Исследования — один из ключевых инструментов оценки эффективности медийных кампаний. Они помогают отследить эффект от рекламы, который невозможно оценить только по кликам и прямым действиям на сайте, и подвести итоги эксперимента.

Почему A/B-тесты важно проводить регулярно

Поведение аудитории меняется в течение года: на него влияют сезонность, спрос, конкурентная среда и маркетинговая активность других компаний. Креатив или частота, которые хорошо работают в один период, в следующем сезоне могут показать другой результат.

Поэтому A/B-тестирование стоит использовать не как разовую проверку, а как регулярный инструмент оптимизации медийной рекламы.

Кратко об A/B-тестах в медийной рекламе

• A/B-тест помогает определить, какой креатив, рекламный посыл, сегмент аудитории или частота контакта работают эффективнее.
• Для корректного эксперимента меняйте только один параметр за раз, создавайте кампании с одинаковыми настройками и используйте большие сегменты аудитории.
• В качестве основной метрики эксперимента для медийных кампаний выбирайте количество показов, а сам тест проводите минимум 14 дней. Если есть возможность, закладывайте около месяца.
• При оценке результата смотрите не только на CTR или VTR, но и на поведение аудитории после контакта с рекламой, стоимость показов и результаты исследований.
• И главное — повторяйте эксперименты регулярно. Чем больше гипотез проверено, тем проще находить более эффективные способы взаимодействия с аудиторией.

Дополнительные материалы