Что такое тестирование гипотез и как его проводить

Как находить важные для бизнеса гипотезы

Для начала нужно изучить путь клиента до покупки и найти узкие места в воронке продаж. Так вы сможете определить метрики, которые нуждаются в улучшении. Допустим, из статистики рекламной кампании видно, что объявления получают много показов, но пользователи редко кликают по ним. Это и есть место воронки, которое необходимо доработать.

Когда цель определена, формулируют гипотезу. Прежде всего, она должна отвечать следующим критериям:

Конкретная формулировка. Важно, чтобы тезис был чётким и не предполагал размытых ответов, а результат можно было измерить. Например:

• «Удобен ли сайт онлайн-магазина для пользователей» — неудачный вариант. Непонятно, какие данные нужно проверить, чтобы получить конкретный ответ.
• «Повысит ли яркая кнопка с призывом купить количество оформленных заказов» — подходящий вариант. Он включает конкретное изменение (добавление яркой кнопки) и измеримый результат (количество заказов).

Достижимая цель. Когда составляете гипотезу, учитывайте ресурсы, которые понадобятся для тестирования, — например, бюджет, время, навыки сотрудников, программное обеспечение.

Допустим, вы хотите проверить, увеличит ли скидка на первый заказ количество новых клиентов. Важно убедиться, что у вас есть бюджет на проведение акции, время на анализ результатов, а также доступ к метрикам, которые помогут отследить прирост заказов и оценить рентабельность.

Релевантность для компании. Другими словами, гипотеза должна соответствовать целям бизнеса на данный момент. Например, если на сайте недостаточно трафика, нет смысла дорабатывать сам ресурс — лучше сначала сформулировать гипотезы в области продвижения.

Какие существуют методы тестирования гипотез

Чтобы проверить гипотезы перед внедрением, проводят маркетинговые исследования: собирают и анализируют информацию о нише, клиентах и конкурентах. Существует несколько методов исследований, которые помогают проверить гипотезы, — рассмотрим их подробнее:

A/B-тест. Позволяет сравнить два варианта одного элемента (например, на сайте, в рекламной кампании или продукте) и выбрать самый подходящий. Таким элементом может быть кнопка, форма обратной связи, заголовок или текст объявления, часть дизайна упаковки и многое другое.

Допустим, нужно проверить, на какую кнопку «Заказать» будут чаще кликать посетители онлайн-магазина — красную или зелёную. Аудиторию теста делят на две половины, которым показывают разные варианты кнопки. По результатам теста можно сделать вывод, какой цвет кнопки положительно влияет на конверсию. Читайте подробнее о том, как провести A/B-тестирование.

ICE или RICE Score. Это метод приоритизации гипотез. Их ценность сравнивают с помощью числовой оценки по трём параметрам:

1. Impact (Влияние) — как сильно изменение повлияет на целевую метрику. Чем больше ожидаемый рост или снижение показателя, тем выше оценка влияния.
2. Confidence (Достоверность) — насколько можно быть уверенными, что желаемый результат возможно достичь. Учитываются, например, уже собранные данные, результаты экспериментов, опыт команды. Чем больше доказательств и меньше неопределённости, тем выше достоверность.
3. Effort (Усилия) — легко ли будет внедрить идею в бизнес. На этом этапе нужно оценить ресурсы, которые нужны для выполнения гипотезы. Например, сколько денег и времени уйдёт.

Метод RICE похож на ICE, но в нём есть ещё один критерий:

• Reach (Охват) — какое количество пользователей затронут изменения. Чем больше аудитория, на которую влияет нововведение, тем выше оценка охвата. Например, если изменить главную страницу сайта, скорее всего, охват будет выше, чем при обновлении конкретных разделов.

Каждый параметр нужно оценить в баллах — от одного до десяти. После этого цифры умножаются друг на друга. Гипотезы с самым большим количеством баллов имеют максимальный потенциал.

Фокус-группа. Метод проверки гипотез, который пришёл в маркетинг из социологии. Чтобы собрать данные, маркетологи проводят интервью с группой респондентов из числа целевой аудитории бизнеса.

Ответы помогают узнать, как потенциальные клиенты относятся к продуктам, услугам или бренду в целом. Например, компания хочет провести ребрендинг и определить наиболее подходящий логотип. Отзывы реальных людей помогут выбрать самый привлекательный вариант.

Проверка гипотез через фокус-группу подходит, если есть достаточно времени и ресурсов на организацию таких интервью и изучение ответов. Чаще всего этот метод используют, когда нужно вывести новый продукт и выделиться среди конкурентов.

Читайте подробнее о том, как проводить маркетинговые исследования.

Какие ошибки можно допустить при тестировании гипотез

Сравнивать несопоставимую информацию. Чтобы выбрать одну из гипотез, их нужно тестировать на похожей аудитории и в течение равных отрезков времени. Например, вы хотите проверить, какой формат заголовков в email-рассылке эффективнее — с вопросом или с призывом к действию. Если тестировать первый вариант на активных подписчиках, а второй — на аудитории, которая редко открывает письма, результаты будут несопоставимы из-за различий в сегментах.

Проверять больше одного критерия в A/B-тестировании. При изменении нескольких элементов одновременно сложно определить, какой именно повлиял на результат. Например, маркетологи хотят понять, какая посадочная страница удобнее — старая или новая. Если при этом изменяют не только цвет кнопки, но и её размер или шрифт, становится невозможно определить, какой фактор привёл к увеличению заказов. Лучше тестировать один элемент за раз.

Не учитывать влияния внешних факторов. Например, игнорировать сезонность или ситуацию на рынке в определённый момент. Это может привести к тому, что вы получите некорректные данные. Чтобы минимизировать такие погрешности, анализируйте результаты за более длительный период или учитывайте сезонные колебания.

Использовать недостаточно данных. Для достоверного тестирования гипотез важно правильно определить размер выборки, иначе результаты могут быть случайными и недостоверными. Чтобы определить, сколько респондентов понадобится вам для исследования, используйте калькуляторы выборки.

Что показывает анализ результатов

После тестирования станет ясно, какая гипотеза более эффективна — альтернативная или нулевая. Если оказывается, что изменения ни на что не влияют, нужно разобраться в причинах, провести работу над ошибками и запустить эксперимент заново.

Вот что можно сделать:

• Изменить формулировку. Возможно, изначально была выбрана некорректная метрика для анализа.
• Потратить на тестирование больше времени. Бывает, что сама гипотеза верна, но для доказательства нужно добавить ещё одну неделю или месяц.
• Собрать больше информации. К примеру, найти дополнительных респондентов для фокус-группы.

Какие существуют инструменты для тестирования гипотез

Эксперименты в Яндекс Директе. В сервисе можно проверить гипотезы в рекламе — например, сравнить кампании с разными посадочными страницами. Чтобы провести эксперимент, нужно выполнить несколько шагов:

1. Создайте две кампании для сравнения в личном кабинете Директа.
2. В меню слева выберите «Библиотека» → «А/В-эксперименты» → «Добавить».
3. Заполните все строки в блоке «Параметры».
4. Выберите кампании для контрольного и тестового вариантов.
5. Укажите процент выборки для каждого варианта.

Читайте в Справке подробнее о том, как проводить A/B-тестирования в Директе.

Varioqub. Инструмент подойдёт, если необходимо проверить гипотезы в продукте, например сравнить разные варианты лендингов.

В Varioqub можно проводить эксперименты с дизайном, текстом, рекламными блоками, стилями CSS и HTML-разметкой. Читайте подробнее о том, как создавать эксперименты в Varioqub.

Результаты тестирования отображаются в виде графика со статистикой. Алгоритмы сравнивают новый и контрольный варианты и выделяют разницу в показателях цветом.

Кратко

• Гипотеза в маркетинге — это предположение о продукте, рекламе или клиентском опыте, которое можно протестировать, то есть проверить. В результате теста выявляют наиболее эффективные гипотезы, а затем внедряют в работу.
• Чтобы найти важные для бизнеса гипотезы, нужно проанализировать путь клиента, выявить узкие места в воронке продаж и определить метрики для улучшения. Затем формулируют гипотезы о том, как улучшить выбранные метрики.
• Для тестирования гипотез используют маркетинговые исследования, например A/B-тесты, ICE и RICE Score, а также фокус-группы.
• При тестировании гипотез можно допустить следующие ошибки: сравнивать несопоставимые данные, проверять сразу несколько элементов при A/B-тестировании, игнорировать внешние факторы и ориентироваться на недостаточную выборку.
• Для тестирования гипотез в рекламе и продукте можно использовать специальные инструменты: например, A/B-эксперименты в Яндекс Директе или Varioqub.

Дополнительные материалы: