Как сократить время на создание экспериментов и увеличить их количество: кейс ВкусВилла и Varioqub

О проекте и задачах

ВкусВилл — бренд полезных продуктов для здорового питания, сеть магазинов и сервис бесплатной доставки. Представлен более 1500 магазинами в 150+ городах России, доставляет продукты онлайн через сайт и мобильное приложение.

Команда, которая работает с Varioqub, занимается развитием веб-сайта магазина с помощью оптимизации ecommerce-метрик. Задача команды — увеличить конверсию посетителей в покупку товаров на сайте. Для этого используют data-driven подход и А/B-эксперименты — это оптимальный способ развития магазина и проверки гипотез независимо от сезонности.

Как устроен процесс А/B-тестирования в команде

Генерация гипотез

На регулярной встрече команда:

1. Выбирает метрику, которую нужно прокачать, например: добавление товара в корзину из карточки с мобильной версии сайта, добавление товара в корзину из раздела «Акции».
2. С помощью брейншторма придумывает гипотезы, которые могут повлиять на изменение выбранной метрики.
3. Ранжирует гипотезы по методу RICE и определяет, какие из них можно реализовать на сайте.

Как проводили А/B-тесты раньше

До появления Varioqub для проведения экспериментов использовали кастомные отчёты в Метрике. Параметры визитов передавали через Метрику по API и с помощью JavaScript-кода на бэкенде пользователей делили на группы А и B.

Этот метод затрачивал много ресурсов на разработку и интерпретацию результатов и не учитывал статистической значимости. Появление Varioqub сильно облегчило процесс — он сам репрезентативно делит группы пользователей и предоставляет удобный отчёт с результатами, не нужно под каждый тест заново создавать кастомный отчёт и вручную считать результаты.

Результат после внедрения Varioqub

Благодаря простоте запуска эксперимента в Varioqub и понятной интерпретации результата стали чаще проводить А/B тесты:

При этом сильно сэкономили ресурс команды разработки: раньше создание только одного отчёта в Метрике занимало до 20 минут, а теперь создание всего эксперимента с Varioqub занимает 5 минут при условии, что вся техническая составляющая готова.

Примеры экспериментов

Выбрали тип экспериментов с флагами, поскольку они дают максимальную гибкость при настройке. Проводили тесты на всю аудиторию сайта, разделив её 50/50. Иногда из-за специфики интерфейса запускали эксперименты только на десктоп или мобильную версию.

Под каждый эксперимент в код сайта добавили фича-флаг, в зависимости от значения которого применялись изменения в интерфейсе интернет-магазина. Затем прописали его значение в настройках эксперимента в Метрике. Например: CARTBTN управляет положением кнопки «Заказать».

Для удобства и сокращения времени подготовки будущих тестов встроили использование фича-флагов в процесс разработки нового функционала.

Пример 1. Расположение кнопки оформления заказа

Гипотеза: Если поставить стики-кнопку «Заказать» слева под адресом, это увеличит конверсию в оформление заказа.

Вариант А — Кнопка расположена справа под списком товаров

Вариант B — Поставили кнопку слева под адресом

Метрика: Оформление заказа

Платформа: Десктоп

Срок проведения: 2 недели

Результат: Гипотеза подтвердилась

Конверсия в нажатие кнопки «Заказать» на странице оформления заказа выросла на 8,45%

Пример 2. Название вкладки «Акции» в верхнем меню сайта

Гипотеза: Если переименовать пункт «% Акции» на «Все акции» в верхнем меню сайта, это увеличит конверсию в её нажатие.

Вариант А — Название кнопки «% Акции»

Вариант B — Название кнопки «Все Акции»

Метрика: Клик на раздел Акции

Платформа: Десктоп

Срок проведения: 1 неделя

Результат: Гипотеза не подтвердилась

Количество кликов после изменения текста на «Все акции» снизилось на 19,93%.

Пример 3. A/B/C-тест: название кнопки возврата в каталог

Гипотеза: Если на странице блога название кнопки «В магазин» изменить на «В каталог» или «На главную», это увеличит количество кликов по ней.

Вариант А — В магазин

Вариант B — В каталог

Вариант С — На главную

Метрика: Клик по кнопке возврата в каталог товаров

Платформа: Десктоп

Срок проведения: 1 неделя

Результат: Гипотеза подтвердилась

При формулировке «В каталог» кликабельность в раздел увеличилась на 32,5%.

Пример 4. Отзыв о товаре под кнопкой «В корзину»

Гипотеза: Если в карточке товара под кнопкой «В корзину» разместить положительный отзыв о товаре, это увеличит конверсию в добавление его в корзину.

Метрика: Добавление товара в корзину

Платформа: Десктоп

Срок проведения: 1 неделя

Результат: Гипотеза не подтвердилась

Существенных статистически значимых изменений в эксперименте не обнаружено.

Читайте ещё:

Как повысить эффективность экспериментов в веб-проектах: кейс Яндекс Такси и Varioqub