Как повысить эффективность экспериментов в веб-проектах: кейс Яндекс Такси и Varioqub

О проекте и задачах

Проект — команда Яндекс Такси, которая работает над ростом маркетинговой эффективности веб-проектов Такси Про в сфере найма.

Основные задачи команды:

• Увеличить количество визитов на сайт и повысить вовлеченность пользователей
• Увеличить количество конверсий — скачиваний приложения, заявок с сайта, регистраций в личном кабинете и его использование.

Как команда генерирует гипотезы

Для роста ключевых метрик специалисты строят гипотезы о том, что и как может увеличить показатели, и быстро их тестируют. Они проверяют, какие гипотезы действительно влияют на ключевые метрики, а какие не работают.

Изначально процесс генерации гипотез строился только на брейншторме. Но так как этот метод недостаточно точный, решили дополнительно использовать данные о поведении пользователей.

Команда стала создавать гипотезы двумя способами: с помощью брейншторма (70%) и анализа поведения пользователей (30%). Распределение 70/30 — не правило, а подходящее для конкретной команды сочетание. Рассмотрим плюсы и минусы каждого способа:

Брейншторм (70%)

➕ Высокая скорость. Можно за короткое время сгенерировать много идей.

➕ Не нужна техническая экспертиза в продукте, участвует вся команда (включая дизайнеров, верстальщиков и поддержку).

➖ Когнитивные искажения. Команда может столкнуться с «Ложным консенсусом» — когда у специалистов, знающих продукт, есть определенное видение пути пользователя, которое может оказаться неверным. Каждый человек действует по-разному, и точно предугадать его поведение трудно.

Анализ поведенческих факторов (30%)

➕ Основан на реальных данных. Они помогают понять поведение пользователя и его интересы, а также показывают, на что стоит обратить внимание.

➕ Имеет высокую скорость проверки гипотез. Стандартизированный процесс обработки данных поведенческого пути с помощью Метрики, Вебмастера и других аналитических инструментов.

➖ Требует экспертизы и времени, чтобы собрать данные и их интерпретировать. Поэтому для генерации гипотез команда, кроме этого способа, использовала и брейншторм.

При анализе поведенческих факторов смотрели на ключевые показатели: среднюю позицию в Поиске и CTR — они напрямую влияют на ключевые цели. Также анализировали источники трафика, на какие элементы интерфейса пользователь обращал внимание и по каким ссылкам переходил. Изучали данные с учетом и без учета фактора сезонности.

Какие методы приоритезации и оценки гипотез использовали

После генерации гипотез необходимо было их оценить и приоритезировать. Для этого использовали методы RICE и ICE Score.

ICE не учитывает охват аудитории и дает широкие возможности для тестирования. Например, можно поменять цвет кнопки или попробовать новый дизайн проекта. Используется только при запуске продукта или фичи, у которых мало пользователей.

RICE более сбалансирован и позволяет минимизировать когнитивные искажения. После анализа влияния, уверенности и трудозатрат, каждая гипотеза получает общую оценку — это помогает определить, какие фичи тестировать сразу, а какие положить в бэклог. Используется для работающих проектов, у которых уже есть пользователи.

Методы RICE и ICE показали высокую скорость и эффективность приоритезации для ранжирования гипотез любой сложности.

Как построили процесс А/В-тестирования с помощью Varioqub

Изначально хотели стандартизировать процесс и прийти к универсальной формуле 70% — брейншторм и 30% — анализ поведения пользователей. Но так как команда постоянно развивается, поняли, что формула не может быть одинаково эффективна для всех проектов. Проанализировали весь прошлый опыт и разработали для себя такую схему работы:

1. Структурировали процесс, объединив этап создания гипотез в одну встречу на 2 часа. Придумывали идеи не в одиночку и заранее, а вместе и в процессе встречи — получилось в среднем 15 гипотез.
2. Приоритезировали получившиеся гипотезы чаще всего по методу RICE. В результате осталось около 4 эффективных гипотезы, которые должны были положительно повлиять на результат — трафик и другие основные показатели.
3. Внедрили Varioqub, чтобы сократить время от идеи до запуска решения и ресурсы на реализацию изменений. Теперь любой член команды может создать А/В-тест и оценить результаты эксперимента без привлечения аналитика. После достижения статистической значимости Varioqub выделяет цветом приоритетный для реализации вариант.

Сравнили старый процесс до преобразования и новый:

Пример эксперимента и его результат

Результат

На 4,5% выросло количество конверсий из визита в заявку в тестируемом варианте.

Читайте ещё:

Провели эксперимент с рекламными блоками на сайте и повысили доход от монетизации на 24,5%

Дополнительные материалы