Как подключить Data Streaming Метрики Про, чтобы обрабатывать большие объёмы данных в реальном времени: кейс Ростелекома

Неагрегированные данные помогают бизнесу точнее понимать поведение каждого клиента и выявлять закономерности, которые могут быть неочевидны в обобщённой статистике.

Раньше для работы с неагрегированными данными о поведении аудитории Ростелеком использовал Logs API. Этот инструмент позволяет выгружать детализированные логи визитов и хитов, однако делает это с задержкой от одного до трёх дней. Именно поэтому компания решила рассмотреть Data Streaming в Метрике Про.

В этом кейсе разберём возможности каждого из решений, процесс интеграции Data Streaming и результаты, которые принесло внедрение инструмента.

Какие задачи решали

• Обеспечить масштабируемую и надёжную инфраструктуру для хранения и обработки больших объёмов данных с помощью Yandex Managed Service for ClickHouse
• Получить возможность интегрировать данные Метрики с внутренними BI-системами и другими аналитическими инструментами для комплексного анализа
• Быстрее выявлять аномалии в поведении пользователей и трафике и оперативно реагировать на них благодаря практически мгновенной передаче данных
• Создавать собственные, кастомные отчёты и дашборды без ограничений стандартного интерфейса Метрики, включая расширенный набор полей (например, идентификаторы рекламных кликов, данные CRM о заказах и клиентах, информация из контентной аналитики)

С какими сложностями столкнулись и какую подготовительную работу проделали

Ростелеком работает с большими объёмами данных, обработка которых через Logs API требовала дополнительного времени. При этом аналитикам компании было важно получать результат максимально оперативно.

Чтобы ускорить процесс, компания настроила ежедневную автоматическую выгрузку данных из Яндекс Метрики. Скрипт запускался с часу ночи по московскому времени и выгружал данные за предыдущие сутки.

В некоторых случаях результаты выгрузок требовали дополнительной валидации. Чтобы обеспечить корректность и полноту данных, команда внедрила автоматические проверки с уведомлениями. При выявлении расхождений аналитикам необходимо было повторно запускать процесс выгрузки, обновлять таблицы и анализировать возможные причины отклонений, в том числе проверять другие счётчики и параметры интеграции.

Это тормозило процесс аналитики и отвлекало специалистов от основной работы с данными, снижая доверие пользователей аналитических отчётов.

Чтобы устранить эти ограничения и повысить стабильность аналитической инфраструктуры, в Ростелекоме решили протестировать Data Streaming в Метрике Про на одном из своих счётчиков.

Какое решение выбрали

Data Streaming в Метрике Про позволяет получать неагрегированные данные о поведении пользователей в режиме реального времени и напрямую передавать их в управляемый ClickHouse-кластер в Yandex Cloud.

Ростелеком вместе с агентством MGcom выделил ключевые различия между Data Streaming и Logs API.

Какие инструменты использовали в итоге

• Метрика Про с функцией Data Streaming
• Yandex Managed Service for ClickHouse

Почему выбрали именно их

• Yandex Managed Service for ClickHouse предоставляет полностью управляемый кластер ClickHouse с высокой производительностью и масштабируемостью. Он упрощает поддержку, позволяет быстро масштабироваться с учётом роста объёмов данных и не требует настройки инфраструктуры вручную. Почти вся работа по обслуживанию баз данных происходит на стороне сервиса.
• Data Streaming — коннектор для передачи данных. Его ключевая задача в этой архитектуре — связать Метрику и ClickHouse, чтобы обеспечить стабильную доставку событий без написания кода. Стриминговая выгрузка — единственный легальный способ получить доступ к неагрегированным событиям Метрики в реальном времени. Data Streaming входит в пакет Метрики Про и решает задачу мгновенного доступа к данным.

Выбор пал именно на этот набор решений, так как было важно:

• Получать данные в реальном времени
• Использовать проверенные и совместимые между собой инструменты
• Минимизировать затраты на DevOps и инфраструктурную поддержку
• Сократить время на внедрение и ускорить вывод решения в эксплуатацию

Как интегрировали выбранные решения

Интеграцию взяло на себя агентство MGCom. Этот процесс состоял из нескольких этапов.

1. Получение доступа к нужному счётчику Метрики.
2. Выбор полей для передачи данных.

   На этом этапе можно выбрать конкретные поля для таблиц обновляемых хитов и визитов или настроить передачу всех доступных полей, чтобы сделать аналитику максимально гибкой и полной. Агентство выбрало второй вариант — все доступные поля, чтобы обеспечить сбор данных, которые могут понадобиться в будущем, и избежать донастроек. При появлении новых полей, доступных для выгрузки, таких как VisitID в хитах, их добавляли в список выгружаемых данных с помощью редактирования эндпойнта. При этом поток выгружаемых данных не приостанавливался.

3. Создание управляемого кластера ClickHouse в Yandex Cloud с помощью сервиса Yandex Managed Service for ClickHouse.

   Так как заранее сложно рассчитать потенциальную нагрузку, в агентстве начали с минимального уровня: 8 ядер CPU, 32 Гб памяти, ориентируясь на хранение данных приблизительно за два года.

   Чтобы увеличить ресурсы и мощность кластера, нужно всего несколько кликов, поэтому для оптимизации расходов решили начать с простого решения и масштабировать его по мере необходимости.

4. Создание двух эндпойнтов в Yandex Data Transfer.

   Чтобы организовать надёжную передачу данных между Яндекс Метрикой и ClickHouse, в агентстве выбрали:

   • Источник данных — Метрика, откуда поступают неагрегированные события. На этом этапе нужно указать токен, который поможет подтвердить доступ к счётчикам. Получить токен можно по ссылке. Для создания трансфера требуется доступ к счётчику на редактирование.

• Приёмник данных — созданный ClickHouse-кластер, куда данные отправляются для хранения и последующей обработки.

5. Включение трансфера в режиме реплицирования.

   Это обеспечило непрерывную и синхронную передачу данных без потерь и с минимальной задержкой.

Кроме того, добавили алерты с помощью Yandex Monitoring. С их помощью в первую очередь отслеживают базовый набор метрик:

• Data transfer delay — задержка передачи данных. Позволяет оценить, насколько поток событий отстаёт от реального времени.
• Rows written to target — количество строк, записанных в целевую таблицу. Отражает фактический поток данных и помогает заметить его резкие просадки.
• Target response time — время ответа от таргета (в этом кейсе — от кластера ClickHouse). Сигнализирует о проблемах с производительностью.

Агентство использует окно вычислений в пять минут. Кроме того, настроили алерты для критичных событий:

• Резкий рост delay (порог — 30 секунд)
• Остановка трансфера

Каких результатов удалось достичь

• Начали получать сырые события Метрики практически в режиме реального времени — с задержкой менее минуты. Для выполнения запросов используют встроенный редактор Yandex Cloud или стандартные внешние инструменты.

• Сократили трудозатраты на инфраструктурную поддержку с 10 человеко-часов в месяц практически до нуля и устранили узкое место в виде сервера Airflow, на котором запускался код Logs API.
• Повысили точность анализа пользовательского поведения, особенно в разрезе отдельных сессий и действий.
• Ускорили выявление технических сбоев и задержек данных благодаря настройке алертов с помощью Yandex Monitoring.
• Сократили время анализа данных с нескольких часов до минут.

Дополнительные материалы