Что такое Clean-param: как настроить, использовать и убрать дубли страниц для Яндекса

Зачем нужна директива Clean-param

Есть несколько конкретных причин, почему нужно бороться с дублями на сайте.

Затруднение индексации. Без Clean-param робот тратит время на обход десятков копий одной страницы. Из-за этого важные URL могут индексироваться медленнее.

Перераспределение весов. Поисковый вес распределяется между дублями, а не собирается на одной странице. Это может мешать индексации и ранжированию.

Размытие релевантности. Алгоритмы поисковой системы могут не понять, какую страницу нужно показывать в поиске — оригинал или дубль. Из-за этого обычно ухудшается ранжирование обоих вариантов.

При этом Clean-param не заменяет техническое устранение дублей. Когда сервер создаёт тысячи ненужных URL, нужно менять логику формирования ссылок. Например, сайт может перестать добавлять идентификатор сессии в URL, если без этого не пострадает функционал.

Синтаксис директивы Clean-param

Базово директиву прописывают по следующим правилам:

Clean-param: p0[&p1&p2&..&pn] [path]

Здесь:

• p0, p1, p2 — GET-параметры, которые робот должен игнорировать
• & разделяет несколько параметров
• path — необязательный путь, для которого действует правило

К примеру, в записи Clean-param: ref /catalog/ правило применяется к адресам, которые начинаются с /catalog/ и содержат параметр ref.

Рассмотрим, как это работает, на примере страницы https://example.ru/catalog/?category=shoes&ref=telegram.

Здесь параметр category отвечает за вывод определённой категории товаров в каталоге, а параметр ref — за источник перехода. Робот будет учитывать параметр category=shoes, но игнорировать ref=telegram. Категория каталога сможет попасть в индекс, а её дубль — нет.

В пути Clean-param можно использовать звёздочку (*). Она работает по общему для robots.txt принципу: заменяет любую последовательность символов.

С помощью * можно объединить несколько похожих путей вместо того, чтобы создавать отдельное правило для каждого из них.

Например:

Clean-param: s&ref /forum*/

Правило охватывает пути вроде:

/forum_old/

/forum_new/

Это удобно, если на сайте есть несколько разделов с одинаковой структурой URL.

Для параметров в Clean-param важно учитывать регистр. С точки зрения бота, utm_source и UTM_SOURCE — это разные значения.

Длина одного правила Clean-param не должна превышать 500 символов. Поэтому объёмные правила разбивают на несколько строк.

Как настроить Clean-param в robots.txt

Настройка состоит из трёх этапов: поиск параметров, добавление правил и проверка результата.

Поиск лишних параметров на сайте

Сначала нужно определить, какие GET-параметры не меняют существенно содержание страниц или не должны отображаться в поисковой выдаче.

В Яндекс Вебмастере есть отдельный раздел для GET-параметров, которые робот обнаружил на сайте.

Каждый найденный параметр нужно проверить вручную.

Например, сайт использует:

/catalog/?brand=nike

/catalog/?brand=nike&sort=price

Здесь brand меняет список товаров и формирует, по сути, новый раздел каталога — для конкретного бренда. Такой параметр нельзя игнорировать. А sort=price обычно меняет только порядок отображения товаров. Если отдельные варианты сортировки не нужны в поиске, их можно исключить с помощью Clean-param.

Добавление директивы в файл robots.txt

Файл должен находиться в корне сайта и быть доступен ботам. Правила для робота Яндекса рекомендуется объединять в отдельный блок:

User-agent: Yandex

Clean-param: sid&ref /catalog/

Положение Clean-param относительно других директив не принципиально. Её можно прописать как в начале, так и в конце или в середине блока.

Проверка корректности настройки

После изменения robots.txt файл нужно проанализировать в Яндекс Вебмастере.

В инструменте анализа robots.txt можно проверить синтаксис файла и выяснить, как робот обработает конкретный URL.

Чтобы проверить, исключены ли из индекса дубли, нужно зайти в раздел «Индексирование» → «Страницы в поиске», вкладка «Исключённые страницы». Когда директива сработала, страница-дубль получает статус «Исключена по Clean-param».

Примеры использования Clean-param

Очистка параметров корзины и сессий

Интернет-магазины часто добавляют в URL идентификаторы сессий:

/product/?id=125&sid=938475

/product/?id=125&sid=938476

Параметр sid меняется для каждого посетителя, но контент страницы остаётся тем же.

В этом случае можно задать правило:

User-agent: Yandex

Clean-param: sid /product/

Работа с фильтрами и сортировкой товаров

В каталогах товаров пользователи сортируют и фильтруют товары. Каждый фильтр создаёт новый URL. Например:

• /catalog?sort=price
• /catalog?sort=rating
• /catalog?filter=color:red
• /catalog?filter=color:blue&sort=price

Если сортировка меняет только порядок товаров, а не состав каталога, такие варианты обычно не нужны в поиске.

Для них можно использовать:

Clean-param: sort /catalog/

Если фильтр создаёт уникальную подборку товаров, такой параметр нельзя добавлять в Clean-param. Например, если фильтр формирует страницу только с красными платьями и её важно продвигать по запросам категории «купить красное платье».

Настройка параметров для разных разделов сайта

Один и тот же параметр может выполнять разные функции в разных разделах сайта.

Например, если в каталоге реферальная метка ref используется только для аналитики, а в личном кабинете влияет на логику страницы. В такой ситуации не стоит применять правило ко всему сайту. Лучше прописать его для конкретных разделов:

Clean-param: ref /catalog/

Clean-param: ref /product/

Яндекс допускает отдельные правила для разных скриптов и путей.

Clean-param и другие SEO-директивы

Clean-param, Disallow и canonical решают разные задачи. Их нельзя использовать как универсальную замену друг другу.

Разница между Clean-param и Disallow

Disallow запрещает роботу Яндекса обходить конкретный URL или раздел:

User-agent: Yandex

Disallow: /search/

Clean-param говорит роботу игнорировать определённые параметры URL:

User-agent: Yandex

Clean-param: query /search/

Лучше не закрывать через Disallow страницы только ради удаления GET-параметров, если для этого подходит Clean-param. Полное закрытие может влиять на перераспределение внутренних весов страниц и поисковое ранжирование.

Использование Clean-param вместе с canonical

Тег rel="canonical" указывает поисковой системе, какой вариант одного документа считать основным среди других.

Например, страница доступна по адресу:

/catalog/shoes/?utm_source=email

и содержит:

<link rel="canonical" href="https://example.ru/catalog/shoes/" />

Это инструкция для поискового бота, что основной стоит считать версию страницы без метки.

Не стоит добавлять canonical как замену Clean-param во всех случаях. Сначала нужно определить, какую задачу решает конкретный URL:

• Параметр не меняет содержание страницы, но меняет её адрес — подходит Clean-param
• Несколько доступных страниц содержат один и тот же документ — можно задать canonical
• Страницу вообще нельзя показывать в поиске — применяют тег noindex или директиву Disallow

Ошибки при настройке Clean-param

Слишком широкие правила очистки

Если указать путь /, правило будет применяться ко всем страницам сайта. Поэтому безопаснее указывать конкретный раздел, если параметр незначим только там.

Удаление важных параметров URL

Нельзя добавлять в Clean-param параметр только потому, что он создаёт много URL.

Например, в URL вида /product/?id=125 и /product/?id=126 параметр id определяет товар. Его очистка приведёт к тому, что робот не добавит в поисковый индекс карточки товара из каталога.

Неправильное указание пути

Путь должен точно соответствовать URL всех страниц и разделов, для которых генерируются дубли. Если указать путь слишком узко:

Clean-param: ref /catalog/clothes/

правило не охватит другие разделы, например /shoes.

Часто задаваемые вопросы (FAQ)

Нужно ли настраивать Clean-param для новых страниц?

Нет, отдельное правило для каждой новой страницы не требуется. Директива применяется ко всем страницам сайта, которые соответствуют указанному в ней пути. При добавлении новых URL правило будет работать автоматически, если путь совпадает.

Можно ли применять Clean-param для всех типов параметров?

Нет. Директива предназначена только для параметров, которые не затрагивают содержание страницы.

Как указать несколько параметров в одной директиве?

Параметры нужно разделять символом &:

Clean-param: sid&ref /forum/

Что делать, если директива не сработала?

Проверить корректность файла robots.txt через инструмент анализа Яндекс Вебмастера.

На что смотреть:

1. Правильно ли написано имя параметра.
2. Соответствует ли URL прописанному правилу.
3. Нет ли Disallow, который блокирует тот же адрес.
4. Действительно ли параметр не меняет содержимое страницы.

После исправления нужно дождаться повторного обхода страниц. Обычно данные в Вебмастере обновляются в течение нескольких дней.

Заключение

Директива Clean-param нужна, чтобы дубли страниц с GET-параметрами не попадали в поисковый индекс Яндекса и не влияли на ранжирование сайта в Поиске.

Чтобы настроить Clean-param, нужно определить дублирующие параметры, добавить директиву в robots.txt и проверить корректность синтаксиса через Яндекс Вебмастер.

Дополнительные материалы