Обновлено 4 марта, 2026
Как удалить сайт или страницу из поиска Яндекса и интернета в целом
Маркетологам и владельцам сайтов важно следить, чтобы в поисковые системы попадал только релевантный и актуальный контент. Это влияет на позиции ресурса в выдаче, а ещё привлекает целевой трафик. В статье рассказываем, как удалить страницы из поиска и какие инструменты использовать.
Когда и зачем стоит удалять страницы из индекса
Многих владельцев сайтов интересует, как удалить веб-страницу или весь ресурс из интернета. Причины для этого бывают разные:
- Защитить персональные данные пользователей. К ним относится любая информация, с помощью которой получится установить личность человека — даже его имя и год рождения. Если данные случайно проиндексируются, бизнес может понести репутационные потери, а также столкнуться с правовыми последствиями.
- Убрать устаревший или нерелевантный контент. Неактуальные данные вводят пользователей в заблуждение и уменьшают уровень доверия к бренду. Например, когда человек ищет в поисковиках определённую вещь, переходит на сайт, но товара уже нет в продаже.
- Закрыть конфиденциальную или юридически значимую информацию. Бывает, что в поисковиках появляются страницы с корпоративными документами и перепиской сотрудников.
- Убрать тестовые и временные страницы. Ещё на этапе разработки сайта в поисковики могут попасть черновые варианты ресурса. Например, шаблоны, незаконченные разделы или лендинги, которые запустили в рамках A/B-тестирования.
- Избавиться от дублированного контента. Это страницы с разными URL, которые во многом или полностью повторяют содержание друг друга. Поисковым роботам придётся индексировать каждую из них, поэтому дубли начинают конкурировать друг с другом в выдаче.
Как проверить, индексируется ли страница в Яндексе
Если вы планируете удалить контент из индекса поисковой системы, сначала убедитесь, действительно ли он туда попал. Вот как это можно сделать.
Через операторы поиска. Это специальные команды, которые добавляют к основному запросу. С их помощью маркетолог или SEO-специалисты находят нужную информацию быстрее и получают более точные результаты.
Проверить, индексируется ли конкретная страница, получится с помощью оператора url:. Его нужно добавить перед адресом страницы в Яндекс Поиске. Если алгоритмы «видят» ресурс, то он отобразится в выдаче. В противном случае вы увидите сообщение, что система ничего не нашла. Однако узнать точный статус страницы и причины того, почему она не попала в индекс, можно только в Вебмастере. Подробнее о способе — далее в статье.
Пример проиндексированной страницы в Яндекс Поиске
Через Яндекс Вебмастер. Сервис позволяет контролировать техническое состояние сайта и смотреть, когда поисковые алгоритмы в последний раз сканировали отдельные страницы. Использовать инструмент просто — чтобы проверить статус ресурса, выполните несколько шагов:
- Зайдите в Вебмастер. Чтобы зарегистрировать личный кабинет, вам понадобится Яндекс ID.
- Нажмите «Добавить сайт» и укажите адрес своего ресурса.
- Подтвердите права на сайт. Подробнее о том, как это сделать, читайте в Справке.
На выбор — несколько вариантов, с помощью которых можно подтвердить права
- Откройте раздел «Индексирование» и кликните по разделу «Проверка страницы».
Вебмастер поможет настроить индексирование сайта и покажет, как страница отображается в Поиске
- Добавьте URL страницы, которую планируете удалить.
В Вебмастере можно проверить, как страница выглядит в десктопной или мобильной версии
- Дождитесь результатов проверки. Если страница попала в индекс Поиска, вы увидите основную информацию.
На странице проверки показано, как сайт отображается в мобильной и десктопной версии
Почему оператор site: даёт ошибочную картину
Оператор site: ищет страницы только на указанном в запросе сайте или поддоменах. Как правило, его используют, чтобы оценить общее число проиндексированных разделов. А вот для поиска конкретной страницы способ лучше не использовать, поскольку он может показать не весь список контента, который попал в индекс.
Как удалить страницу или сайт из Яндекса
Существует несколько способов скрыть веб-ресурс от поисковых роботов. Разберём основные.
Удалить URL через Яндекс Вебмастер
Один из самых лёгких способов убрать страницу из индекса. Чтобы это сделать, нужно зайти в раздел «Инструменты» → «Удаление страниц из поиска». Введите адрес страницы, нажмите на кнопку «Удалить» и объясните причину удаления. После этого отправьте запрос.
Как правило, Яндекс обрабатывает запрос на удаление в течение 1–3 дней. Однако это ориентировочные сроки
Вариант подходит, если нужно оперативно скрыть URL из выдачи. Но чтобы старые страницы заново не попали в Поиск, нужно дополнительно задать их состояние через директиву noindex или код 404/410. О том, как это сделать, рассказываем ниже.
Удалить страницу через ограничения для роботов
Обычно на сайтах есть страницы, которые нужно оставить, но при этом не показывать посетителям. Это могут быть разделы с технической информацией или черновики, которые пока не готовы к публикации. Вот несколько способов, которые помогут скрыть такой контент от поисковых роботов.
Настроить HTTP-статус у страницы. Выбирайте код ответа в зависимости от ситуации. Если нужно скрыть от роботов уже удалённые страницы, используйте 404 Not Found или 410 Gone.
Изначально не стоит создавать индексируемые URL с персональными данными. Если такой контент всё же попал в выдачу и его необходимо оттуда убрать, вот какие варианты можно использовать:
- 403 Forbidden — подойдёт, если нужно запретить доступ к контенту полностью.
- 401 Unauthorized — у роботов не будет доступа к странице, поэтому она не отобразится в поиске. Получить доступ к закрытому контенту смогут только авторизированные пользователи.
Задать директиву. Это правила для роботов, которые влияют на результаты поиска. Запретить индексацию страницы можно через noindex. Есть два способа её задать:
- Через HTTP-заголовок X-Robots-Tag. Его настраивают на сервере для конкретного URL.
При необходимости можно добавить несколько директив через запятую
- Через метатег robots. Для этого добавьте метатег с директивой noindex в HTML-код страницы.
Как добавить метатег в код страницы
Ограничить индексирование через robots.txt
robots.txt — это документ, в котором указывают параметры для обхода и индексации поисковым роботом. Простыми словами, подсказывают алгоритмам, какой контент учитывать, а какой — нет. Например, ограничить обход некоторых страниц, чтобы уменьшить нагрузку на ресурс и повысить скорость его работы. Вот как это сделать:
- Шаг 1. Создайте файл robots.txt. Чтобы скрыть все или некоторые разделы сайта из Поиска, нужно указать название робота (User-agent) и использовать директиву Disallow. Подробнее о требованиях к файлу читайте в Справке.
Вот так выглядит robots.txt, который запрещает обход сайта всем роботам Яндекса
- Шаг 2. Проверьте robots.txt на Вебмастере. Откройте «Инструменты» → «Анализ robots.txt». Добавьте текст из файла и кликните по кнопке «Проверить». Если в документе есть ошибка, сервис покажет её и опишет возможную причину.
Если файл уже добавлен на сайт, проверить его на ошибки можно с помощью URL
- Шаг 3. Загрузите файл в корень сайта. Это можно сделать через панель администратора. Когда робот увидит указание, страница пропадёт из базы поиска в течение недели. При этом страница может иногда появляться в результатах поиска — например, если на неё ведут ссылки с других ресурсов.
Удалить сайт полностью
Бывает, что компании закрывают или переносят веб-ресурс на новый домен. Чтобы не скрывать все страницы по отдельности, сайт из поиска можно удалить полностью. Порядок действий будет зависеть от обстоятельств:
- Если сайт закрывается навсегда. Удалите сайт с хостинга и настройте на всех страницах нужный код ответа. Это может быть 404 Not Found, 410 Gone или 503 Service Unavailable. Последний вариант показывает, что ресурс временно недоступен — например, если он закрыт на реконструкцию.
- Если сайт работает, но его нужно скрыть из поиска. Используйте директиву noindex или настройте код ответа в зависимости от задачи. Например, 401 Unauthorized или 403 Forbidden. При этом важно не блокировать поисковым роботам доступ к страницам, пока они не пропадут из индекса.
Как ещё можно удалить страницы из индекса
Вот ещё несколько способов, которые помогут решить проблему с индексацией нежелательных страниц.
Настроить редирект. Это автоматическое перенаправление трафика с одного ресурса на другой. Подходит, если страница переехала на новый адрес, который и должен участвовать в Поиске.
В зависимости от ситуации можно использовать следующие HTTP-коды:
- Код 301 (постоянный редирект). Подходит, если изначальная страница переехала навсегда. В этом случае она исчезнет из поисковой системы, а вместо неё роботы начнут индексировать страницу-акцептор. Так называют ресурс, на который переходят через редирект.
- Код 302 (временный редирект). Используют, когда страница переезжает на новый адрес временно. Например, из-за технических работ. Тогда поисковая система не исключит страницу из своих баз данных и будет периодически проверять, не изменились ли настройки для индексирования.
Ограничить доступ по паролю. Это можно сделать в настройках сервера и через инструмент для управления хостингом. Удобный вариант, если хочется ограничить доступ роботам, но при этом сохранить контент на ресурсе. Алгоритмы просто не смогут проиндексировать запароленные материалы, и они постепенно исчезнут из Поиска.
Как ускорить удаление страницы из поисковых систем
Разберём несколько способов.
Форсируйте обход роботов. Чтобы алгоритмы отреагировали на запрет индексирования быстрее, отправьте ресурс на принудительный обход. Это можно сделать в Вебмастере. Просто откройте раздел «Переобход страниц» и добавьте URL, который нужно проверить в первую очередь. Если ресурсов несколько, поставьте их в порядке убывания по срочности. Если хотите получать информацию об изменениях, подпишитесь на уведомления.
Вебмастер может отправлять уведомления в самом сервисе, а также на email или в Telegram
Удалите внутренние ссылки. Поисковые роботы продолжают обходить страницу, если найдут ведущие на неё ссылки.
Если вы используете файл Sitemap, удалите адрес страницы и из него. Так поисковые системы быстро узнают, что структура сайта изменилась.
Как удалять страницы правильно: типичные ошибки
| Тип ошибки | Описание | Как исправить |
|---|---|---|
| Использовать в метатеге robots или в настройках HTTP-заголовка X-Robots-Tag только директивы nofollow | Директива nofollow передаёт роботам сообщение не переходить по ссылкам на странице. Однако они всё равно могут узнать об этих ресурсах с других страниц или сайтов | Более надёжный способ скрыть страницу от поисковиков — использовать вместе с nofollow директиву noindex |
| Использовать для запрета индексации только канонические ссылки | Если на сайте есть дубли, направить алгоритмы на основную страницу можно с помощью атрибута canonical. Однако атрибут носит рекомендательный характер, и похожие страницы всё равно могут попасть в индекс | Чтобы исключить страницу из Поиска, лучше настроить noindex через метатег или HTTP-заголовок. Ещё один способ — настроить статус 404 или 410 |
| Блокировать весь сайт или отдельные страницы в robots.txt | В некоторых случаях роботы могут на своё усмотрение индексировать страницы, несмотря на запрет их обхода в robots.txt | Чтобы запретить индексацию отдельных страниц, надёжнее использовать для них noindex через метатег или HTTP-заголовок. Если страницу уже проиндексировали и нужно ускорить удаление — используйте соответствующий инструмент в Вебмастере |
| Ограничить обход в robots.txt и одновременно поставить noindex HTML-код страницы | При настройке robots.txt робот просто не увидит директиву noindex, поэтому удаление страниц может затянуться | Чтобы запретить индексацию, надёжнее использовать noindex через метатег или HTTP-заголовок |
| Перенаправлять посетителей и роботов на разные поддомены сайта | Например, если у ресурса есть поддомены для нескольких регионов. Робот может увидеть версию без noindex и проиндексировать страницу | Скорректируйте настройки редиректа, чтобы роботы и посетители получали одинаковый контент |
FAQ по удалению URL из поиска
Как быстро убрать страницу?
Самый оперативный способ скрыть страницу из поисковой выдачи Яндекса — сделать это через Яндекс Вебмастер. Важно: инструмент «Удаление страниц из поиска» считается временной мерой, которую нужно обязательно подкрепить директивой noindex или кодом 404/410. Иначе удалённый URL может снова вернуться в поиск.
Сервис также поможет ускорить обработку запроса, если вы хотите ограничить доступ к контенту через директивы Disallow или noindex. Для этого запустите проверку в разделе «Переобход страниц».
Что делать, если страница долго не удаляется из поиска?
Бывает, что контент продолжает попадать в индекс даже после удаления. Самая частая причина — робот просто пока не успел обойти страницу после изменений. Но если нежелательные страницы продолжают попадать в Поиск, вот что можно сделать.
Проверьте директиву noindex. Возможно, роботы продолжают обходить ресурс из-за ошибок в HTML-коде страницы. Например, если директива стоит не в <head>, а в <body>.
Запустите «Проверку страницы» в Вебмастере. Инструмент покажет, видит ли робот нужное состояние URL, например:
- Код 200 и noindex — если оставляете страницу для пользователей, но хотите скрыть её от индексирования
- Код 404/410 — когда удаляете страницу навсегда и запрещаете роботам обращаться к ресурсу
- Код 301 — если нужно перенаправить пользователей на другую страницу
Если изменения не отображаются, удалите страницу повторно.
Как скрыть контент, но не удалять страницу?
Если вы хотите запретить индексирование какой-то части текста на странице, используйте элемент noindex. Следите, чтобы этот закрывающий тег присутствовал везде, где вам нужно.
Важно не путать элемент noindex с одноимённой директивой noindex, которую используют в метатеге robots. Подробнее обо всех способах читайте в Справке.
Можно ли вернуть страницу обратно?
Чтобы поисковые роботы вновь начали обход страницы, нужно убрать запрет на индексирование. Например, удалить директиву Disallow в файле robots.txt или noindex в HTML-коде. После этого алгоритмы увидят изменения и вернут ресурс в поисковую выдачу. Это может занять от нескольких дней до несколько недель. Если хотите ускорить процесс, используйте инструмент «Переобход страниц» в Вебмастере.
Редакция Яндекс Рекламы
Автор
