Если сайт или отдельная страница не появляются в Яндексе, начинать нужно не с «ускорения индексации», а с определения этапа, на котором возникла проблема. Один и тот же симптом — URL не находится в поиске — может означать четыре разные ситуации: Яндекс ещё не знает адрес, робот знает URL, но не может получить страницу, робот обошёл её, но алгоритмы не включили её в поиск, либо страница раньше была в индексе и затем исчезла.
Это принципиально разные случаи. Добавление Sitemap не исправит ошибку 5xx, снятие запрета в robots.txt не решит проблему дубля, а отправка на переобход не заставит алгоритм включить малоценную страницу в поиск. Ниже — диагностическая схема, которая помогает идти от симптома к вероятной причине.
Сначала определите, на каком этапе пропала страница
Удобнее всего разделять путь URL в Яндексе на четыре состояния. Для проверки используйте в первую очередь Статистику обхода, Страницы в поиске и Анализ индексации страницы в Яндекс Вебмастере.
| Симптом | Что это обычно означает | Где проверять | Что искать |
|---|---|---|---|
| URL нигде не виден в данных об обходе | Яндекс ещё не нашёл адрес или давно не возвращался к нему | Статистика обхода, Sitemap, внутренние ссылки | Есть ли URL в карте сайта и ссылки на него |
| URL известен, но робот получает ошибку | Проблема доступа или загрузки | Статистика обхода, Проверка ответа сервера | robots.txt, 3xx, 4xx, 5xx, ошибки соединения |
| Страница обходилась, но не участвует в поиске | Алгоритм исключил её или выбрал другой URL | Страницы в поиске → Исключённые страницы | noindex, дубль, canonical, LOW_DEMAND |
| URL раньше был в поиске и исчез | Изменился технический статус, содержимое или решение алгоритма | Страницы в поиске → Последние изменения | Причина исключения, дата обхода, массовость проблемы |
Важно не путать индексирование и ранжирование. Если страница находится в индексе, но не показывается по ожидаемому запросу, это уже не проблема индексации. Проверить сам факт присутствия конкретного URL Яндекс рекомендует в том числе через поиск по адресу страницы.
Сценарий 1. Яндекс ещё не нашёл URL
Этот сценарий особенно характерен для новых сайтов, недавно опубликованных страниц и URL, на которые почти нет внутренних ссылок. Робот не может обойти страницу, о существовании которой ещё не знает.
Как выглядит симптом
В Статистике обхода нет посещений нужного URL, в разделе «Страницы в поиске» адрес не появляется, а технических причин для блокировки вы пока не видите. Для нового сайта похожая картина может быть нормальной в первые дни после запуска.
Вероятные причины
- страница не включена в Sitemap;
- на URL не ведут обычные внутренние ссылки;
- страница доступна только через внутренний поиск, фильтр или форму;
- новый сайт или раздел ещё не был обнаружен роботом;
- после изменения структуры старые ссылки ведут на другие адреса.
Яндекс указывает, что поисковая база получает сигналы о страницах из разных источников, в том числе из обычного обхода по известным ссылкам, Sitemap, Метрики и IndexNow. Но наличие сигнала только сообщает об URL — оно не гарантирует включение страницы в поиск.
Что делать
- Убедитесь, что страница доступна по постоянному HTTPS-адресу и действительно должна участвовать в поиске.
- Добавьте ссылку на неё с релевантной уже известной Яндексу страницы: категории, раздела, тематической статьи или навигационного блока.
- Добавьте URL в актуальный Sitemap и проверьте сам файл через инструменты Sitemap Яндекс Вебмастера.
- Если URL важный и новый, отправьте его на переобход в Вебмастере.
- После этого смотрите не выдачу каждый час, а дату первого обхода и дальнейший статус страницы.
По данным справки Яндекса, от момента, когда робот узнаёт о сайте, до появления страниц в результатах обычно проходит от нескольких дней до двух недель. Это ориентир, а не гарантированный срок: конкретный URL может пройти путь быстрее или дольше.
Сценарий 2. Робот знает URL, но не может его обойти
Здесь проблема уже не в обнаружении. Адрес известен, но при попытке загрузить страницу робот получает запрет, ошибку сервера, редирект или не может корректно получить содержимое.
Сначала проверьте HTTP-ответ
Для страницы, которая должна индексироваться, ожидаемый рабочий сценарий — доступный конечный URL с кодом 200. Сам по себе код 200 ещё не гарантирует индексирование, но 404, 5xx или ошибочная цепочка редиректов сразу объясняют, почему робот не может нормально обработать адрес.
| Что получает робот | Что это означает | Что делать |
|---|---|---|
| 404 или 410 | Страница отсутствует | Если URL нужен — восстановить страницу. Если удалён намеренно — не пытаться «вернуть в индекс» |
| 5xx | Сервер не может корректно обработать запрос | Проверить логи, нагрузку, CDN/WAF, хостинг и повторяемость ошибки |
| 3xx | Робот идёт на другой адрес | Проверить конечную цель, убрать ненужные цепочки и убедиться, что индексироваться должен именно конечный URL |
| HOST_ERROR / ошибка соединения | Робот не установил соединение с сервером | Проверить доступность сайта и отсутствие блокировки роботов на стороне сервера или провайдера |
| PARSER_ERROR | Робот не смог получить или обработать содержимое | Проверить ответ сервера, разметку и фактически доступный роботу контент |
Проверьте robots.txt на конкретном URL
Распространённая ошибка после разработки или миграции — оставить правило Disallow, которое закрывает нужный раздел. Проверять robots.txt лучше не «на глаз», а на конкретном URL через Анализ robots.txt в Вебмастере. Официальная справка отдельно предупреждает: robots.txt управляет обходом, но закрытый в нём URL в некоторых случаях всё равно может фигурировать в поиске, если Яндекс знает адрес из других источников.
Поэтому robots.txt не следует использовать как универсальный инструмент удаления уже известной страницы из поиска. Если задача именно запретить индексирование содержимого, нужен соответствующий механизм, который робот сможет увидеть при загрузке страницы.
Не блокирует ли сервер самого робота
Сайт может нормально открываться у владельца и одновременно отдавать другой ответ роботу: из-за WAF, антибот-защиты, географических ограничений, лимитов запросов, проблем CDN или правил хостинга. Если в браузере всё работает, а в Вебмастере есть HOST_ERROR или HTTP_ERROR, ориентируйтесь на ответ, который получает робот, а не только на ручную проверку.
Сценарий 3. Робот обошёл страницу, но Яндекс её не индексирует
Это самая важная развилка. Доступность страницы для робота не означает, что URL обязан участвовать в поиске. Яндекс прямо указывает: страница может обходиться, но быть исключённой из поиска. Причину нужно смотреть в разделе «Страницы в поиске» → «Исключённые страницы».
На странице стоит noindex
Статус META_NO_INDEX означает, что Яндекс увидел запрет на индексирование. Проверьте meta robots и HTTP-заголовок X-Robots-Tag. Если страница должна участвовать в поиске, снимите запрет и отправьте URL на переобход.
Нежелательная комбинация — одновременно закрыть страницу от обхода в robots.txt и пытаться передать запрет noindex внутри самой страницы. Если робот не загружает документ, он может не увидеть директиву, размещённую в HTML или HTTP-заголовке.
Яндекс считает URL дублем
Статус DUPLICATE означает, что в поиске уже представлена другая страница с тем же или очень похожим содержимым. Здесь бессмысленно просто повторно отправлять URL на переобход, если причина дубля остаётся.
Проверьте, зачем существуют обе страницы. Если одна версия действительно техническая, согласуйте внутренние ссылки, Sitemap, редиректы и canonical вокруг предпочтительного URL. Если страницы должны индексироваться отдельно, они должны решать разные задачи и содержательно отличаться, а не быть вариациями одного шаблона.
Canonical указывает на другой адрес
Статус NOT_CANONICAL означает, что страница исключена в пользу канонического адреса. Проверьте rel="canonical" в исходном коде и HTTP-заголовках. По документации Яндекса canonical является рекомендацией: робот может проигнорировать её, если сигналы противоречат друг другу или содержимое страниц заметно различается.
Типичная ошибка — шаблон CMS ставит canonical всех карточек, фильтров или региональных страниц на один общий URL. Тогда каждая отдельная страница фактически сообщает поиску, что предпочтительной является другая версия.
Страница признана малоценной или маловостребованной
Статус LOW_DEMAND не означает автоматическую «санкцию» против сайта. В справке Яндекса о причинах исключения указано, что алгоритм может не включить страницу в поиск, если у неё мало шансов быть востребованной пользователями. В качестве примеров Яндекс приводит отсутствие содержимого, дублирование уже известных страниц и контент, который недостаточно отвечает интересам пользователей.
Здесь не нужно «наращивать текст до нужного количества символов». Сначала определите назначение URL:
- есть ли у страницы самостоятельная задача и спрос;
- отличается ли она от соседних страниц по смыслу, а не только по нескольким словам;
- есть ли на ней основное содержимое, ради которого пользователь пришёл бы из поиска;
- не создаёт ли CMS десятки почти одинаковых URL для одного объекта;
- есть ли понятные внутренние ссылки, показывающие место страницы в структуре сайта.
Если отдельной ценности у URL нет, правильным решением может быть не «добиваться индексации», а объединить его с более сильной страницей или оставить техническим.
Сценарий 4. URL был в индексе и исчез
Когда сайт выпал из индекса полностью или часть страниц внезапно пропала, не начинайте с предположения о «фильтре». Сначала найдите зафиксированную причину изменения.
Проверьте «Последние изменения»
В разделе «Страницы в поиске» Яндекс показывает добавление и исключение URL, дату обновления, последний обход и причину удаления. Если проблема возникла после релиза, миграции или изменения шаблонов, сопоставьте дату выпадения с техническими изменениями.
Если исчезло много страниц одновременно
Массовое выпадение чаще требует проверки общих шаблонных причин:
- изменился robots.txt;
- в шаблон попал noindex;
- canonical начал массово вести на другой URL;
- сервер или CDN отдавал 4xx/5xx роботу;
- после миграции изменились адреса без корректной передачи на новые URL;
- одинаковая заглушка или ошибка стала отдаваться множеству страниц;
- в Вебмастере появились сообщения о безопасности или нарушениях.
Если исчезли отдельные страницы
Сначала смотрите их индивидуальный статус: LOW_DEMAND, DUPLICATE, NOT_CANONICAL, META_NO_INDEX, HTTP_ERROR или редирект. Для одиночного URL это полезнее, чем общий «SEO-чек-лист» по всему сайту.
Что делать после исправления
Исправьте именно зафиксированную причину и только затем отправляйте страницу на переобход. Яндекс указывает, что после устранения причины исключения робот продолжает проверять страницу, а решение алгоритма может измениться при обновлении поисковой базы. Переобход сообщает об изменении, но не является гарантией включения URL в поиск.
Как диагностировать конкретный URL пошагово
- Уточните точный адрес. Проверьте протокол, www/без www, слеш, параметры и конечный URL после редиректов.
- Проверьте, знает ли Яндекс страницу. Посмотрите Статистику обхода и дату последнего визита робота.
- Проверьте доступность. Используйте Анализ индексации страницы и Проверку ответа сервера.
- Посмотрите статус в поиске. В «Страницах в поиске» найдите URL среди участвующих или исключённых.
- Если есть ошибка доступа — исправьте её. robots.txt, 404/5xx, редиректы, блокировки сервера должны проверяться раньше контента.
- Если страница обошлась — проверьте сигналы исключения. noindex, canonical, дубли, LOW_DEMAND.
- Сверьте источники обнаружения. URL должен быть логично связан с сайтом внутренними ссылками и, если он приоритетный, присутствовать в актуальном Sitemap.
- Для JavaScript-страниц проверьте фактический контент. Важно, чтобы робот получал основное содержимое, а не только пустой HTML-каркас.
- После исправления отправьте URL на переобход. Затем контролируйте дату нового визита и изменение статуса.
Robots.txt, noindex, Sitemap и canonical: что они реально делают
| Механизм | Что делает | Чего не гарантирует |
|---|---|---|
| robots.txt | Управляет обходом URL роботами | Не является надёжным способом удалить уже известный URL из поиска |
| noindex | Сообщает, что страницу не нужно включать в индекс | Не сработает как ожидается, если робот не может загрузить страницу и увидеть директиву |
| Sitemap | Сообщает Яндексу об актуальных URL и структуре | Не гарантирует обход или включение каждой страницы в поиск |
| rel=»canonical» | Рекомендует предпочтительную версию среди дублей или схожих страниц | Не является безусловной командой: Яндекс может выбрать иначе |
| Переобход | Сообщает роботу о новой или изменённой странице | Не отменяет noindex, ошибки сервера, дубль или решение LOW_DEMAND |
Отсюда главное правило диагностики: не применять инструменты «для ускорения» до тех пор, пока не понятен статус страницы. Sitemap и переобход помогают обнаружению и обновлению, но не заменяют исправление причины исключения.
JavaScript: когда страница доступна, но робот видит не то
На SPA и других JavaScript-зависимых сайтах сервер может отвечать 200, но основное содержимое появляется только после выполнения скриптов. Это уже не классическая блокировка robots.txt, поэтому обычной проверки HTTP-кода недостаточно.
Яндекс поддерживает рендеринг JavaScript и в Вебмастере предоставляет настройки индексирования страниц с JavaScript. По умолчанию решение о выполнении JavaScript может приниматься роботом. Если на сайте используется SSR или пререндеринг, Яндекс отдельно рекомендует учитывать это при настройке рендеринга.
При диагностике проверьте три вещи: есть ли основной контент уже в HTML-ответе, не блокируются ли необходимые JS/API-ресурсы и совпадает ли содержимое, доступное роботу, с тем, что видит пользователь. Если без JavaScript остаются только навигация и пустой контейнер, риск неполной обработки страницы выше.
Качество страницы: что проверять, если технических запретов нет
Если URL успешно обходится, отдаёт 200, открыт для робота, не содержит noindex и не канонизирован на другую страницу, остаётся вопрос: есть ли причина включать именно этот документ в поиск.
Для статуса LOW_DEMAND Яндекс описывает автоматическое решение алгоритма и подчёркивает, что само наличие таких страниц не означает санкций или ограничений для всего сайта. Поэтому не стоит искать «секретный процент уникальности» или механически увеличивать объём текста.
Проверьте страницу по существу:
- она отвечает на самостоятельный пользовательский запрос или повторяет соседнюю;
- основное содержимое доступно без ошибок и не состоит из шаблонных фрагментов;
- пользователь получает конкретную информацию, товар, услугу, инструкцию или другой законченный результат;
- дубли и параметрические версии не размывают выбор основной страницы;
- внутренняя структура сайта показывает, что URL действительно важен.
Если несколько страниц конкурируют за одну и ту же задачу, часто полезнее выбрать одну сильную основную страницу, чем пытаться индексировать все варианты.
Новый сайт не появляется в поиске Яндекса: когда это ещё нормально
Для нового сайта отсутствие страниц в выдаче сразу после запуска ещё не означает проблему. В справке Яндекса указано, что от момента обнаружения сайта роботом до появления страниц в результатах обычно проходит от нескольких дней до двух недель.
Но ждать «просто ещё месяц» без диагностики не нужно. Если робот уже посещал страницы, а они исключены с конкретным статусом, время само по себе не исправит noindex, ошибочный canonical, дубль или HTTP-ошибку. Если же посещений ещё не было, работайте с обнаружением URL: внутренними ссылками, Sitemap и переобходом.
Быстрая таблица: симптом → вероятная причина → действие
| Симптом | Вероятная причина | Первое действие |
|---|---|---|
| Новый URL не появлялся в обходе | Робот ещё не нашёл страницу | Внутренняя ссылка + Sitemap + переобход |
| В обходе 404 | URL отсутствует | Восстановить нужную страницу или оставить корректно удалённой |
| В обходе 5xx | Ошибка сервера | Проверить серверные логи, CDN/WAF и стабильность ответа |
| Запрет robots.txt | Роботу запрещён обход | Проверить правило для конкретного URL и снять случайный запрет |
| META_NO_INDEX | На странице стоит noindex | Удалить запрет, если страница должна быть в поиске |
| DUPLICATE | Яндекс выбрал другую копию | Проверить назначение страниц, ссылки, Sitemap, редиректы и canonical |
| NOT_CANONICAL | Canonical ведёт на другой URL | Проверить корректность canonical и согласованность сигналов |
| LOW_DEMAND | Алгоритм не видит достаточной самостоятельной ценности/востребованности | Проверить назначение, содержание и дублирование страницы |
| Страница исчезла после релиза | Шаблонное техническое изменение | Сопоставить дату выпадения с robots/noindex/canonical/HTTP |
| Страница есть в индексе, но не находится по запросу | Это уже вопрос ранжирования, а не индексации | Не менять технические настройки индексации без причины |
Когда точечной диагностики индексации недостаточно
Если проблема затрагивает один или несколько URL, обычно достаточно пройти описанную цепочку: обнаружение → обход → статус в поиске → причина исключения. Общий SEO-аудит здесь только увеличит объём проверки.
Расширять диагностику стоит, когда выпадение массовое, сайт недавно переезжал, CMS создаёт тысячи дублей и фильтров, ошибки повторяются на нескольких шаблонах или технические сигналы противоречат друг другу. В таком случае уже нужно исследовать архитектуру, шаблоны, логи, внутреннюю перелинковку и приоритеты обхода системно. Для таких задач у OMG MEDIA есть SEO-продвижение сайтов на основе диагностики.
Отдельный материал про SEO-аудит логично использовать как следующий уровень проверки: эта статья отвечает только на вопрос, почему URL не индексируется в Яндексе и что проверять по конкретному симптому.
FAQ
Почему страница есть в Sitemap, но не индексируется?
Sitemap сообщает Яндексу об URL, но не гарантирует его включение в поиск. Проверьте, был ли обход, какой код ответа получил робот, нет ли noindex, дубля или другого canonical и какой статус указан в «Страницах в поиске».
Может ли страница с кодом 200 не индексироваться?
Да. Код 200 означает, что сервер успешно отдал содержимое, но после обхода алгоритмы могут исключить страницу из-за noindex, дублирования, canonical или статуса LOW_DEMAND.
Нужно ли закрывать страницу одновременно в robots.txt и noindex?
Обычно нет. Если вы запретите обход в robots.txt, робот может не загрузить документ и не увидеть noindex. Сначала определите задачу: ограничить обход или исключить содержимое из индекса.
Поможет ли постоянная отправка страницы на переобход?
Переобход полезен после создания или исправления URL, но сам по себе не устраняет причину исключения. Сначала исправьте технический или содержательный фактор, затем сообщите об изменении.
Почему сайт выпал из индекса Яндекса сразу после обновления?
Проверьте массовые шаблонные изменения: robots.txt, noindex, canonical, редиректы, коды ответа и доступность сервера для робота. В «Последних изменениях» Вебмастера сопоставьте дату исключения с датой релиза.
Сколько ждать индексации нового сайта?
Яндекс указывает ориентир от нескольких дней до двух недель с момента, когда робот узнал о сайте. Если после этого нет обхода или страница уже имеет статус исключения, лучше диагностировать конкретную причину, а не просто ждать.
