Массовый чекер Noindex: Поиск скрытых блокировок индексации
Проверьте список URL на наличие директив в meta robots и X-Robots-Tag.
Что такое чекер Noindex?
Это инструмент для технического аудита, который парсит код страницы и HTTP-заголовки сервера на предмет правил, которые запрещают индексацию. Вебмастера и SEO-специалисты используют его, чтобы массово проверять площадки-доноры перед закупкой ссылок, убеждаться в доступности PBN-сеток или находить случайные теги noindex, из-за которых важные посадочные страницы вылетают из выдачи Google.
🔍 Массовая проверка тегов noindex
Вставьте до 10 URL (по одному на строку). Инструмент проверит как HTML-код, так и скрытые серверные заголовки.
| Проверяемый URL | Статус директивы |
|---|
Как использовать инструмент
Быстрый аудит списка ссылок или клиентских проектов занимает пару секунд. Наш скрипт эмулирует поведение Googlebot, чтобы обойти базовые защиты и получить реальный ответ сервера.
-
Укажите адреса:
Вставьте список URL доноров, гостевых постов или страниц вашего сайта. -
Запустите краулер:
По клику наш бот мгновенно спарсит HTML-код и выгрузит HTTP-заголовки ответа сервера. -
Анализ результата:
В отчете будет четко видно, открыта ли страница для поиска, или заблокирована (с указанием источника блокировки: мета-тег или серверный заголовок). -
Принятие решения:
Устраните ошибки на своих проектах (снимите noindex) или отбракуйте некачественные ссылочные доноры, которые закрывают ваши бэклинки от индексации.
Статус «Исключено тегом noindex» в Google Search Console
Многие вебмастера пугаются, увидев в отчетах GSC серые статусы исключения. Важно понимать: статус «Исключено тегом "noindex"» — это не баг Google. Это строгое выполнение поисковиком тех правил, которые он нашел на вашей стороне.
Боты распознают запрет индексации двумя путями:
- HTML-код (Meta Robots): Стандартный тег
<meta name="robots" content="noindex">в блоке<head>страницы. - Серверная защита (X-Robots-Tag): HTTP-заголовок
X-Robots-Tag: noindex. Этот метод используют для не-HTML файлов (PDF, картинки) или "хитрого" закрытия страниц. Его не видно через Ctrl+U (просмотр кода), поэтому для поиска таких блокировок и нужен наш чекер.
3 частые причины случайной деиндексации
Если из Google внезапно пропали трафиковые страницы или сетка сайтов не заходит в поиск, проверьте эти узкие места:
1. Забытая галочка в WordPress
Классика жанра при запуске проектов на Wordpress. При переносе сайта с тестового сервера (staging) на "боевой" (production) разработчики часто забывают снять галочку «Попросить поисковые системы не индексировать сайт» в настройках чтения WP. В итоге весь сайт получает глобальный noindex.
2. "Кривые" настройки SEO-плагинов
Мощные комбайны вроде Yoast SEO или RankMath позволяют в пару кликов управлять шаблонами индексации. Одно неверное движение в настройках таксономий — и вы случайно закрываете от обхода полезные категории товаров, теги или архивы авторов.
3. Фильтры и сортировки (Фасетная навигация)
В E-commerce параметрические страницы (например, ?sort=price_asc) закрывают тегом noindex намеренно, чтобы не плодить дубли контента и беречь краулинговый бюджет. Проблема возникает, когда под это правило случайно подпадают важные посадочные SEO-страницы умного фильтра.
| Метод блокировки | Как реализован | Для чего используют | Нюансы для SEO |
|---|---|---|---|
| Meta Robots | Прямо в HTML-коде | Закрытие мусорных страниц, пагинации, корзины, профилей. | Легко найти глазами. Поддерживается всеми популярными CMS из коробки. |
| X-Robots-Tag | В HTTP-ответе сервера (Header) | Запрет индексации файлов (PDF, JPG) и техническая защита. | Скрыто от обычного пользователя. Трудно отловить без серверных сканеров. |
| Robots.txt | Директива Disallow | Запрет сканирования (экономия краулингового бюджета). | НЕ ВЫВОДИТ из индекса. Если на страницу есть ссылки — она останется в выдаче. |
Как вернуть страницы в поиск (Снятие блокировки)
Алгоритм действий для восстановления трафика:
- Удалите директиву: Уберите мета-тег из кода шаблона или снесите правило X-Robots-Tag в
.htaccess/nginx.conf. - Сбросьте кэш: Обязательно очистите кэш плагинов (WP Rocket и др.) и сбросьте кэш CDN (например, Cloudflare), иначе бот продолжит видеть старый ответ.
- Отправьте на переобход: Вставьте URL в инструмент «Проверка URL» в GSC и нажмите "Запросить индексирование".
- Используйте ускоритель: Если страниц много или это ссылки на чужих ресурсах (донорах) — ускорьте индексацию с помощью SpeedyIndex.
- Проверьте результат: Убедитесь, что страницы проиндексированы. Используйте наш чекер индексации в Google, чтобы проверить индексацию URL в реальном времени.
FAQ: Ответы на частые вопросы
Что значит статус «Исключено тегом noindex» в GSC?
Этот статус в консоли говорит о том, что Googlebot просканировал страницу, но наткнулся на директиву noindex (в коде HTML или в ответе сервера X-Robots-Tag). Поисковик выполнил вашу команду и выкинул URL из индекса.
Если я закрою страницу в robots.txt, она выпадет из индекса?
Нет. Robots.txt запрещает только краулинг (обход страницы ботом), но не её индексацию. Если на закрытую в robots.txt страницу есть мощные внешние ссылки, Google всё равно может добавить её в выдачу (обычно без сниппета). Чтобы гарантированно удалить страницу из поиска, её нужно открыть для краулинга и повесить тег noindex.
Как быстро Google увидит, что я снял noindex?
Всё зависит от краулингового бюджета сайта. Боту нужно зайти на страницу повторно. Для трастовых проектов это занимает пару дней, для молодых или глубоких страниц — недели. Чтобы ускорить процесс, отправьте URL на переобход через GSC или принудительно загоните в индекс через сторонние сервисы (например, SpeedyIndex).
Надо ли закрывать пагинацию через noindex?
В большинстве случаев — нет. Закрытие пагинации (страницы 2, 3 и т.д.) обрубает передачу статического веса (Link Juice) вглубь сайта на карточки товаров или старые статьи. Лучше настраивать каноникализацию (rel=canonical) на первую страницу или оставлять пагинацию полностью открытой.
Noindex или Nofollow?
Noindex запрещает индексировать саму страницу. Nofollow запрещает боту переходить по ссылкам с этой страницы и передавать им вес (PageRank). Вы можете их комбинировать (noindex, nofollow) для мусорных страниц, либо использовать noindex, follow, чтобы скрыть страницу из выдачи, но позволить весу перетекать дальше.
Soft 404 — это то же самое, что noindex?
По итогу — да, страница выпадает из поиска. Разница в том, что noindex — это ваша прямая техническая команда боту, а Soft 404 — это самостоятельное решение алгоритма Google, который счел страницу пустой, нерелевантной или ошибочной, хотя сервер отдал код 200 OK.