Настройка robots.txt для Brizy и PODS: убираем мусорные страницы в Яндекс.Вебмастер
Узнайте, как правильно настроить robots.txt для сайта на WordPress с конструктором Brizy и каталогом PODS. Готовый код для удаления дублей, страниц пагинации и технических URL из индекса Яндекса.
Вы купили отличный шаблон, наполнили его контентом и добавили сайт в Яндекс.Вебмастер. Но спустя время замечаете странную картину: в отчете «Страницы в поиске» появляются сотни непонятных ссылок. Какие-то технические параметры Brizy, странные дубли с вопросительными знаками, страницы пагинации и вложений.
Робот Яндекса тратит свое время на обход этого «мусора» вместо того, чтобы индексировать ваши новые товары или статьи. В этой статье мы разберем, как правильно настроить файл robots.txt, чтобы ваш сайт работал как часы, а в поиске были только нужные страницы.
Почему в индекс попадает «мусор»?
Даже если вы прописали идеальную карту сайта (Sitemap), поисковый робот — это «любопытный исследователь». Он переходит по всем техническим ссылкам, которые генерируют плагины и конструкторы.
Для сайтов на Brizy Pro и систем с каталогами (например, через плагин PODS) характерны три основные проблемы:
- Технические хвосты Brizy: медиа-параметры и ссылки редактора.
- Дубли от рекламы и партнеров: параметры типа
?ref=или&campaign=. - Бесконечная пагинация: когда одна и та же категория товаров раздувается на десятки страниц (
/bpage/2/,/3/и т.д.).
Настраиваем robots.txt: Готовое решение
Мы проанализировали реальные отчеты из Яндекс.Вебмастера и подготовили универсальный код для вашего файла robots.txt.
Создайте на своем компьютере в блокноте файл с именем robots, в файл скопируйте готовые инструкции:
User-agent: *
# 1. Защита служебных папок (но оставляем доступ к картинкам)
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-content/uploads/
# 2. Блокировка пагинации в категориях (для чистоты индекса)
Disallow: */bpage/
# 3. Убираем технический мусор конструктора Brizy
Disallow: *?brizy_media=
Disallow: *?brizy_attachment=
Disallow: *?brizy-edit-iframe
# 4. Чистим дубли от партнерских ссылок и меток
Disallow: *?ref=
Disallow: *&campaign=
Disallow: *?utm_
Disallow: *?fbclid=
# 5. Скрываем служебные страницы и поиск
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /author/
Disallow: /attachment/
Disallow: /?s=
Disallow: /search/
# 6. Блокировка специфических папок и загрузок
Disallow: /download/
# Укажите путь к вашей карте сайта
Sitemap: https://vash-sait.ru/sitemap.xml
(Не забудьте заменить https://vash-sait.ru/ на адрес вашего реального сайта)
Готовый файл скопируйте в корень сайта:
Что именно мы сделали этим кодом?
- Разрешили картинки: Мы открыли доступ к папке
uploads. Это критически важно, чтобы Яндекс видел ваши фото товаров и выводил их в поиске по картинкам. - Закрыли пагинацию: Страницы типа
/bpage/2/теперь не будут считаться дублями основных категорий. - Убрали «хвосты» Brizy: Робот больше не будет пытаться индексировать внутренние процессы конструктора.
- Сэкономили краулинговый бюджет: Теперь робот будет заходить на сайт реже, но «метче» — только на важные страницы товаров и услуг.
Как проверить, что всё работает?
После того как вы обновили файл на сайте:
- Зайдите в Яндекс.Вебмастер.
- Перейдите в раздел «Инструменты» — «Анализ robots.txt».
- Нажмите кнопку «Обновить» и проверьте статус.
- Вставьте в поле проверки любую проблемную ссылку из вашего прошлого отчета. Если вы видите статус «Запрещен», значит, мы всё сделали правильно!
Важно: Изменения в поиске не произойдут мгновенно. Яндексу нужно от 2 до 4 недель, чтобы переобойти сайт и постепенно выкинуть из поиска лишние страницы.
Пользуйтесь нашими шаблонами и пусть ваш бизнес растет! Если возникнут вопросы по настройке — наша поддержка всегда на связи.
Комментарии
Все шаблонные сайты
