Robots.txt для CMS Webasyst Shop Script
Содержание
Анализ и итоговый файл robots.txt для Webasyst Shop Script
В данной статье мы рассмотрим текущее состояние файла robots.txt для интернет-магазина на CMS Webasyst Shop Script, выявим дублирующиеся строки и потенциальные ошибки, а также представим оптимизированную версию для поисковых систем.
Итоговый оптимизированный robots.txt
Ниже приведен очищенный и готовый к использованию код. В нем сохранены все необходимые защиты от служебных страниц, фильтров и сортировок, характерных для Webasyst.
User-agent: *
# wa shop *
# Служебные разделы
Disallow: /my/
Disallow: /checkout/
Disallow: /webasyst/
Disallow: /login/
Disallow: /signup/
Disallow: /forgotpassword/
Disallow: /ajax/
# Поиск, корзина и сравнения
Disallow: /search/
Disallow: /search/?page=
Disallow: /search/?query=
Disallow: /*/cart/
Disallow: /cart/
Disallow: /*/compare/
Disallow: /compare/
Disallow: /prices/
Disallow: /reviews/
# Фильтрация брендов
Disallow: /alphacat_brands_list/
Allow: /alphacat_brands_list/all/
# Блог (архивы по годам и авторы)
Disallow: /blog/author/
Disallow: /blog/2012/
Disallow: /blog/2013/
Disallow: /blog/2014/
Disallow: /blog/2015/
Disallow: /blog/2016/
Disallow: /blog/2017/
Disallow: /blog/2018/
Disallow: /blog/2019/
Disallow: /blog/2020/
Disallow: /blog/2021/
Disallow: /blog/2022/
Disallow: /blog/2023/
Disallow: /blog/2024/
Disallow: /blog/2025/
Disallow: /blog/2026/
Disallow: /blog/category/
Disallow: /blog/rss/
# Запрет технических параметров и сортировок
Disallow: /*?brand
Disallow: /*&brand
Disallow: /*brand[]=
Disallow: */?sort=*
# Пагинация в блоге (запрещена)
Disallow: /blog/page*$
Disallow: /blog/?page=
# Очистка параметров для Яндекса
Clean-param: _ /
Clean-param: page /
# Главное зеркало
Host: https://site.ru
# Файлы sitemap Webasyst
Sitemap: https://site.ru/sitemap-shop.xml
# Файлы sitemap плагина seo фильтр
Sitemap: https://site.ru/filter-sitemap-1.xml
# Файлы sitemap редактор тегов
Sitemap: https://site.ru/tageditor/sitemap/
Рекомендации по установке
1. Скопируйте код из блока выше.
2. Вставьте его в настройки CMS. Сайт — Настройки сайта в поле «robots.txt»
3. Проверьте валидность файла через сервисы Яндекс.Вебмастер или Google Search Console.