# Google Merchant Center / Google Ads: доступ к страницам товаров, в т.ч. с параметрами
User-agent: Storebot-Google
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: Googlebot
Disallow: /manager/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Allow: /

User-agent: *                  # правила для всех роботов
Disallow: /manager/            # авторизация
#Disallow: /assets/components/  # папка с файлами modx пакетов
Disallow: /core/               # папка с системными файлами modx
Disallow: /connectors/         # папка с системными файлами modx
Disallow: /index.php           # дубль главной страницы index.php
Disallow: *?*                  # удаляем дубли для всех страниц (с параметрами)
Disallow: *openstat=           # ссылки с метками openstat
Disallow: *from=               # ссылки с метками from
Disallow: *utm*=               # ссылки с utm-метками
Allow: /*.jpg                  # здесь и далее открываем для индексации изображения, скрипты и прочие файлы
Allow: /*.jpeg
Allow: /*.gif
Allow: /*.png
Allow: /*.pdf
Allow: /*.doc
Allow: /*.docx
Allow: /*.xls
Allow: /*.xlsx
Allow: /*.ppt
Allow: /*.pptx
Allow: /*.css
Allow: /*.js
Allow: /assets/components/*.css
Allow: /assets/components/*.js
Allow: /core/cache/phpthumb/*.jpeg
Allow: /core/cache/phpthumb/*.png
Allow: /core/cache/phpthumb/*.svg


Sitemap: https://dyson.kz/sitemap.xml