User-Agent: *
Disallow: */index.php$
Disallow: /bitrix/
Disallow: /personal/
Disallow: */cgi-bin/
Disallow: /test/
Disallow: /test* # Запрет для всех страниц, начинающихся с /test
Disallow: /404.php
Disallow: /api/*
Disallow: */auth/
Disallow: */order/
Disallow: */search/
Disallow: /tag/       # Новое правило для исключения тегов
Disallow: /tags/      # Новое правило для исключения тегов
Disallow: */filter/ # Запрет для всех страниц фильтров
Disallow: */filter/*/apply/ # Запрет для страниц применения фильтров
Disallow: */resize_cache/ # Запрет для кэша измененных изображений
Disallow: /bitrix/panel/ # Запрет для панели управления Bitrix
Disallow: */form/?name= # Запрет для форм
Disallow: */apply/* # Запрет для страниц применения (например, фильтров)
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*?list_style=
Disallow: /*?sort=
Disallow: /*sort_by=
Disallow: /*?set_filter=
Disallow: /*?arrFilter=
Disallow: /*?order=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin*
Disallow: /*?utm_source=
Disallow: /*download
Disallow: /*setreg=
Disallow: /*sphrase_id
Disallow: /*type=
Disallow: /*?product_id=
Disallow: /*?display=
Disallow: /*?view_mode=
Disallow: /*view=
Disallow: /*min_price=
Disallow: /*max_price=
Disallow: /*&page=
Disallow: /*?path=
Disallow: /*?route=
Disallow: /*?products_on_page=
Disallow: /*?PAGEN_1=1$ # Запрет для первой страницы пагинации
Disallow: /*?PAGEN_1=1/$ # Запрет для первой страницы пагинации (со слешем)
Disallow: /*?new=
Disallow: /*?edit=
Disallow: /*?preview=
Disallow: /*SHOWALL=
Disallow: /*SHOW_ALL=
Disallow: /*SHOWBY=
Disallow: /*SPHRASE_ID=
Disallow: /*TYPE=
Disallow: /*?utm*= # Запрет для всех UTM-меток
Disallow: /*&utm*= # Запрет для всех UTM-меток
Disallow: /*?VIEW=
Disallow: /*?SORT_TO=
Disallow: /*?SORT_FIELD=
Disallow: /*set_filter=
Disallow: /auth.php
Disallow: /*?alfaction=
Disallow: /*?oid=
Disallow: /*?name=
Disallow: /*?form_id=
Disallow: /*&form_id=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: /*?linerow=
Disallow: *?sort_ord=
Disallow: *?sort_dir=
Disallow: *?category_id=
Disallow: *?item_id=
Disallow: *?pn_pr=
Disallow: *?page=
Disallow: *?tab=
Disallow: *?display=
Disallow: *?linerow=
Disallow: *?year=
Disallow: *?oid=
Disallow: *showElements*
Disallow: *how=*
Disallow: *?name=
Disallow: /*gclid* # Запрет для Google Click ID
Disallow: /*yclid* # Запрет для Yandex Click ID
Disallow: /*ymclid* # Запрет для Yandex Metrika Click ID
Disallow: /*?RID*
Disallow: *?preview=
Disallow: *bitrix_*=
Disallow: *auth=
Disallow: /*?tag
Disallow: /*set_filter*
Disallow: /*?showElements=
Disallow: /*?tid*
Disallow: /*&tid*
Disallow: *?FILTER*=
Disallow: *?ei=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *B_ORDER=
Disallow: *BRAND=
Disallow: *CLEAR_CACHE=
Disallow: *SECTION_ID=
Disallow: *section_id=
Disallow: *SECTION[*]=
Disallow: *SHOW_ALL=
Disallow: *SHOWBY=
Disallow: *SORT=
Disallow: *SPHRASE_ID=
Disallow: *TYPE=
Disallow: /*?from*
Disallow: /*&from*
Disallow: /*block=*
Disallow: *r1=
Disallow: *&by*
Disallow: *?by*
Disallow: *?id=*
Disallow: *?a=*
Disallow: *?amp*
Disallow: *IBLOCK_ID=*
Disallow: *RESULT_ID=*
Disallow: *PROPERTY=*
Disallow: *IN_STOCK=*
Disallow: *SECTION_CODE=*
Disallow: *SIZE=*
Disallow: *added=*
Disallow: *position=*
Disallow: *callibri=*
Disallow: *gtm_debug=*
Disallow: *placement=*
Disallow: *source=*
Disallow: *&adv=*
Disallow: *?adv=*
Disallow: *option=*
Disallow: *?hhtmFrom=*
Disallow: *?_r=*
Disallow: *sort_order=*
Disallow: *PAGEN_*
Disallow: *utm_ya_campaign*
Disallow: *_ym_*
Disallow: /*?arrFilter*
Disallow: /*?PAGEN*
Disallow: /local/ # Технические файлы Bitrix (Allow-исключения ниже открывают нужные ассеты)
Disallow: /aspro_regions/ # Служебная логика мультирегиональности (robots/sitemap-роутер), не контент
Disallow: /*index_ask*.php # AJAX-фрагменты форм обратной связи — тонкий дублирующийся контент
Disallow: /ajax/ # Технические AJAX-хендлеры, не для индексации
Disallow: /var/ # Служебная папка кэша/временных файлов Bitrix
Disallow: /desktop_app/ # Технические AJAX-хендлеры десктоп-приложения
Disallow: /_backup_r131/ # Служебная папка бэкапов правок (не для индексации)
Disallow: /3d-model-mg4/test.html # Тестовая страница 3D-модели, не для индексации
Disallow: /*.bak_* # Файлы бэкапов правок, случайно оказавшиеся в веб-корне
Disallow: /*?PHPSESSID= # Идентификатор сессии в URL — дубли страниц
Allow: /upload/ # Разрешить индексацию файлов в папке upload
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /local/components/
Allow: /local/cache/
Allow: /local/js/
Allow: /local/templates/
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /bitrix/catalog_export/export_gSU.xml # Разрешить файл экспорта для Google Shopping
Sitemap: https://kogalym.analizgaza.ru/sitemap.xml

User-Agent: Yandex
# Запрет на индексацию папки local (если она не должна быть доступна Яндексу)
# Директивы Clean-param для Яндекса (для очистки URL от дубликатов)
Clean-param: sort
Clean-param: sort_by
Clean-param: order
Clean-param: display
Clean-param: view_mode
Clean-param: view
Clean-param: products_on_page
Clean-param: linerow
Clean-param: bxajaxid
Clean-param: bitrix_include_areas
Clean-param: clear_cache
Clean-param: clear_cache_session
Clean-param: show_include_exec_time
Clean-param: show_page_exec_time
Clean-param: show_sql_stat
Clean-param: utm_source
Clean-param: utm_medium
Clean-param: utm_campaign
Clean-param: utm_content
Clean-param: utm_term
Clean-param: gclid
Clean-param: yclid
Clean-param: ymclid
Clean-param: from
Clean-param: adv
Clean-param: action
Clean-param: set_filter
Clean-param: sphrase_id
Clean-param: type
Clean-param: preview
Clean-param: name
Clean-param: id
Clean-param: tab
Clean-param: added
Clean-param: position
Clean-param: callibri
Clean-param: gtm_debug
Clean-param: placement
Clean-param: source
Clean-param: option
Clean-param: _r
Clean-param: sort_order
Clean-param: back_url_admin
Clean-param: success
Clean-param: SECTION_ID
Clean-param: section_id
Clean-param: IBLOCK_ID
Clean-param: PROPERTY
Clean-param: IN_STOCK
Clean-param: SIZE
Clean-param: year
Clean-param: utm_referer
Clean-param: utm_ya_campaign
Clean-param: yabizcmpgn
Clean-param: utm_candidate
Clean-param: etext
Disallow: /*?arrFilter*
Disallow: /*search*
Disallow: /local/
Disallow: /*?_ym_*
Disallow: /bitrix/*
Disallow: /*filter*

Disallow: /aspro_regions/ # Служебная логика мультирегиональности (robots/sitemap-роутер), не контент
Disallow: /*index_ask*.php # AJAX-фрагменты форм обратной связи — тонкий дублирующийся контент
Disallow: /ajax/ # Технические AJAX-хендлеры, не для индексации
Disallow: /var/ # Служебная папка кэша/временных файлов Bitrix
Disallow: /desktop_app/ # Технические AJAX-хендлеры десктоп-приложения
Disallow: /_backup_r131/ # Служебная папка бэкапов правок (не для индексации)
Disallow: /3d-model-mg4/test.html # Тестовая страница 3D-модели, не для индексации
Disallow: /*.bak_* # Файлы бэкапов правок, случайно оказавшиеся в веб-корне
Disallow: /*?PHPSESSID= # Идентификатор сессии в URL — дубли страниц
Clean-param: PHPSESSID

Host: https://kogalym.analizgaza.ru