# 29.09.2026: отдельного блока Googlebot больше нет — из-за строки «User-agent: Googlebot / # Disallow: /nogooglebot/» на Google не действовал ни один общий запрет. Google читает блок «*». # Мусорные разделы закрыты заголовком X-Robots-Tag: noindex (init.php → AddNoindexHeader), а не # Disallow: при Disallow робот не заходит на страницу и не видит noindex. Поэтому в блоке «*» нет # общего запрета параметров: дубли ?tag= / ?filter= / ?t= закрыты тем же заголовком. User-agent: Yandex # 02.10.2026 (Михаил: в Яндексе переводов нет, «удаляй переводы из Яндекса»): языковые версии закрыты для Яндекса целиком — # робот не ходит в них (каждый заход на непереведённую страницу запускал платный перевод и отдавал 503), а Вебмастер # удаляет их по префиксу. Для Google не меняется (блок «*»: en индексируется, остальные — meta noindex). Disallow: /en/ Disallow: /de/ Disallow: /fr/ Disallow: /zh/ Disallow: /tr/ Disallow: /es/ Disallow: /ja/ Disallow: /en/*?page= Disallow: /de/*?page= Disallow: /fr/*?page= Disallow: /zh/*?page= Disallow: /tr/*?page= Disallow: /es/*?page= Disallow: /ja/*?page= Clean-param: filter&tag&t&PAGEN_1&PAGEN_2&SIZEN_1&SIZEN_2&ne&utm_source&utm_medium&utm_campaign&utm_content&utm_term Disallow: /bitrix/ # 30.09.2026: служебные папки и выгрузки — не для поиска (в выдачу Яндекса попал avp/registration.log с персданными) Disallow: /avp/ Disallow: /onlinelab/avp/ Disallow: /tilda/ Disallow: /av-hh/ Disallow: /doki/ Disallow: /MUR2025/ # 01.10.2026: остальной служебный мусор из выдачи (скриншоты Михаила) Disallow: /1/ Disallow: /ppqwiz/ Disallow: /pzbot/ Disallow: /stars/ Disallow: /translate/ Disallow: /live/ Disallow: /lp-files/ Disallow: /upload/hrbrand.asia/ Disallow: /services/nutricia/ Disallow: /msk/services/nutricia/ Disallow: /catalog/ Disallow: /*.txt$ Allow: /robots.txt # 16.10.2026: визитка для нейросетей (llmstxt.org) Allow: /llms.txt Disallow: /*.log$ Disallow: /*.csv$ Disallow: /*.sql$ Allow: /bitrix/components/ Allow: /bitrix/cache/ Allow: /bitrix/js/ Allow: /bitrix/templates/ Allow: /bitrix/css/ Allow: /bitrix/fonts/ Disallow: /search/ Disallow: /ajax/ Disallow: /admin/ Disallow: /pay/ Disallow: /1/ Disallow: /spasibo-za-zakaz.html # 02.10.2026: Вебмастер не удаляет страницы только с noindex в заголовке — нужен Disallow (отказы при удалении) Disallow: /payment_success.php Disallow: /bitrix/templates/aventura/ajax/ Disallow: /team/anketa- Disallow: /zalipukhi-na-9-yanvarya.php Disallow: /artgen-stage/ Disallow: /av55-tools/ Disallow: /seo/ Disallow: /pzbot/ Disallow: /*.log$ Disallow: /sitemap-files.xml Disallow: /*?* # стили и скрипты с версией ?v= нужны роботу для отрисовки страницы Allow: /*.css? Allow: /*.js? # 01.10.2026: постраничная навигация списков (площадки, артисты, статьи) — ?page=N с canonical на себя. # Без этого Allow общий запрет /*?* не пускал Яндекс на страницы 2+, и он не видел ссылки на карточки с них. # Allow длиннее Disallow → у Яндекса побеждает. Подгрузка «Показать ещё» (av55ajax) — служебная, закрыта. Allow: /*?page= Disallow: /*av55ajax= User-Agent: * Disallow: /services/progulki-na-jahte/ Disallow: /spb/services/progulki-na-jahte/ Disallow: /portfolio/28062013-g-korporativnoe-meroprijatie/ Disallow: /bitrix/ # 30.09.2026: служебные папки и выгрузки — не для поиска (в выдачу Яндекса попал avp/registration.log с персданными) Disallow: /avp/ Disallow: /onlinelab/avp/ Disallow: /tilda/ Disallow: /av-hh/ Disallow: /doki/ Disallow: /MUR2025/ # 01.10.2026: остальной служебный мусор из выдачи (скриншоты Михаила) Disallow: /1/ Disallow: /ppqwiz/ Disallow: /pzbot/ Disallow: /stars/ Disallow: /translate/ Disallow: /live/ Disallow: /lp-files/ Disallow: /upload/hrbrand.asia/ Disallow: /services/nutricia/ Disallow: /msk/services/nutricia/ Disallow: /catalog/ Disallow: /*.txt$ Allow: /robots.txt # 16.10.2026: визитка для нейросетей (llmstxt.org) Allow: /llms.txt Disallow: /*.log$ Disallow: /*.csv$ Disallow: /*.sql$ Disallow: /search/ Disallow: /spasibo-za-zakaz.html # 02.10.2026: Вебмастер не удаляет страницы только с noindex в заголовке — нужен Disallow (отказы при удалении) Disallow: /payment_success.php Disallow: /bitrix/templates/aventura/ajax/ Disallow: /team/anketa- Disallow: /zalipukhi-na-9-yanvarya.php Disallow: */index.php Disallow: /*show_include_exec_time= Disallow: /*show_page_exec_time= Disallow: /*show_sql_stat= Disallow: /*bitrix_include_areas= Disallow: /*clear_cache= Disallow: /*clear_cache_session= Disallow: /*ADD_TO_COMPARE_LIST Disallow: /*ORDER_BY #Disallow: /*PAGEN Disallow: /*?print= Disallow: /*&print= Disallow: /*print_course= Disallow: /*?action= Disallow: /*&action= Disallow: /*register= Disallow: /*forgot_password= Disallow: /*change_password= Disallow: /*login= Disallow: /*logout= Disallow: /*auth= Disallow: /*backurl= Disallow: /*back_url= Disallow: /*BACKURL= Disallow: /*BACK_URL= Disallow: /*back_url_admin= Disallow: /*?utm_source= Disallow: /*av55ajax= Disallow: /*team-detail.php Disallow: /ajax/ Disallow: /pay/ Disallow: /1/ Disallow: /en/articles/?SIZEN_2=6 Disallow: /admin Disallow: /articles/?tag=&SIZEN_2=6 Disallow: /services/nutricia/links.txt Disallow: /index.1.php Disallow: /mail-cgi_lp2019.php Disallow: /?from= Disallow: /bitrix/templates/aventura/ajax/video-popup.php?link=youtube.com/embed/vwqusUpbsqc?rel=0&showinfo=0 Disallow: /onlinelab/congrats/list.html Allow: /en/ Disallow: /admin/ Disallow: /services/progulki-na-jahte/ Disallow: /spb/services/progulki-na-jahte/ Disallow: /portfolio/28062013-g-korporativnoe-meroprijatie/ Disallow: /de/fr/ Disallow: /de/tr/ Disallow: /de/zh/ Disallow: /en/fr/ Disallow: /en/zh/ Disallow: /fr/fr/ Disallow: /fr/tr/ Disallow: /fr/zh/ Disallow: /tr/de/ Disallow: /tr/en/ Disallow: /tr/fr/ Disallow: /tr/tr/ Disallow: /tr/zh/ Disallow: /zh/de/ Disallow: /zh/fr/ Disallow: /zh/tr/ Allow: /bitrix/components/ Allow: /bitrix/cache/ Allow: /bitrix/js/ Allow: /bitrix/templates/ Allow: /bitrix/panel/ Allow: /bitrix/css/ Allow: /bitrix/fonts/ # --- служебное, не для индексации (добавлено 07.09.2026) --- # artgen-stage — сборочные картинки для статей и приёмник файлов put.php. # Папка целиком попала в sitemap-files.xml, Googlebot полез в put.php и получил 403. Disallow: /artgen-stage/ # точка перехода на источники статей Disallow: /av55-tools/ # подписанные ссылки «одобрить/отклонить» из SEO-рассылки Disallow: /seo/ # отладочные логи и служебные карты Disallow: /prev_article_debug.log Disallow: /*.log$ Disallow: /sitemap-files.xml # админка YML-фида Яндекс.Директа и её картинки Disallow: /pzbot/ # 01.10.2026: sitemap.xml — наш индекс (seo/cron-sitemap.php): карты Битрикса (его индекс — sitemap-bitrix.xml) + артисты, # площадки, подборки, типы артистов. Генератор Битрикса больше не перезаписывает sitemap.xml. Sitemap: https://av55.ru/sitemap.xml