Яндекс Новые правила обработки Allow файла robots.txt

Раздел: DataLife Engine » Полезные статьи для DLE
Яндекс Новые правила обработки Allow файла robots.txt

Яндекс поиск вводит новые правила обработки директивы Allow файла robots.txt, об этом можно более подробно в публикации Я.РУ новые правила . Как всем известно, одним из методов управления поведения поисковым роботом на веб-ресурсе разными командами , является текстовый файл robots.txt. Где можно указать параметры индексирования своего веб-ресурса, как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Это позволяет задавать параметры доступа робота к некоторым частям или порталу целиком, используется директива 'Allow' и Disallow.

Раньше для того что бы исключить категории из поиска (запретить роботам индексировать) папки на портале нужно было устанавливать например директиву Disallow : /catalog.
Яндекс Новые правила обработки Allow файла robots.txt
В результате любой злоумышленник , мог понять что в этой запрещенной папке находится что-то интересное, получив доступ мог скачать конфиденциальную информацию.
И так что нового предлагает Яндекс.

Пример:
User-agent: YandexAllow: /catalogDisallow: /


# запрещает скачивать все, кроме страниц
# находящихся в '/catalog'

Сейчас для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы блога подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Примеры:
User-agent: YandexAllow: /catalogDisallow: /

# запрещает скачивать все, кроме страниц находящихся в '/catalog'
User-agent: YandexDisallow: /Allow: /catalog


# запрещает скачивать весь веб-ресурс

Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы allow и отказаться от учета порядка. Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит Яндексу соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем.

Если на вашем веб-ресурсе в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам.

Все для веб мастера «dle» ресурс рекомендуем статью для почтения Яндекс Новые правила обработки Allow файла robots.txt
  • 100
Рубрика: Все для DLE » Полезные статьи
Ранее » Find-Info полезный скрипт показывает права доступа на файлы« Далее Sl-CMS Buld beta отличный визуальный редактор css-html
Добавление комментарияОставить комментарий