Как составить файл Robots.txt

Мало кто из начинающих программистов обращает внимание на небольшой текстовый файл, который носит имя robots.txt. В этой статье я опишу его использование. Прежде чем писать далее хочу описать его важность. Поисковые системы - это один из хороших источников для получения приватной информации злоумышленниками. С их помощью были взломаны многие сайты и потеряна масса информации. Детали я описывать не буду, вы ведь не хотите этим заниматься?! Итак, если вам необходима приватность, пользуйтесь приведенными ниже советами. Кстати, что именно необходимо прятать в конце статьи, дочитайте :)

Что такое robots.txt и как правильно его применять?

robots.txt описывает исключения для поисковых ботов, находится он, как правило, в корневой директории. Придерживающийся стандартов бот проверяет сначала url "/robots.txt", если файл существует, то бот анализирует его содержимое на предмет наличия запретов к посещению определённых частей сайта. Имя файла не должно содержать заглавных букв. Записи в файле разделяются одной или несколькими пустыми строками. Комментарии в файле robots.txt начинаются знаком "#" и заканчиваются окончанием строки.

Опишем синтаксис:

User-agent
Имя бота, к которому применяются правила исключений на сайте. Можно прописать несколько строк с User-agent, в этом случае правила, описанные в данной записи, будут применяться указанными ботами. Для описывания правил ботам, для которых отдельная запись не составлена, применяют следующий параметр: "*" (в файле robots.txt может быть только одна запись User-agent: *).

Disallow
В данном поле прописывается полный или частичный путь к месту на сайте, посещение которого запрещено для поисковой машины. В каждой записи должно присутствовать как минимум одно поле Disallow. Пустое поле Disallow подразумевает разрешение боту посещать все директории и файлы сайта.

Рассмотрим пример простого использования файла robots.txt

######
User-agent: Yandex
Disallow: /test/
Disallow: /passwd.html
# Запрещает ботам Яндекса посещать папку http://yoursite.com/test/
# и файл http://yoursite.com/passwd.html


User-agent: Aport
User-agent: Googlebot
Disallow: /temp/secret/
# Запрещает посещение поисковыми машинами Google и Апорт http://yoursite.com/temp/secret/

User-agent: StackRambler
Disallow:
# В этом примере для бота поисковой системы Рамблер разрешено посещение всех
# страниц и папок сайта

User-Agent: *
Disallow: /page.php?action=test
# Запрещает посещение всеми ботами, для которых не сделана
#отдельная запись,
# динамических страниц, начинающихся с http://yoursite.com/page.php?action=test


Поисковой системой Яндекс поддерживается директива Host, служащая для назначения основного зеркала:

CODE
User-agent: Yandex
Disallow: /test/
Host: site.ru


User-agent: *
Disallow:
# всем ботам, кроме Яндекса, разрешено посещение всех страниц и
# папок на сайте


Рассмотрим пример запрета

CODE
User-agent: *
Disallow: /

Наиболее актуальные для Рунета боты:

Yandex
Googlebot
StackRambler
Aport

Существует также масса ботов которые не подписываются

Рекомендации по запрету к индексации

Что не следует указывать в файле robots.txt:

- папки с административными файлами
- файлы, о которых посторонним вообще знать не стоит

Прописывание путей к данным частям сайта может породить нездоровый интерес и попытки совершения зловредных действий, рады которым Вы уж точно не будете. К тому же есть и альтернативные способы запрета посещения и индексации ботами страниц.

Стоит запретить к индексации:

- документы "для печати"
- папки со скриптами
- папки с картинками (если у Вас не предвидится целевой аудитории с поиска по картинкам)
- сервисные страницы, такие как, например, страница с формой отправки письма администрации, схема проезда


Ошибки, допускаемые при составлении robots.txt
Как не надо делать:

Больше одной строки "Disallow: *"
Имя файла содержит заглавные буквы - Robots.txt или ROBOTS.TXT
Файл robots.txt размещается не в корневой директории
Пустая строка после поля User-agent
Отсутствие директивы Disallow
Использование в поле Disallow символов подстановки или регулярных выражений, например: "?", "*"

copyright 1sait.ru 2007 При перепечатке материалов ссылка на 1sait.Ru обязательна

Все статьи о раскрутке:

Способы продвижения сайта

Как раскрутить сайт?

Как составить файл robots.txt





Опубликовать свою статью