Правильный robots. Как написать_,ч.2

Ответить
Аватара пользователя
Admiral Tot
Сообщения: 2
Зарегистрирован: Чт фев 25, 2016 1:10 pm

Правильный robots. Как написать_,ч.2

Сообщение Admiral Tot » Чт ноя 24, 2016 3:33 pm

txt должен содержать
User-agent: *
Disallow:
В таком контексте мы разрешаем индексацию блога полностью.
А вот если после Disallow поставить /
User-agent: *
Disallow: /
Значит, что роботам вход запрещен и индексировать тут ничего не надо.
Теперь смотрите. Если мне надо запретить индексацию каталога cot, пишем так
User-agent: *
Disallow: /cot/
Поисковик этот каталог будет игнорировать.
Обратите внимание на / в конце. Если ее убрать, то это будет означать запрещение индексации директории «cot».
Что значит директория? Это файлы у которых в названии есть cot, к примеру: cot. html, cot2, cot 777 и т. д.
User-agent: *
Disallow: /cot
Мы с вами выяснили, что Disallow: запрещает. Но представьте ситуацию, когда вам нужно все запретить и только, что то одно разрешить. Как быть в этом случае? Тут на помощь приходит Allow: Например, я хочу разрешить страницу мойсайт/ru/cot. php? … что-то там
User-agent: *
Allow: / мойсайт/ru/cot. php? … что-то там
Disallow: /index. php
Звездочка * в файле robots. txt. означает «любой робот». User-agent: * – имя робота мы не пишем. Именное обращение – User-agent: Yandex.
Директива «Host» используется только для Яндекса. Она предназначена для определения основного зеркала сайта. Имеется в виду www и без него. При условии отсутствия склейки поисковик будет думать, что у вас два сайта. А значит, все будет делиться по-братски и трафик, и тиц, и многое другое. Вам решать какой вариант выбрать и записать в файле.

Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость