Правильный robots. Как написать_,ч.3

Ответить
Аватара пользователя
Third Moon
Сообщения: 2
Зарегистрирован: Вт май 24, 2016 9:47 am

Правильный robots. Как написать_,ч.3

Сообщение Third Moon » Пн янв 16, 2017 2:51 pm

Вам решать какой вариант выбрать и записать в файле.
User-agent: Yandex
Disallow:
Host: www. мойсайт. ru или
User-agent: Yandex
Disallow:
Host: мойсайт. ru
Обратите внимание, Яндекс мы называем по имени, для него все пишем отдельно.
Также при составлении правильного robots. txt вы должны прописать Sitemap. Эта директива позволит улучшить и значительно убыстрить индексацию вашего ресурса. Директива показывает роботам, по какому адресу у вас на сайте расположена карта сайта в формате . xml. Выглядит это так:
User-agent: *
Sitemap: http://мойсайт. ru/sitemap. xml. gz
Sitemap: http://мойсайт. ru/sitemap. xml
Ну вот, теперь вы сможете сами составить правильный robots. txt.
Конечный результат нашей работы выглядит так: robots. txt полностью
Затем с помощью ftp-клиента, закачиваем его в корневую папку.
Вот и всё, мы с вами молодцы.
Этот файл практически одинаковый у всех блогов. Но если вы хотите посмотреть его на интересующем вас блоге, достаточно в адресной строке набрать: Адрес блога/ robots. txt
Более подробная информация о robots. txt находиться Яндексе по адресу – http://help. yandex. ru/webmaster/? id=996567
Можно проверить и через webmaster. yandex . Кликните на «Настройка индексирования» – «Анализ robots. txt»
Для Google robots. txt проверяется по этой ссылке: https://www. google. com/webmasters/tools/crawl-access? hl=ru&siteUrl=http://site. ru/
Сайт должен быть в панели веб-мастера.
Обратите внимание, что для Яндекса и Google написание robots. txt немного

Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 8 гостей