Главная > Joomla > robots.txt для Joomla

robots.txt для Joomla

Приветствую уважаемые читатели блога joomlasecret.ru.

В этой статье я покажу Вам, какой должен быть robots.txt для joomla, что бы поисковые системы не индексировали ничего так сказать лишнего для посторонних глаз.

Ниже мы напишем для Яндекс и Google инструкцию обхода страниц, пропишем зеркало сайта и так же пропишем путь к sitemap.xml, т.е. к нашей карте сайта.

И так, начнем с того, что же за зверь такой «robots.txt» – это текстовый файл, в котором хранятся записи, а точнее инструкции для поисковиков, указывающие им, какие разделы, страницы сайта обходить и добавлять в поисковый индекс, а какие нет, т.е. закрывать от поисковых систем, т.е.  данные инструкции позволяют сократить время индексации сайта, избавляют нас от дублей страниц сайта, сокращают работу для поисковых систем.

Данный файл должен находиться в корне сайта.

Чтобы создать robots.txt, нужно сделать следующее (Внимание! эта инструкция только для того, у кого данный файл отсутствует):

1. Заходим через любой фтп менеджер на наш сайт;

2. Заходим в корень сайта;

3. Создаем там новый файл (только в случае его отсутствия) «robots.txt«.

 

После данных действий открываем файл и туда прописываем следующее:

User-agent: *
 Disallow: /administrator/
 Disallow: /cache/
 Disallow: /includes/
 Disallow: /installation/
 Disallow: /language/
 Disallow: /libraries/
 Disallow: /media/
 Disallow: /modules/
 Disallow: /plugins/
 Disallow: /templates/
 Disallow: /tmp/
 Disallow: /xmlrpc/

User-agent: Yandex
 Disallow: /administrator/
 Disallow: /cache/
 Disallow: /includes/
 Disallow: /installation/
 Disallow: /language/
 Disallow: /libraries/
 Disallow: /media/
 Disallow: /modules/
 Disallow: /plugins/
 Disallow: /templates/
 Disallow: /tmp/
 Disallow: /xmlrpc/
 Host: http://site.ru
 Sitemap: http://site.ru/sitemap.xml

Обратите внимание на следующие конструкции:

Host: http://site.ru — вместо site.ru впишите название вашего сайта. Данная строка указывает поисковым системам ваше главное зеркало сайта, т.е. либо с www либо без www

Sitemap: http://site.ru/sitemap.xml — вместо http://site.ru так же впишите название вашего сайта.


Комментарии:

Об авторе: admin