Создание robots.txt для вашего сайта.
Что такое robots.txt ?
Файл robots.txt необходим для указания поисковикам, какие страницы следует индексировать , а какие нужно закрыть от индексации.
На большинстве движках сайтов существуют разделы, которые не несут в себе ценности для пользователей. В эти разделы могут входить служебные страницы системы управления сайтом и кэш страниц.
Использование файла robots.txt упрощает взаимодействие вашего сайта с поисковыми системами и улучшает индексацию нужных страниц.
Файл robots.txt можно создать с помощью обычного блокнота. Ниже я приведу пример своего роботс.тхт.
Для понимания значений, я кратко объясню:
Allow — разрешает индексацию.
Disallow — запрещает индексацию.
Host — используется для Яндекса, показывая главное зеркало сайта.
Sitemap — указание, где находится карта сайта.
В первом столбце указания для Яндекса, а во втором для Гугла и остальных поисковых систем.
Пример моего robots.txt (Для движка WordPress.)
[colorbl style=»green-bl»]User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?
Disallow: /tag
Disallow: /poleznye-materialy
Allow: /wp-content/uploads
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?
Disallow: /links/
Disallow: /tag
Disallow: /poleznye-materialy
Allow: /wp-content/uploads
Crawl-delay: 2
User-agent: googlebot
Disallow: /links/
Crawl-delay: 2
Host: easymlm.ru
Sitemap: https://metamlm.ru/sitemap.xml
Sitemap: https://metamlm.ru/sitemap.xml.gz
Как создать robots.txt
1) Открываете блокнот.
2) Копируете содержимое и редактируете под себя.
3) Сохраняете под именем «robots.txt»
4) Размещаете в корневую директорию вашего сайта. Так, чтобы файл был доступен по адресу: http://vash-sait.ru/robots.txt
Этого достаточно, чтобы иметь правильную индексацию ваших страниц.
Делать роботов в наше время — обычное дело.
-
Соответствуйте вашим МЛМ целям.
-
Оптимизация текста на МЛМ сайте.
-
Плагины для МЛМ сайта на движке WordPress.
-
Точечный маркетинг.
-
Думайте о целях, а не о проблемах.
-
10 книг, которые перевернут ваше мировоззрение.
-
Поздравляю с новым МЛМ годом 2015!
-
Грамотный Description для МЛМ блога.
-
Рекомендатели в маркетинге.
-
Сервис автоматического наполнения групп в соц.сетях Postio.
Добавить комментарий