Создание robots.txt для вашего сайта.

Что такое robots.txt ?

Файл robots.txt необходим для указания поисковикам, какие страницы следует индексировать , а какие нужно закрыть от индексации.

На большинстве движках сайтов существуют разделы, которые не несут в себе ценности для пользователей. В эти разделы могут входить служебные страницы системы управления сайтом и кэш страниц.
Использование файла robots.txt упрощает взаимодействие вашего сайта с поисковыми системами и улучшает индексацию нужных страниц.

Robots.txt для WordPress.

Файл robots.txt можно создать с помощью обычного блокнота. Ниже я приведу пример своего роботс.тхт.

Для понимания значений, я кратко объясню:
Allow — разрешает индексацию.
Disallow — запрещает индексацию.
Host — используется для Яндекса, показывая главное зеркало сайта.
Sitemap — указание, где находится карта сайта.

В первом столбце указания для Яндекса, а во втором для Гугла и остальных поисковых систем.

 

 

Пример моего robots.txt (Для движка WordPress.)

[colorbl style=»green-bl»]

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?
Disallow: /tag
Disallow: /poleznye-materialy
Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?
Disallow: /links/
Disallow: /tag
Disallow: /poleznye-materialy
Allow: /wp-content/uploads
Crawl-delay: 2

User-agent: googlebot
Disallow: /links/
Crawl-delay: 2

Host: easymlm.ru

Sitemap: https://metamlm.ru/sitemap.xml
Sitemap: https://metamlm.ru/sitemap.xml.gz

[/colorbl]

Как создать robots.txt

1) Открываете блокнот.
2) Копируете содержимое и редактируете под себя.
3) Сохраняете под именем «robots.txt»
4) Размещаете в корневую директорию вашего сайта. Так, чтобы файл был доступен по адресу: http://vash-sait.ru/robots.txt

Этого достаточно, чтобы иметь правильную индексацию ваших страниц.

 

Делать роботов в наше время — обычное дело.



Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

YOU MAY LIKE