Блокирование сайта от поисковых систем.

Ранее я писал о том, как добавить ваш МЛМ блог в поисковые системы, а сегодня мы поговорим об обратном, но тоже важном моменте.

Запрет индексации сайтапроводят, когда нужно сохранить конфиденциальность некоторых страниц или всего ресурса на некоторое время или постоянно. Эта мера предпринимается посредством внесения поправок в файлы, непосредственно отвечающих за связь с роботизированными поисковыми системами.

Блокировка сайта в ПС.

 

Причины блокирования индексации.

Для начинающего вебмастера, контент менеджера или оптимизатора может быть непонятно, с какой целью необходимо провести меры по блокированию его частей от индексирования. Поисковые системы функционируют постоянно и велика возможность того, что, наткнувшись на новую информацию, они ее запомнят и будут опираться именно на первый информационный код.  Можно выделить такие причины, по которым возникает необходимость запретить индексацию сайта:

  • Если ресурс, не готовый к полноценному функционированию выложен в сеть в порядке тестирования, нежелательно, чтобы поисковики зарегистрировали данные о нем до того, как его контент будет оптимизирован. Это делается во избежание ложных кодов в системах поиска. Неадекватные коды могут впоследствии внести путаницу, когда контент сайта будет актуальным;
  • На любом ресурсе есть конфиденциальные блоки, на которые лучше наложить запрет индексации путем создания файла robots txt. Сюда относятся административная часть, регистрационные данные аккаунтов и информационные формы. Для систем поиска данные, находящиеся в таких разделах – лишняя информация, которая будет способствовать ложным переходам на ресурс;
  • Если необходимо изменить содержимое страниц при удалении или замене мета-тегов, можно произвести временный запрет индексации сайта для адекватного определения страницы после назначения актуальных тегов.

 

Как защитить ресурс от индексирования.

Индексируя сайт, системы поиска ориентированы на работу с файлом формата txt, месторасположение которого —  корневая директория. Когда надо запретить индексацию сайта robots txt (так называется этот файл) предоставит всю необходимую информацию поисковикам. Если robots.txt еще не занесен в корень, это нужно обязательно сделать. Прописывается данный документ в обычном блокноте. Для одного ресурса используется только один документ с таким названием.

 

В случае, когда надо запретить индексацию сайта целиком, в файл вносится такая поправка:

 

User-agent: *

Disallow: /

 

блокирования отдельной папки:

 

User-agent: *

Disallow: /private/

 

Здесь звездочку можно заменить словами «yandex» или «googlebot», чтобы был блокирован только один вид поисковиков. Для запрета индексации сайта robots txt – самое эффективное средство. Однако, существуют и альтернативные способы.

 

Альтернативные способы блокировки поисковиков. 

Процедуру блокирования еще можно произвести так:

  • Прописывание коде защищаемой страницы происходит посредством замены тегов в заголовке ее кода:

 

<head> <meta name=»robots» content=»noindex, nofollow»> </head>;

 

  • Если возникает необходимость блокировать доступ поисковых систем к одной ссылке при помощи протокола rel, это делается так:

 

<a href=http://www.best-country.org rel=»nofollow»>ссылка</a>

 

Единственный минус такого метода  — это то, что таким способом практически невозможно скрыть ссылку от Яндекса. Есть и другие, но менее эффективные методы блокирования сайта.

 

Так что вопрос «как закрыть сайт от индексации», решается быстро и просто. Главными вопросами, которые нужно выяснить для эффективного осуществления процедуры являются вопросы о том, для чего конкретно производится запрет индексации и как это удобнее всего сделать в конкретном случае.



5 комментариев на «“Блокирование сайта от поисковых систем.”»

  1. Виктор Лазарев:

    Спасибо Александр!
    Узнаю от вас множество полезных тонкостей. Ваш сайт клад для новичков МЛМ !

  2. Ольга Кузнецова:

    Уважаемый, Александр! А если уже произошла блокировка, уже не вернуть сайт?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

YOU MAY LIKE