Как закрыть сайт от индексации в robots txt

Новички, размещайте в этом форуме свои вопросы и получайте рекомендации по SEO продвижению сайта, юзабилити сайта, дизайну. Обсуждаем внутреннюю и внешнюю оптимизацию, поисковые системы, SEO инструменты и сервисы.
Ответить
Аватара пользователя
Вадим Костин
Сообщения: 239
Зарегистрирован: 28 янв 2017, 18:01
Благодарил (а): 5 раз
Поблагодарили: 7 раз

Как закрыть сайт от индексации в robots txt"

Сообщение Вадим Костин » 09 сен 2018, 17:59

Как закрыть сайт от индексации в robots txt

Когда нужно полностью закрывать сайт от индексации?

1. Когда разрабатывается новый сайт.
2. Когда делается редизайн сайта на поддомене.
3. Тестовые версии сайта на поддоменах.

Закрывать сайт +от индексации полностью нужно для того, чтобы в поисковую выдачу не попадали страницы, которые не оформлены полезным контентом или страницы с ошибками (недоработанные страницы), а также не нужные страницы.

Закрыть от индексации весь сайт можно несколькими способами:

Способ 1

Для этого в корне сайта нужно создать файл robots.txt (файл можно создать в обычном текстовом блокноте), и прописать в нем следующее правило:

Код: Выделить всё

User-agent: Googlebot
Disallow: /
Данное правило закроет сайт от поискового робота Google.

Или,

Код: Выделить всё

User-agent: *
Disallow: /
Данное правило закроет сайт от всех поисковых систем (Яндекс, Google и других).

Способ 2.

На каждой странице сайта в исходном коде в секции <head></head> нужно прописать следующий метатег:

Код: Выделить всё

<meta name="robots" content="none"/>

Данное правило закроет сайт полностью от всех поисковых систем (Яндекс, Google и других).

Или,

Код: Выделить всё

<meta name="Googlebot" content="none"/>
Данное правило закроет сайт от поискового робота Google.

Итак, в этой статье рассмотрели два основных способа как закрыть сайт полностью от индексации.

Для роботов Google лучше использовать 2й вариант, т.к правила в robots.txt google может проигнорировать. Для Яндекса вполне подойдет 1й вариант.

Также можно сайт закрыть с помощью авторизации. Т.е вход на сайт сделать по логину и паролю.




Если Вы знаете еще какие-либо способы, то напишите об этом в комментарии ;)
После легкой регистрации у Вас появится возможность комментировать и создавать свои темы ;) Регистрация занимает меньше 1 минуты ;)

Ответить