Как бороться с несуществующими страницами

Новички, размещайте в этом форуме свои вопросы и получайте рекомендации по SEO продвижению сайта, юзабилити сайта, дизайну. Обсуждаем внутреннюю и внешнюю оптимизацию, поисковые системы, SEO инструменты и сервисы.
justmary
Сообщения: 111
Зарегистрирован: 23 июл 2017, 19:04
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Как бороться с несуществующими страницами"

Сообщение justmary » 05 мар 2018, 11:20

Здравствуйте! У меня на сайте много несуществующих страниц проиндексировано. Они были в стандартном пакете Битрикса и я забыла их деактивировать. Теперь они в поиске Яндекса. Как их оттуда удалить? Может быть стоит сделать 301 редирект каждой страницы, например, на главную страницу сайта? Может что-то сделать в Яндекс.Вебмастере?

Аватара пользователя
Вадим Костин
Сообщения: 211
Зарегистрирован: 28 янв 2017, 18:01
Благодарил (а): 5 раз
Поблагодарили: 7 раз

Re: Как бороться с несуществующими страницами"

Сообщение Вадим Костин » 05 мар 2018, 12:50

Добрый день!

Все ненужные страницы и папки можно нужно закрыть от поисковых роботов robots.txt.

Есть инструкции в интернете, о том что можно закрыть в robots.txt для движка Битрикс.

Вот например: http://lockki.ru/articles/1c-bitrix/
После легкой регистрации у Вас появится возможность комментировать и создавать свои темы ;) Регистрация занимает меньше 1 минуты ;)




Аватара пользователя
Вадим Костин
Сообщения: 211
Зарегистрирован: 28 янв 2017, 18:01
Благодарил (а): 5 раз
Поблагодарили: 7 раз

Re: Как бороться с несуществующими страницами"

Сообщение Вадим Костин » 05 мар 2018, 12:56

Редирект делать не нужно. Со временем страницы выпадут из поисковой выдачи.

justmary
Сообщения: 111
Зарегистрирован: 23 июл 2017, 19:04
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Re: Как бороться с несуществующими страницами"

Сообщение justmary » 05 мар 2018, 14:54

А какое примерно время ждать, чтобы страницы пропали из поисковой выдачи?

Аватара пользователя
Вадим Костин
Сообщения: 211
Зарегистрирован: 28 янв 2017, 18:01
Благодарил (а): 5 раз
Поблагодарили: 7 раз

Re: Как бороться с несуществующими страницами"

Сообщение Вадим Костин » 05 мар 2018, 19:42

Точно по времени не скажу, но думаю от 1 дня до 1 месяца.

Также в Яндекс вебмастере есть инструмент "Удалить URL" . Там до 500 url дневной лимит.

В Google есть инструмент "Удалить URL-адреса" (Вот здесь есть полезная информация на эту тему: https://support.google.com/webmasters/answer/93710?hl=ru&ref_topic=4598466)
После легкой регистрации у Вас появится возможность комментировать и создавать свои темы ;) Регистрация занимает меньше 1 минуты ;)

justmary
Сообщения: 111
Зарегистрирован: 23 июл 2017, 19:04
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Re: Как бороться с несуществующими страницами"

Сообщение justmary » 06 мар 2018, 09:52

А нужно ли из поиска удалять 404-страницы? Или пусть остаются? Дубли надо удалять?

justmary
Сообщения: 111
Зарегистрирован: 23 июл 2017, 19:04
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Re: Как бороться с несуществующими страницами"

Сообщение justmary » 06 мар 2018, 17:54

Подскажите пожалуйста, на сайте Гугла пыталась удалить 404 страницы. Там почему-то написано, что они временно скрываются,а не удаляются. Это правильно? Еще вопрос. Гугл почему-то не выдает списка дублей и 404 страниц. Почему? Где их брать для гугла?

Аватара пользователя
Вадим Костин
Сообщения: 211
Зарегистрирован: 28 янв 2017, 18:01
Благодарил (а): 5 раз
Поблагодарили: 7 раз

Re: Как бороться с несуществующими страницами"

Сообщение Вадим Костин » 06 мар 2018, 21:10

Дубли обязательно нужно убирать из поиска. Т.к они могут заменить продвигаемую страницу. Т.е вы будите прокачивать страницу, ставить ссылки на нее, а ее подменит дубль, который не прокачан.

404 страницы со временем поисковики удалят из индекса. По возможности пользуйтесь инструментами в вебмастерах "Удалить url".

Чтобы удалить страницу на совсем из поиска Google, нужно чтобы она отдавала 404 ответ сервера, или у страницы должен быть прописан метатег:

<meta name="robots" content="noindex">

(что означает для всех поисковых роботов не индексировать страницу).

Как найти дубли можно почитать здесь: http://vachevskiy.ru/kak-najti-i-udalit-dubli-stranic-na-sajte/

О том как удалить дубли в Google: https://support.google.com/webmasters/answer/6062608?hl=ru&ref_topic=6061961&visit_id=1-636559553632908856-1000658167&rd=1

justmary
Сообщения: 111
Зарегистрирован: 23 июл 2017, 19:04
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Re: Как бороться с несуществующими страницами"

Сообщение justmary » 20 мар 2018, 10:21

Здравствуйте! У меня вопрос. Я настроила канонические URL на сайте. Яндекс продолжает обнаруживать дубли. Вот скриншот http://prntscr.com/itmu44. Нужно ли мне что-то еще настраивать на сайте или в Яндекс-вебмастере для борьбы с дублями? Может настроить 301 редирект, как советует Яндекс? Или все же канонических ссылок будет достаточно?

justmary
Сообщения: 111
Зарегистрирован: 23 июл 2017, 19:04
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Re: Как бороться с несуществующими страницами"

Сообщение justmary » 20 мар 2018, 10:46

Еще вопрос. Как поведет себя Яндекс, если есть 2 страницы https://nalog.center/catalog/ecp/kriptopro_jcp/ и https://nalog.center/catalog/ecp/cryptopro/kriptopro_jcp/. Эта страница в поиске - https://nalog.center/catalog/ecp/kriptopro_jcp/, а эта - https://nalog.center/catalog/ecp/cryptopro/kriptopro_jcp/ - дубль. Я настроила канонические URL на сайте. Но в канонических URL написано, что главная страница в поиске та, которую Яндекс посчитал за дубль. Что теперь делать? http://prntscr.com/itnd71 Это скрин канонического URL. Перенастраивать канонические URL под Яндекс?

justmary
Сообщения: 111
Зарегистрирован: 23 июл 2017, 19:04
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Re: Как бороться с несуществующими страницами"

Сообщение justmary » 20 мар 2018, 10:52

Еще вопрос. Как эта страница (https://nalog.center/services/otchetnost/fizlitsam/) может быть дублем этой (https://nalog.center/services/) страницы. Вот скриншот из Вебмастера. http://prntscr.com/itng2a

Аватара пользователя
Вадим Костин
Сообщения: 211
Зарегистрирован: 28 янв 2017, 18:01
Благодарил (а): 5 раз
Поблагодарили: 7 раз

Re: Как бороться с несуществующими страницами"

Сообщение Вадим Костин » 20 мар 2018, 20:42

Метатеги одинаковые на страницах.

odinakovye-metategi-na-stranicah (2).jpg
odinakovye-metategi-na-stranicah (2).jpg (46.39 КБ) 1659 просмотров
odinakovye-metategi-na-stranicah (1).jpg
odinakovye-metategi-na-stranicah (1).jpg (40.18 КБ) 1659 просмотров
Нерабочие разделы лучше пока деактивировать ;)

justmary
Сообщения: 111
Зарегистрирован: 23 июл 2017, 19:04
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Re: Как бороться с несуществующими страницами"

Сообщение justmary » 21 мар 2018, 09:44

Т.е. мне для каждой страницы нужно придумать свои мета-теги? Если они будут повторяться, то поисковая машина будет думать, что это страницы дубли?

justmary
Сообщения: 111
Зарегистрирован: 23 июл 2017, 19:04
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Re: Как бороться с несуществующими страницами"

Сообщение justmary » 21 мар 2018, 10:10

А на предыдущие вопросы ответите?

Аватара пользователя
Вадим Костин
Сообщения: 211
Зарегистрирован: 28 янв 2017, 18:01
Благодарил (а): 5 раз
Поблагодарили: 7 раз

Re: Как бороться с несуществующими страницами"

Сообщение Вадим Костин » 21 мар 2018, 11:10

Да, на каждой странице должны быть уникальны метатеги. Каждая страница на сайте и впределах интернета должна быть уникальна. Метатеги, контент на странице.

Ответить