Скрыть субдомен от Google/поисковой системы. Результат SEO?

У меня есть субомен, который я не хочу перечислять в результатах поиска. Скажем, у меня есть:

  • http://www.example.com
  • http://child.example.com

Как я могу скрыть все URL-адреса домена child.example.com , которые в настоящее время отображаются в результатах поисковой системы?

8
nl ja de

4 ответы

В корне каталога сайта субдомена добавьте файл robots.txt, содержащий:

User-agent: *
Disallow: /

Это скажет веб-сканерам не индексировать сайт вообще. Им не нужно подчиняться, но главные из них будут.

12
добавлено
Как мне сделать, когда есть общая корневая папка и имена поддоменов динамические? Google search"> stackoverflow.com/questions/21229235/…
добавлено автор Jim Geurts, источник
Вы также должны добавить noindex в индекс и другие страницы в поддомене
добавлено автор Albert D. Kallal, источник
Он будет подтвержден в следующий раз, когда индексаторы сканируют сайт. Это может быть от минут до нескольких недель, в зависимости от того, насколько важен ваш сайт. Вы можете быстрее перемещать вещи, добавляя сайт к веб-мастерам в Google и Bing и заставляя его перечитывать robots.txt - вы также можете удалить страницы из индекса.
добавлено автор Eifion, источник
Если вы хотите ускорить процесс, вы можете отправить запрос на удаление на google.com/webmasters/tools/удаление для Google и отправить URL-адрес в bing.com/toolbox/submit -site-url для Bing (да, это рекомендуемый метод для удаления страниц).
добавлено автор Blackhole, источник
Привет, я считаю, что это лучшая вещь. И еще одна вещь, дайте мне знать, если я это сделаю, сколько времени потребуется для веб-результатов? (например, Google Search) Нужно ли мне время или это произойдет внезапно?
добавлено автор matrixugly, источник

Использование файла robots.txt в вашем поддомене поможет (и Google будет подчиняться этому), но еще один шаг, который вы можете предпринять, - указать с помощью учетной записи Google Webmasters, что вы не хотите индексировать этот поддомен. Вы также можете использовать метатег на всех страницах субдомена:

    <meta name="robots" content="noindex">

Если это будет сайт, который вы используете только для внутреннего тестирования, ограничение видимости для заданного набора IP-адресов в вашем файле виртуальных хостов еще больше скроет сайт.

4
добавлено
@ 4lvin Это сделано динамически со стороны сервера. Вам нужно всего лишь закодировать его один раз. Пожалуйста, не говорите мне, что вы кодируете отдельные HTML-страницы.
добавлено автор neuracnu, источник
@ 4lvin Ouch ... удачи в этом!
добавлено автор neuracnu, источник
Вместо того, чтобы вставлять тег noindex meta на каждую страницу, вместо этого вы можете вернуть заголовок HTTP-ответа X-Robots-Tag с вашего сервера для указанного субдомена - это вы имеете только сделать один раз.
добавлено автор MrWhite, источник
На всех страницах ????? о нет..
добавлено автор matrixugly, источник
LoL, фактически «да». Потому что это очень старая/унаследованная система веб-сервисов. (вот почему его нужно сбивать). Многие изолированные страницы внутри. : D
добавлено автор matrixugly, источник

Решения от Kenzo и Paul хороши, вы можете поместить метатеги noindex на свои веб-страницы и добавить robots.txt, чтобы запретить роботы.

Но, на мой взгляд, лучшим решением является использование аутентификации паролей в вашем домене. Это единственное решение, в котором вы уверены, что роботы могут получить доступ и индексировать ваш веб-сайт. Если вы используете Apache, вы можете реализовать htpasswd .

2
добавлено

... показывается в результатах SEO?

Другие ответы более проактивно предотвращают индексирование (под) домена (в первую очередь, то, что вы задаете в вопросе), вместо того, чтобы активно удалять ваши страницы из результатов поиска, что может быть больше что вы после, судя по другим вопросам .

Вам еще нужно заблокировать свой сайт в robots.txt и использовать тег noindex meta (или X-Robots-Tag HTTP response header), как указано в других ответах, но вам также необходимо заблокировать доступ к вашим страницам, возвращая код состояния 404 или 410.

You can read more about this on the Google Webmaster Tools help page:
Requirements for removing content

После того, как вы все это на месте, вы можете использовать инструмент Удалить URL в Инструментах Google для веб-мастеров. Однако это относится только к отдельным URL-адресам, а не ко всему сайту, но это начало. (Google заявляет, что использование инструмента robots.txt, noindex и обслуживания 404 - это требования для использования средства удаления GWT.)

Однако, если вы все еще хотите, чтобы обычные пользователи могли получать доступ к сайту, введя URL-адрес, тогда это проблема - поскольку ваш контент больше не доступен. Вы можете ввести пароль, как полагает Зистолен, однако это приведет к возврату 403 (Запрещено) по умолчанию, которое вам нужно будет переопределить, чтобы вернуть 404/410. Вы могли бы скрывать свой контент, возвращая 410 роботу Google и позволяя всем остальным входить - но как насчет людей, которые нажимают на результаты в результатах поиска?

Но если вы хотите, чтобы Google удалял ваш контент в максимально сжатые сроки, вам нужно удалить его из Интернета Google.

1
добавлено
SEO chat
SEO chat
5 476 участник(ов)

Чат про SEO. Speak Russian! Др.чаты: @ppcchat @uiux_chat @devschat @smmhell Работа: @seohr Канал: @seolife Аудит: tpv.sr/1QoBSBb Стата: tpv.sr/1QoBMrK/ Запрещено: - мат и брань - команды ботам - реклама, вакансии - религия, политика, наркота, крипта