Должен ли я блокировать ботов с моего сайта и почему?

Мои журналы заполнены посетителями ботов, часто из Восточной Европы и Китая. Боты идентифицируются как Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou и т. Д. Должен ли я блокировать эти боты с моего сайта и почему?

Какие из них имеют законную цель в увеличении трафика на мой сайт? Многие из них - SEO.

Должен сказать, что я вижу less трафик, если что-то, так как боты прибыли в больших количествах.

Было бы не так уж сложно блокировать их, поскольку все они признают в своем User Agent, что они боты.

9
nl ja de

2 ответы

Вы можете блокировать ботов, но это зависит от того, что вы хотите для своего сайта.

Вы можете блокировать поисковые роботы, если вы не хотите, чтобы ваш сайт индексировался в определенной поисковой системе.
Пример: Yandex - это русская поисковая система. Вы можете заблокировать своего бота, если ваш бизнес не нацеливается на Россию.

Вы можете блокировать ботов SEO, если вы не хотите использовать их решение для веб-аналитики.
Пример: Ahrefs - это решение для веб-аналитики. Вы можете заблокировать его бот, если вы не используете это решение для веб-аналитики.

Причина блокировки ботов:

  • меньше роботов переходят на ваш веб-сайт, и больше полосы пропускания приписываются реальным посетителям.
  • быть в безопасности от вредоносных ботов
  • размер журналов

Причина не блокировать ботов:

  • Боты, подобные поисковым роботам, могут увеличить ваш трафик, индексируя ваш сайт.

Вы можете узнать больше о ботах, прочитав FAQ robotstxt.org .

Если вы хотите определить несколько роботов для блокировки, вы можете получить вдохновение от этого веб-сайта robots.txt .

Будьте осторожны, некоторые боты могут игнорировать robots.txt , более подробную информацию здесь .

Conclusion: You can search on internet robots function to determine if blocking them can be useful.

6
добавлено
Если бы я был вами, я не блокировал Linode. Я не знаю, что именно это касается хостинга.
добавлено автор geofftnz, источник
Как Linode. Роботы сканируют интернет, даже если вы или они никогда не подписываетесь на учетную запись. Но не волнуйся, это неважно.
добавлено автор geofftnz, источник
Благодарю. Кстати, я также посещаю Linode. UA говорит, что это скрипт Python. Должен ли я быть подозрительным?
добавлено автор Follow The Sun, источник
Как насчет IPStrada? Я вижу, что они появляются время от времени. Они никогда не подписываются на учетную запись.
добавлено автор Follow The Sun, источник

При попытке заблокировать боты могут помочь в освобождении ресурсов и очистке журналов, важно отметить, что robots.txt и даже использование метатега на страницах noindex фактически не останавливает ботов, посещающих ваш сайт. Они иногда могут сканировать ваш сайт, чтобы узнать, удалено ли из роботов. Многие боты даже не используют пользовательский агент и будут использовать стандартный пользовательский агент. Боты, о которых я говорю, обычно являются сборщиками SEO-роботов, которые сканируют обратные ссылки, а не общие из поисковых систем.

Вместо того, чтобы блокировать ботов, вы должны просто учитывать эти боты при подсчете посетителей, через некоторое время активно отслеживая свой сайт, вы устанавливаете приблизительную цифру, которая является ботом. Большинство людей заботятся о уникальных посещениях, и это исключает ботов, поскольку они постоянно возвращаются. В этот день и возраст существует множество серверов, общий хостинг, которые могут обрабатывать эти боты, а не страницы, которые вы не хотите индексировать. Я не вижу причин блокировать эти типы ботов. Конечно, у вас есть вредные боты, но они, конечно же, не будут использовать пользовательский агент;).

Лично я считаю, что блокирующие роботы - пустая трата времени, так как они не используют столько ресурсов, SEO-роботы могут помочь, когда они перечисляют ваш сайт на страницах PR0, что, конечно же, увеличивает ваш PageRank и там автоматизируется, поэтому вы не будете наказаны ими.

Журнал проблем

Вы должны использовать правильный просмотрщик журналов, который позволяет отфильтровывать определенные запросы, что облегчает просмотр ваших журналов. Хорошие зрители могут отфильтровывать множество вещей, таких как обычные визиты, 404s и т. Д.

4
добавлено
Привет, Фрэнк, они просматривают обратные ссылки и регистрируют их, чтобы веб-мастера могли видеть, кто с ними связан. Это большие деньги для компаний SEO, чтобы регистрировать обратные ссылки и поручать веб-мастерам, чтобы узнать, кто их связывает, когда ссылка была создана, если она была удалена, если ее последуют или не последуют - какой якорный текст они используют и т. Д. Google, Bing не предоставляют эту информацию, поэтому ее желательная услуга и ценность для большинства веб-мастеров, желающих посмотреть на свою сеть ссылок.
добавлено автор Simon Hayter, источник
Также не стоит ничего, что многие уязвимости, которые ищут люди, собираются с помощью поисковых систем и не имеют сканирования ботов на каждом отдельном сайте. Например, если модуль/плагин устарел, и известные пользователи используют Google для поиска этих сайтов для их использования. Блокирующие роботы не будут защищать ваш сервер: P
добавлено автор Simon Hayter, источник
@DaveP абсолютно;) thx - исправлено.
добавлено автор Simon Hayter, источник
Почему поисковые роботы сканируют обратные ссылки? Это просто потому, что это то, что используют консультанты SEO? Или есть еще одна зловещая цель?
добавлено автор Follow The Sun, источник
@bybe По 'vulablites', вы имеете в виду «уязвимости»?
добавлено автор Jonathan Wood, источник
SEO chat
SEO chat
5 476 участник(ов)

Чат про SEO. Speak Russian! Др.чаты: @ppcchat @uiux_chat @devschat @smmhell Работа: @seohr Канал: @seolife Аудит: tpv.sr/1QoBSBb Стата: tpv.sr/1QoBMrK/ Запрещено: - мат и брань - команды ботам - реклама, вакансии - религия, политика, наркота, крипта