Порядок пользовательских агентов в файле robots.txt

мой robots.txt выглядит так:

User-agent: *
Disallow: /admin
Disallow: /test

User-Agent: Googlebot
Disallow: /maps

Теперь Google игнорирует часть user-agent * и только подчиняется конкретным директивам Googlebot (/ maps). Это нормальное поведение и не должно также подчиняться директивам useragent * (/ admin,/test)?

Кажется странным добавить каждую строку для каждого пользовательского агента?

3
nl ja de

1 ответы

Ничего, Google заявляет следующее:

Каждый раздел файла robots.txt является отдельным и не создает   по предыдущим разделам. Например:

     

User-agent: * Disallow:/folder1/

     

User-Agent: Googlebot Disallow:/folder2/

     

В этом примере запрещены только URL-адреса, соответствующие/folder2 /   для Googlebot.

2
добавлено
SEO chat
SEO chat
5 476 участник(ов)

Чат про SEO. Speak Russian! Др.чаты: @ppcchat @uiux_chat @devschat @smmhell Работа: @seohr Канал: @seolife Аудит: tpv.sr/1QoBSBb Стата: tpv.sr/1QoBMrK/ Запрещено: - мат и брань - команды ботам - реклама, вакансии - религия, политика, наркота, крипта