Порядок пользовательских агентов в файле robots.txt

мой robots.txt выглядит так:

User-agent: *
Disallow: /admin
Disallow: /test

User-Agent: Googlebot
Disallow: /maps

Теперь Google игнорирует часть user-agent * и только подчиняется конкретным директивам Googlebot (/ maps). Это нормальное поведение и не должно также подчиняться директивам useragent * (/ admin,/test)?

Кажется странным добавить каждую строку для каждого пользовательского агента?

3
добавлено
Просмотры: 1
de

1 ответы

Ничего, Google заявляет следующее:

Каждый раздел файла robots.txt является отдельным и не создает   по предыдущим разделам. Например:

     

User-agent: * Disallow:/folder1/

     

User-Agent: Googlebot Disallow:/folder2/

     

В этом примере запрещены только URL-адреса, соответствующие/folder2 /   для Googlebot.

2
добавлено