robots.txt для DLE с учетом АГС-30

Как и обещала, выкладываю robots.txt для сайтов на Datalife Engine с учетом нового алгоритма ранжирования Яндекса АГС-30, который не терпит дублей страниц на сайте, а также страниц, которые не содержат контента либо являются “служебными”

User-agent: YandexBlog
Allow: /*

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: ru-root.ru

User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://ru-root.ru/sitemap.xml

Создайте в рутдире сайта текстовый файл с названием robots и скопируйте туда эти инструкции. После этого можете его добавить в Яндекс.Вебмастер.
Описание по аналогии с предыдущим моим постом про robots.txt для WordPress с учетом АГС-30, только, естественно, запрещающие инструкции в них разные. Точно так же закрываем все мало-мальски подозрительное для Yandex, в то время, как для остальных поисковых систем инструкции более мягкие.

Категория: CMS
Вы можете следить за комментариями с помощью RSS 2.0-ленты. В можете оставить комментарий, или Трекбэк с вашего сайта.
Комментарии (4)
  1. AntonYu пишет:

    Ну, все-таки, тупо копировать роботс этот не стоит. Надо заменить на свое:

    Host: ru-root.ru

    и

    Sitemap: http://ru-root.ru/sitemap.xml

  2. admin пишет:

    Естественно :)

    Да и не примет яндекс такой роботс, с чужим хостом-то :)

  3. solarisadmin пишет:

    Спасибо за пост, очень познавательно! И отдельное спасибо за то, что вы девушка :) Долой стереотипы! :)

  4. admin пишет:

    Всегда рада :)

Оставить комментарий

Вы должны войти, чтобы оставить комментарий.