Как и обещала, выкладываю robots.txt для сайтов на Datalife Engine с учетом нового алгоритма ранжирования Яндекса АГС-30, который не терпит дублей страниц на сайте, а также страниц, которые не содержат контента либо являются “служебными”
User-agent: YandexBlog
Allow: /*User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: ru-root.ruUser-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://ru-root.ru/sitemap.xml
Создайте в рутдире сайта текстовый файл с названием robots и скопируйте туда эти инструкции. После этого можете его добавить в Яндекс.Вебмастер.
Описание по аналогии с предыдущим моим постом про robots.txt для WordPress с учетом АГС-30, только, естественно, запрещающие инструкции в них разные. Точно так же закрываем все мало-мальски подозрительное для Yandex, в то время, как для остальных поисковых систем инструкции более мягкие.
