Составляем правильные robots.txt для своего блога
Прочитавши вот эти материалы:
http://www.linkbuildingblog.com/2007/03/increasing_your.html
http://www.liewcf.com/blog/archives/2007/03/use-robotstxt-to-increase-search-engine-rankings/
http://www.askapache.com/2007/seo/seo-with-robotstxt.html
Для своего блога составил вот такой вот robots.txt
User-agent: *
disallow: /cgi-bin/
disallow: /error/
disallow: /wp-register.php
disallow: /xmlrpc.php
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /2006/0*
Disallow: /2007/0*
Disallow: /2006/1*
Disallow: /2007/1*
Disallow: */feed/
Disallow: */trackback/
Правда судя по показаниям чекера http://www.yandex.ru/cgi-bin/test-robots
Яндекс вот этой конструкции не понимает:
Disallow: /2006/0*
Disallow: /2007/0*
Disallow: /2006/1*
Disallow: /2007/1*
А правильно понимается вот такая конструкция:
Disallow: /2006/
Disallow: /2007/