El robot que utiliza Google (Googlebot) para indexar las páginas web no es capaz de distinguir entre un documento RSS o Atom y una página de contenidos. Esto puede hacer que tu sitio sea penalizado por mostrar contenido duplicado. Vanessa Fox, una de las portavoces de Google en todo lo relacionado con el buscador, ha advertido en un comentario del tema, escrito por Nick Braun en el Official Google Webmaster Central Blog, que es conveniente incluir unas instrucciones en el archivo robots.txt para evitar que Googlebot tome nota del contenido de estos documentos.
Si tienes uno o varios documentos que recojan los feeds de tu sitio, debes indicarle a Googlebot su existencia para que los ignore. Por ejemplo, en Disquisiciones - El Blog de Batiburrillo.net, como en todos los blogs que se asientan en Wordpress, habría que poner las líneas siguientes dentro de robots.txt:
User-agent: Googlebot
Disallow: /wp-atom.php
Disallow: /wp-rdf.php
Disallow: /wp-rss.php
Disallow: /wp-rss2.php
Fuente | google.dirson.com
Escribe un comentario
Debes iniciar sesión para escribir un comentario.
