Por fabriciano el 21 de Febrero de 2007 a las 22:54
El robot que utiliza Google (Googlebot) para indexar las páginas web no es capaz de distinguir entre un documento RSS o Atom y una página de contenidos. Esto puede hacer que tu sitio sea penalizado por mostrar contenido duplicado. Vanessa Fox, una de las portavoces de Google en todo lo relacionado con el buscador, ha advertido en un comentario del tema, escrito por Nick Braun en el Official Google Webmaster Central Blog, que es conveniente incluir unas instrucciones en el archivo robots.txt para evitar que Googlebot tome nota del contenido de estos documentos.
Si tienes uno o varios documentos que recojan los feeds de tu sitio, debes indicarle a Googlebot su existencia para que los ignore. Por ejemplo, en Disquisiciones – El Blog de Batiburrillo.net, como en todos los blogs que se asientan en Wordpress, habrÃa que poner las lÃneas siguientes dentro de robots.txt:
User-agent: Googlebot
Disallow: /wp-atom.php
Disallow: /wp-rdf.php
Disallow: /wp-rss.php
Disallow: /wp-rss2.php
Fuente | google.dirson.com
Categorías: Google, Internet
Etiquetas:
También te recomendamos:
Localiza artículos interesantes. Pregúntale a Google: