Estoy utilizando el siguiente robots.txt para wordpress:

# # robots.txt para tu blog en WordPress. # # Usar bajo propia responsabilidad, que nos conocemos }:) # Primero el contenido adjunto.

User-Agent: * Allow: /wp-content/images/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-includes/ Disallow: /wp-admin/

# También podemos desindexar todo lo que empiece # por wp-. Es lo mismo que los Disallow de arriba pero # incluye cosas como wp-rss.php

Disallow: /wp-

# # Sitemap permitido, búsquedas no. #

Sitemap: http://www.misitio.com/sitemap.xml Disallow: /?s= Disallow: /search

# # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que sólo # sirven como Trackback URI (y son contenido duplicado). #

Allow: /feed/$ Disallow: /feed Disallow: /comments/feed Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$

# # A partir de aquí es opcional pero recomendado. #

# Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante... # Añadir al gusto del consumidor...

User-agent: MSIECrawler Disallow: /

User-agent: WebCopier Disallow: /

User-agent: HTTrack Disallow: /

User-agent: Microsoft.URL.Control Disallow: /

User-agent: libwww Disallow: /

# # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y podéis dejarlo bajo e ir # subiendo hasta el punto óptimo. #

User-agent: noxtrumbot Crawl-delay: 50

User-agent: msnbot Crawl-delay: 30

User-agent: Slurp Crawl-delay: 10

Como primera conclusión al testearlo en Google me aparecen los siguientes resultados:

Línea 27: Sitemap: http://www.misitio.com/sitemap.xml Se ha detectado una referencia de sitemap válida. Línea 86: Crawl-delay: 50 Norma ignorada por Googlebot Línea 89: Crawl-delay: 30 Norma ignorada por Googlebot Línea 92: Crawl-delay: 10 Norma ignorada por Googlebot