Utilisez ce modèle par défaut pour le fichier Robots.txt de votre installation WordPress :

Version 1 en laissant le champs libre à Google :

# On autorise tout
User-agent: *

Version 2 en bloquant Google :

# On bloque certains types de contenus
User-agent: *
Disallow: /wp-login.php
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi
# On laisse faire Google Images
User-agent: Googlebot-Image
Disallow:
# On laisse faire la régie publicitaire de Google
User-agent:

Le code donné ci-dessus est celui présent dans le livre Optimiser son référencement WordPress et peut s’adapter à n’importe quelle installation de WordPress.

Attention cependant, en fonction de votre hébergement, du thème et des extensions, il peut parfois être nécessaire de l’adapter.

Ces pages sur SeoMix peuvent vous intéresser :