Déclarer son sitemap dans le fichier robots.txt

Déclarer un Sitemap sur les différents moteurs de recherche peut améliorer le crawllage des pages lointaines dans les arborescences des sites Web.

Cela permet donc d’augmenter plus rapidement le nombre de pages indexées sur un site Internet. Il est donc intéressant de mettre ce fichier en ligne et de le déclarer auprès des moteurs de recherche

Cependant, il est fastidieux de devoir soumettre le sitemap sur tous les moteurs existant. C’est pourquoi, Google, Yahoo et Bing ont annoncés qu’une simple ligne dans le robots.txt suffirait à soumettre le sitemap.

La syntaxe exacte à mettre dans le robots.txt étant :
Sitemap: http://www.monsite.info/sitemap.xml

Cependant, comme les informations communiquées ne sont pas toujours suivi des faits, il est intéressant de vérifier la prise en compte de cette nouvelle ligne chez les principaux moteurs.

Le cas de Google :
Google est comme d’habitude un bon élève, voici sa réponse suite à une demande d’analyse du robots.txt dans l’interface Google Webmaster Tools :

Google prend donc rapidement en compte le sitemap. Il l’affiche au bout de quelques jours dans la rubrique Sitemap du Webmaster Tools sans l’avoir soumis manuellement.

Le cas de Bing :
Bing ne trouve pas d’erreur lorsque l’on vérifie le robots.txt via l’interface Webmaster mais il n’indique pas non plus que le sitemap est pris en compte. En effet, aucunes informations supplémentaires ne s’ajoutent dans l’interface « Webmaster ». On peut donc s’interroger sur la bonne prise en compte de cette technique surtout de la part de Bing…

Le cas de Yahoo :
Yahoo affirme prendre en compte les sitemaps déclarés dans le robots.txt. Nous ne pouvons cependant pas vérifier si cela est vrai, nous constatons même que plus d’un mois après avoir déclaré le sitemap dans le robots.txt, rien n’apparait dans l’interface de gestion des sitemaps de Yahoo.

Comme toujours, il faut rester prudent sur les informations que laissent transparaitre les moteurs de recherche. Pour l’instant, nous pouvons juste être sur de la prise en compte des sitemaps par Google, mais il est certain qu’avec le temps les autres moteurs l’intégrerons.

Information complémentaire : Il est possible de soumettre directement les sitemaps sur Google, Yahoo et Bing. Dans les trois cas, il est nécessaire de poster un fichier à la racine du serveur pour valider que le site nous appartient.

– Pour Google, il faut utiliser l’interface Google Webmaster Tools:
http://www.google.com/webmasters/tools/

– Pour Yahoo, il faut utiliser l’interface Site Explorer :
http://siteexplorer.search.yahoo.com/submit

– Pour Bing, il faut utiliser l’interface Webmaster Bing :
http://www.bing.com/webmaster