sitemap et robots
Le fichier sitemap.xml , recommandé par Google, yahoo, Exalead, Live Search et autres, est fort utile à l'indexation des pages par une grande majorité de moteurs. Mais tous les spiders ne le prennent pas forcément en compte.
Tous les moteurs de recherche ne proposant pas d'interface pour
soumettre cette liste à leur index, une autre méthode, solution bien pratique, consiste à
ajouter le chemin vers le sitemap dans le fichier robots.txt via la
syntaxe : Sitemap: http://www.monsite.info/sitemap.xml
.