référencer les fichiers txt possible ou pas ?
Question en passant, les fichiers *.txt présents sur un site sont-il pris par les robots ?
Une recherche sur le net pour trouver des fichiers *.txt est quasi nulle, ils ne sont donc pas indexés par les moteurs de recherche ... Mais, car il y a un "mais" cetains sont avantagés ! Un exemple bien précis, plusieurs recherches dans google ne donnent pas de résultats et, à la limite heureusement direz-vous, car sinon quel en serait le nombre et surtout l'utilité ?
Cependant faîtes un petit essai sur Google et cherchez robots.txt : il y a des millions, voire peut-être des milliards de fichiers de ce genre sur le Net ce qui saturerait certainement et rendrait quasi illisibles tous les résultats des recherches. On ne les trouvent pas, sauf : " http://www.google.com/robots.txt " qui apparaît en première page des résultats indexés, comme toute autre page normale d'un site, et affiche bien sur tout son contenu. Une petite recherche dedans et pas de "Disallow: robots.txt" .... Ce qui veux bien dire que c'est dans l'algorythme du moteur d'indexation lui même que se trouve cette exclusion, sauf pour google.com ...
Avantage volontaire ou bug dans la programmation ?
La même recherche chez Yahoo ne donne rien, chez Bing l'on trouve "http://samantdi.net/robots.txt" qui fait référence à un "Site non actif sur cette adresse." !!!
Encore un mystère supplémentaire .... Preuve par l'image: