protéger un site en construction,robots.txt et balises meta name
Les robots, que ce soit " Googlebot ", pour le moteur le plus connus, parcourent le Net sans cesse, dans toutes les directions, 24 heures sur 24 pour trouver et enregistrer toutes ... les 'nouveautés'.
Si vous êtes en train de construire votre site et qu'il se trouve en ligne : IL FAUT LE PROTEGER !!!
1 - Pourquoi ?
Toutes les données trouvées sont enregistrées et si vous avez une page en 'travaux', incomplète, elle le sera ainsi ... à fortiori si vous travaillez en premier sur le contenu et que vous ne mettez pas de balises 'title' ou description' correctes si un 'bot' passe il en registre ce qu'il rencontre !
On trouve ainsi une floppée de pages assez "exotiques", avec les mention 'en travaux', des titres comme 'accueil', 'page1', 'en avant pépère' et autres expressions toutes aussi farfelues les unes que les autres ...
Sans parler de la balise 'description' qui les accompagne ou mieux le plus souvent qui est totalement absente ...
Le robot passe et ... hop ! la page est dans les moteurs ... tant pis pour vous !
Googlebot parcourt le contenu des sites sur le Web pour l’index de Google jour et nuit, 24 h sur 24 ...2 - Les inconvénients:
On a vite compris dans ce cas que ce qui a été enregistré par le 'bot' ne correspond pas du tout à ce que va devenir votre page une fois terminée ...
Gros problème, et cas le plus fréquent : le premier enregistrement est le 'bon' ... et lorsque vous mettez votre site 'terminé', ou plutôt lorsque vous " croyez " mettre votre site dans les moteurs ... il s'y trouve déjà, rien ne correspond ... rien ne change pendant des lustres et ... direction les 'forums d'entraide' pour y lancer un SOS !!!
ben :
- vous l'avez un peu cherché, non ?
- vous n'êtes pas sorti de l'auberge
- vous êtes bon pour une bien belle perte de temps supplémentaire, qui aurait pu très facilement être évitée ...
3 - Comment faire ?
- 3a : le fichier ' robots.txt '
Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser principalement, entre autres indications, les pages qui peuvent ou ne peuvent pas être indexées. C'est ainsi que normalement, tout moteur de recherche commence l'exploration d'un site web qu'il découvre,en cherchant le fichier robots.txt à la racine du site.
Il suffit dans le cas qui nous préoccupe ici, de ne mettre, juste que ces deux petites lignes :
User-Agent: *
Disallow: /
Ce qui signifie que pour tous les moteurs ( * ) il ne faut visiter aucune page ( Disallow: / ) ...
- 3b : les balises metas dans la partie 'head' de votre code source :
La solution du fichier 'robots.txt' doit être renforcée, ... et oui ... si quelque part se trouve un lien vers une page interne du site concerné ... il peut y avoir alors un passage qui n'auras rien de secret pour nos amis les " bots " et qui ne sera pas du tout secret !
La solution est alors, tout simplement, de placer dans le code source de TOUTES vos pages, dans leur partie " head " les lignes suivantes :
<meta name="robots" content="NOODP,noindex, nofollow, all" />
<meta name="googlebot" content="NOODP,noindex, nofollow, all" />
<meta name="googlebot-image" content="noindex, nofollow, all" />
Ceci se fait, à la main pour un site simple conçu donc à la main, ou pour des sites ayant une 'template' ou étant basés sur un cms, en éditant simplement la partie ' head ' de leur 'template' puis en y mettant ces codes en faisant un copier/coller ...
Cela signifie, en gros, que lorsqu'un " bot " arrivera sur une page, quelle qu'elle soit, il verra, si c'est celui de Google ou celui d'un autre moteur, qu'il y a des instructions qui le concernent. ( meta name="robots" ... ou "googlebot" ...)
Ces ' instructions' sont : ne pas indexer la page dans le moteur, ne pas indexer les images dans les moteurs, ne pas en suivre les liens pour aller voir d'autres pages ou ....
Là vous êtes tranquilles !!!
4 - Maintenant, mon site est terminé ...
Il continuera de ' bouger ' au fur et à mesure de sa vie, du temps, mais les pages que j'ai terminées, le sont réellement ...
... maintenant que le site est terminé, l'on corrige ces différentes interdictions, aussi bien dans le fichier " robots.txt " et dans les balises meta, en plaçant ceci par exemple:
- pour " robots.txt" :
User-Agent: *
Disallow:
ou en supprimant le fichier si vous ne vous en servez que pour cela, mais il a d'autres utilisations possibles ....
- pour les balises :
<meta name="robots" content="index, follow, all" />
<meta name="googlebot" content="index, follow, all" />
<meta name="googlebot-image" content="index, follow, all" />
et là ... hop vous " lâchez " véritablement votre site dans le monde du web .... ;)
5 - E si ... ?
Oui, et si vous ne saviez pas, si vous saviez mais bon je n'avais pas le temps ... etc etc ...
Il vous faudra alors, faire, dans une première partie la même chose que tous : soumettre votre site, vos pages aux moteurs de recherche ...
Mais, bien sur, les résultats déjà enregistrés risquent très fort de ne pas changer pour autant ... le 'bot' connait ces pages et ne va pas y retourner ou changer quoique ce soit rien que pour vous ... ;)
Ces résultats plus que "exotiques" ne serviront à rien pour votre site, si ce n'est qu'à déclasser les pages concernées dans les abîmes des résultats ...
Vous êtes donc bien avancés maintenant ! Quelles sont les solutions ? Honnêtement il n'y en a pas des foules ....
1- attendre que cela change tout seul : oui, mais ça risque de prendre plus de temps que pour le " fût du canon ..." .... autreemnt une quasi-éternité !
2- pour Google, vous pouvez effectuer, via les outils pour webmasters ( GWT ), une demande de révision du site, en expliquant ET argumentant correctement votre problème : votre site sera alors visité de nouveau, certainement (?) mis à jour, au bout de quelques semaines avec un peu de chance ... oui, je sais ... mais c'est la seule solution !
2- pour les autres moteurs, cette possibilité, à l'heure actuelle, n'existe pas, donc vous continuerez à perdre des places et des visites pendant ... "un certain temps" ... envisagez ce temps comme 'assez long' et donc c'est une retour à la solution n°1 ;)
Comme quoi, dans le monde du " référencement " tout commence (même) AVANT !
et quelques petites précautions peuvent s'avérer très souvent plus que fort utiles, donc prenez le temps de les mettre en place, ce n'en sera que mieux pour vous pour la suite .