Après la mise en place d’un petit Back-Office sur notre serveur, nous avons pensé qu’il serait bon de mettre un peu d’ordre dans nos répertoires, surtout que beaucoup d’entre eux ne servent qu’à nos tests en ligne. Ainsi, nous en avons profité pour mettre à jour notre fichier nous permettant d’indiquer à Google quels répertoires référencer ou non.
La première chose à faire est donc de créer un fichier robots.txt et de le placer à la racine de votre site web. Dans ce fichier, il vous suffit d’indiquer uniquement les répertoires que vous désirez cacher comme ci-dessous :
User-agent: *
Disallow: /blog/
Disallow: /css/
Disallow: /img/
Disallow: /js/
Remarque : Il est important de noter que dans notre cas, les dossiers listés, sont des dossiers parents. Tous les répertoires (enfants) inclus dans leurs parents hériteront des propriétés et donc ne seront pas référencés eux aussi.
Rédaction par Smoothie
Relecture et correction par Benismooth