Recherche




• Catégories

  • Accessibilité
  • Belgique
  • Blog
  • Clavier
  • Divers
  • Ergonomie
  • Firefox
  • Image
  • Informatique
  • Marketing
  • Référencement
  • Typographie
  • Web
  • Webmastering
  • Wordpress

• Blogs à lire

  • Ergonomie web
  • Ergophile
  • Expressions
  • Redaction
  • Référencement, design & cie

• Archives

  janvier 2012  (1) décembre 2011  (1) octobre 2011  (13) septembre 2011  (1) juin 2011  (2) décembre 2010  (2) novembre 2010  (4) octobre 2010  (3) juillet 2010  (3) juin 2010  (5) mai 2010  (2) avril 2010  (1) mars 2010  (4) février 2010  (7) janvier 2010  (10) décembre 2009  (9) novembre 2009  (4) octobre 2009  (4) septembre 2009  (7) août 2009  (3) juillet 2009  (5) juin 2009  (2) mai 2009  (1) avril 2009  (1) mars 2009  (5) février 2009  (2) janvier 2009  (6) décembre 2008  (1) novembre 2008  (3) octobre 2008  (6) septembre 2008  (4) août 2008  (1) juillet 2008  (1) juin 2008  (12) mai 2008  (20) avril 2008  (13) mars 2008  (7) février 2008  (4) janvier 2008  (16) décembre 2007  (3) novembre 2007  (11) octobre 2007  (3) septembre 2007  (15) août 2007  (24) juillet 2007  (101) octobre 2005  (1)

• Blog

  • À propos
  • Charte
  • Contact
  • RSS
  • 

Avant de parcourir votre site web, la plupart des robots font appel au fichier robots.txt. Comme son nom l'indique, il s'agit d'un fichier texte qui contient des règles d'exclusion vis à vis de certains moteur de recherche. La pratique montre le respect de ces règles par la plupart des moteurs mais aucune garantie ne peut être apportée.

Ce fichier n'est pas obligatoire. En son absence, le robot considère qu'il peut tout indexer. Il répond également à une norme d'exclusion (Robots Exclusion Standard) qui est censée être universelle.

Créer un fichier robots.txt

Pour créer le fichier, ouvrez un éditeur de texte de type Bloc-notes de Windows. Enregistrer le document sous le nom de « robots.txt » (en minuscules et au pluriel) puis envoyez-le sur le serveur distant à la racine du site. Il faut pour cela posséder un nom de domaine car les offres d'hébergement gratuites ne permettent pas de remonter à la racine du site.

La première ligne est un commentaire. Il doit toujours commencer par # et tenir sur une ligne. Ce document comporte un commentaire suivi de deux enregistrements. Chaque enregistrement commence par définir le type de robot visé (User-agent) ensuite les instructions à suivre. Dans l'exemple, l'enregistrement s'adresse à tous les robots (*) et doit ignorer (disallow) tout ce qui se trouve dans le répertoire private ainsi que tous les documents private. Le deuxième enregistrement est séparé par un retour à la ligne vide. Il interdit au robot de Google (Googlebot) d'indexer tous les fichiers textes dans le dossier import ainsi que la page referencement.html qui se trouve dans le dossier acorriger.

Visitez l'outil statistiques fournit par votre hébergeur pour connaître les robots d'indexation. Sur mon blog, les principaux sont: MSN Bot, Google Bot et Google Bot Image, Cuil et Slurp (Yahoo). Si cette option n'est pas comprise dans votre forfait, utilisez un utilitaire en ligne comme SpyWords.com.

Commentaires