Fichier robots.txt : rôle, syntaxe, exemples et erreurs à éviter

Salle de serveurs où sont hébergés les sites web dont le fichier robots.txt guide l'exploration des robots

Le fichier robots.txt est un fichier texte placé à la racine d’un site web qui indique aux robots d’exploration, comme Googlebot, les URL qu’ils peuvent explorer et celles qu’ils doivent laisser de côté. Il sert à gérer l’exploration (le crawl) de votre site. Il ne retire pas une page des résultats de recherche : pour cela, Google recommande la balise noindex ou une protection par mot de passe.

Les règles décrites ici suivent la documentation de Google Search Central et la norme RFC 9309, vérifiées en novembre 2026.

À quoi sert le fichier robots.txt ?

Le robots.txt applique le protocole d’exclusion des robots, une méthode définie par Martijn Koster en 1994 et normalisée par l’IETF en septembre 2022 sous la référence RFC 9309. Il contient des règles lues par les robots avant d’explorer les pages d’un site.

Selon la présentation du fichier robots.txt par Google, son usage principal est d’éviter de surcharger votre serveur de requêtes. Pour le référencement naturel, il sert aussi à orienter les robots vers les pages utiles, et permet de :

  • empêcher l’exploration de zones sans intérêt pour la recherche (administration, panier, résultats de recherche interne) ;
  • éviter que les robots perdent du temps sur un grand nombre d’URL à paramètres (filtres, tris) ;
  • indiquer l’adresse de votre sitemap XML ;
  • définir des règles différentes selon le robot, par exemple pour les robots d’intelligence artificielle.

Le fichier n’a pas de force contraignante. Googlebot et Bingbot le respectent, mais un robot malveillant peut l’ignorer. Le robots.txt n’offre donc aucune sécurité : n’y listez pas une adresse que vous voulez garder secrète, puisque le fichier est public.

Robots, crawling et Googlebot

Un robot d’exploration (crawler, ou robot d’indexation) est un programme qui parcourt le web en suivant les liens, télécharge les pages et transmet leur contenu au moteur de recherche. Ce parcours s’appelle le crawling. Googlebot est le robot de Google ; il existe en version smartphone et ordinateur, et les deux suivent les mêmes règles dans le fichier robots.txt, d’après la liste des robots d’exploration de Google.

Où placer le fichier et quelles règles de validité

Le fichier doit s’appeler exactement robots.txt, en minuscules, et se trouver à la racine de l’hôte : https://www.exemple.fr/robots.txt. Un fichier rangé dans un sous-dossier n’est pas lu. Pour vérifier celui d’un site, il suffit d’ajouter /robots.txt après le nom de domaine dans le navigateur.

La page de Google sur l’interprétation de la spécification robots.txt précise plusieurs limites techniques :

  • les règles ne valent que pour l’hôte, le protocole et le port où le fichier est publié : www.exemple.fr, exemple.fr et blog.exemple.fr ont chacun leur propre fichier ;
  • le fichier doit être encodé en UTF-8 ; Google ignore le contenu au-delà de 500 Kio ;
  • Google garde en général le fichier en cache 24 heures, ce qui explique le délai avant la prise en compte d’une modification ;
  • les directives elles-mêmes ne tiennent pas compte de la casse, mais les adresses oui : /Blog/ et /blog/ sont deux dossiers différents.

Ce que fait Google selon la réponse HTTP du fichier

Code HTTP renvoyé par /robots.txtComportement de Google
2xx (succès)Le fichier est lu et appliqué tel quel.
3xx (redirection)Google suit au moins cinq redirections, puis traite le fichier comme absent.
4xx (sauf 429)Google considère qu’il n’y a pas de fichier : toutes les URL peuvent être explorées.
5xx ou serveur injoignableL’exploration est suspendue pendant 12 heures, puis Google utilise la dernière version connue pendant 30 jours.

Conséquence pratique : une erreur serveur sur le robots.txt peut bloquer l’exploration de tout le site, alors qu’un fichier absent (404) n’en bloque aucune partie. Les codes de réponse sont détaillés dans notre article sur les erreurs 404 et redirections 301.

Ordinateur portable avec un éditeur de texte ouvert pour rédiger les règles d'un fichier robots.txt

La syntaxe du robots.txt : User-agent, Disallow, Allow et Sitemap

Le fichier se compose de groupes. Chaque groupe commence par une ou plusieurs lignes User-agent, suivies des règles qui s’appliquent à ces robots. Google prend en charge quatre champs.

DirectiveRôleExemple
User-agentDésigne le robot concerné ; * vise tous les robotsUser-agent: Googlebot
DisallowInterdit l’exploration d’un dossier ou d’une URLDisallow: /panier/
AllowOuvre une URL à l’intérieur d’une zone interditeAllow: /panier/aide.html
SitemapDonne l’URL complète du sitemapSitemap: https://www.exemple.fr/sitemap.xml

User-agent : choisir le robot visé

La valeur de User-agent est le nom de l’agent utilisateur du robot : Googlebot, Bingbot, GPTBot. Un robot suit le groupe qui le désigne le plus précisément et ignore les autres. Si vous créez un groupe pour Googlebot, celui-ci n’appliquera plus les règles du groupe *.

Disallow et Allow : bloquer ou ouvrir un chemin

Disallow suivi d’un préfixe bloque toutes les URL qui commencent par ce préfixe. Un Disallow vide n’interdit rien. Quand une règle Allow et une règle Disallow concernent la même URL, Google applique la règle la plus spécifique, c’est-à-dire celle dont le chemin est le plus long. En cas d’égalité, il choisit la moins restrictive.

Les caractères * et $

Le caractère * remplace n’importe quelle suite de caractères ; le caractère $ marque la fin de l’URL. Disallow: /*.pdf$ bloque ainsi tous les fichiers PDF, et Disallow: /*?tri= bloque les URL qui contiennent ce paramètre de tri.

Sitemap et Crawl-delay

La ligne Sitemap peut être placée n’importe où dans le fichier et répétée si vous avez plusieurs sitemaps. Crawl-delay, que l’on croise encore dans des exemples anciens, n’est pas pris en charge par Google, qui ignore cette ligne.

Créer un fichier robots.txt en quelques étapes

Un fichier simple suffit à la plupart des sites vitrines et des blogs. La méthode reste la même quel que soit l’hébergement :

  1. Ouvrez un éditeur de texte brut (Bloc-notes, ou TextEdit en mode texte) et enregistrez le document en robots.txt, encodé en UTF-8.
  2. Écrivez un groupe User-agent: * puis les seules zones à exclure : administration, panier, recherche interne.
  3. Ajoutez l’adresse complète de votre sitemap.
  4. Déposez le fichier à la racine du site par FTP ou via le gestionnaire de fichiers de votre hébergeur.
  5. Vérifiez que vous pouvez y accéder depuis le navigateur, puis faites un test sur quelques URL importantes avec l’outil d’inspection de la Search Console.

Vous devez rester sobre : chaque règle ajoutée est une occasion d’erreur. Avant de bloquer une section, la bonne question est de savoir si un internaute aurait une raison de la consulter depuis Google. Si oui, laissez-la ouverte.

Exemples de fichier robots.txt

Autoriser tout le site

InstructionEffet
User-agent: *Le groupe s’applique à tous les robots
Disallow:Aucune URL n’est interdite
Sitemap: https://www.exemple.fr/sitemap.xmlIndique le plan du site

Bloquer l’ensemble du site (site en préproduction)

InstructionEffet
User-agent: *Tous les robots
Disallow: /Toutes les URL sont interdites à l’exploration

C’est la configuration à retirer le jour de la mise en ligne. Un « Disallow: / » oublié après une refonte provoque un blocage complet de l’exploration, sans aucun message d’erreur visible pour les visiteurs.

Bloquer un dossier mais ouvrir un fichier

InstructionEffet
User-agent: *Tous les robots
Disallow: /espace-client/Le dossier espace-client n’est pas exploré
Allow: /espace-client/conditions.htmlSauf cette page, dont la règle est plus spécifique
Disallow: /*?filtre=Les URL de filtres ne sont pas explorées

Robots.txt, noindex ou mot de passe : quel outil pour quel objectif ?

Le robots.txt contrôle l’exploration, pas l’indexation. Google l’écrit clairement : si d’autres pages font un lien vers une URL bloquée, celle-ci peut être indexée et apparaître dans les résultats, sans description. Le moteur connaît l’adresse sans avoir lu la page.

Votre objectifOutil adaptéPourquoi
Limiter l’exploration de zones inutiles (filtres, recherche interne)robots.txtLes robots n’y passent plus de temps
Retirer une page des résultats de GoogleBalise meta robots noindex ou en-tête X-Robots-TagLa page doit rester explorable pour que Google lise l’instruction
Protéger des données confidentiellesMot de passe ou restriction côté serveurLe robots.txt est public et non contraignant
Supprimer définitivement un contenu déjà indexéSuppression de la page (code 404 ou 410)L’URL finit par sortir de l’index

Le piège classique est de combiner les deux méthodes : une page en noindex et bloquée dans le robots.txt. Google ne peut pas explorer la page, donc ne peut jamais voir le noindex, et l’URL peut rester indexée. La documentation Google sur le noindex rappelle que la page ne doit pas être bloquée pour que la balise soit prise en compte.

Le robots.txt sur WordPress

WordPress génère un robots.txt virtuel tant qu’aucun fichier physique n’existe à la racine. La fonction do_robots, décrite dans la référence développeur WordPress, produit par défaut un groupe User-agent: *, une ligne Disallow vers /wp-admin/ et une ligne Allow pour /wp-admin/admin-ajax.php, qui sert au fonctionnement de certaines extensions.

Trois façons de modifier ce fichier :

  1. Avec une extension SEO : Yoast SEO et Rank Math proposent un éditeur de robots.txt dans leurs outils, sans accès au serveur.
  2. Par FTP ou le gestionnaire de fichiers de l’hébergeur : créez un fichier robots.txt à la racine ; il remplace alors le fichier virtuel.
  3. Par code, avec le filtre robots_txt, si vous développez votre propre thème ou extension.

L’option « Demander aux moteurs de recherche de ne pas indexer ce site », dans les réglages de lecture, n’ajoute plus « Disallow: / » depuis WordPress 5.3 : elle passe par une balise meta robots. Vérifiez-la quand même après une mise en ligne, car elle empêche l’indexation de toutes les pages.

Sur un site WordPress, ne bloquez pas les dossiers wp-content ou wp-includes : ils contiennent le CSS, le JavaScript et les images dont Google a besoin pour afficher la page. Google prévient que bloquer ces ressources l’empêche de bien comprendre les pages qui en dépendent, ce qui peut aussi fausser l’évaluation de vos Core Web Vitals et de la version mobile.

Écran d'ordinateur affichant du code de site web, configuration du robots.txt sur WordPress

Bloquer ou autoriser les robots d’IA

Les éditeurs d’IA publient la liste de leurs robots, ce qui permet de décider robot par robot. Deux exemples documentés :

  • Google-Extended : ce jeton ne correspond pas à un robot distinct : il contrôle la possibilité d’utiliser vos contenus pour l’entraînement des modèles Gemini et l’ancrage de leurs réponses. Google précise qu’il n’a aucun effet sur l’inclusion ni sur le classement dans la recherche Google.
  • GPTBot et OAI-SearchBot : d’après la page d’OpenAI sur ses robots, GPTBot sert à l’entraînement des modèles, tandis qu’OAI-SearchBot alimente la recherche de ChatGPT. Bloquer le second retire le site des réponses de recherche de ChatGPT.

Pour refuser l’entraînement tout en restant visible dans la recherche de ChatGPT, il faut un groupe « User-agent: GPTBot » avec « Disallow: / » et un groupe « User-agent: OAI-SearchBot » avec « Allow: / ». Avant de bloquer, pesez l’enjeu de visibilité dans les moteurs génératifs, traité dans notre guide sur le GEO (Generative Engine Optimization).

Tester et surveiller votre robots.txt

Après chaque modification, contrôlez trois points :

  • le fichier répond bien en 200 à l’adresse /robots.txt, en texte brut ;
  • le rapport robots.txt, décrit dans l’aide de la Search Console, affiche les fichiers trouvés pour les principaux hôtes de votre site, la date de la dernière exploration et les problèmes détectés ; il permet aussi de demander une nouvelle exploration du fichier en cas d’urgence ;
  • l’outil d’inspection d’URL de la Search Console indique si une page précise est bloquée par le robots.txt.

C’est important après une migration. Pour une vision d’ensemble de l’exploration et de l’indexation, intégrez cette vérification à votre audit SEO, à chaque refonte ou migration.

Checklist des erreurs à éviter

ErreurConséquenceCorrection
« Disallow: / » laissé après la mise en lignePlus aucune page exploréeRetirer la ligne et demander une nouvelle exploration
Page bloquée et en noindexLe noindex n’est jamais luDébloquer la page tant qu’elle doit sortir de l’index
CSS, JavaScript ou images bloquésRendu de la page mal comprisOuvrir l’accès aux ressources utiles à l’affichage
Fichier dans un sous-dossier ou mal nomméFichier ignoréLe placer à la racine, nommé robots.txt
Attention à la casse : majuscules différentes de celles des URLRègle sans effetReprendre l’écriture exacte des adresses
Adresse sensible listée dans le fichierAdresse révélée à tousProtéger la zone par mot de passe
Erreur 5xx sur /robots.txtExploration suspendueCorriger la réponse du serveur

Une fois le fichier propre, vérifiez que vos pages importantes sont bien reliées entre elles par un maillage interne cohérent : c’est par les liens que les robots les découvrent.

Questions fréquentes

C’est quoi le robot txt ?

Le « robot txt » désigne le fichier robots.txt : un fichier texte public, placé à la racine d’un site, qui donne des règles d’exploration aux robots des moteurs de recherche. Il indique quelles zones ils peuvent visiter grâce aux directives User-agent, Disallow et Allow, et peut signaler l’adresse du sitemap. Il ne garantit pas qu’une page reste hors de l’index de Google.

Qu’est-ce que le crawling en informatique ?

Le crawling est le parcours automatique des pages d’Internet par un programme appelé robot ou crawler. Le robot part d’une liste d’adresses, télécharge chaque page, repère les liens qu’elle contient et ajoute ces nouvelles adresses à sa file d’attente. Les moteurs de recherche utilisent ce procédé pour découvrir les pages avant de les analyser et de les indexer.

C’est quoi Googlebot ?

Googlebot est le robot d’exploration de Google Search. Il existe en deux versions, Googlebot Smartphone et Googlebot Desktop, qui obéissent toutes deux aux règles écrites pour « Googlebot » dans le robots.txt. Il découvre les pages en suivant les liens et les sitemaps, puis les transmet aux systèmes qui les indexent. Ses règles s’appliquent aussi à Google Images et Google Actualités.

Qu’est-ce qu’un robot d’indexation ?

Un robot d’indexation est un programme qui explore les pages web pour le compte d’un moteur de recherche, comme Googlebot pour Google ou Bingbot pour Bing. Le terme est un peu trompeur : le robot explore et collecte les pages, et c’est ensuite le moteur qui décide de les indexer ou non. Le fichier robots.txt agit sur l’exploration, pas sur cette décision.

Une page bloquée par le robots.txt peut-elle apparaître dans Google ?

Oui. Si d’autres sites ou pages font un lien vers une URL bloquée, Google peut l’indexer sans l’explorer. Elle apparaît alors dans les résultats sans description. Pour qu’une page n’apparaisse pas, laissez-la explorable et ajoutez une balise meta robots noindex, ou protégez-la par mot de passe si son contenu est confidentiel. Le blocage seul ne suffit pas.

A lire également