Fichier robots.txt : rôle, syntaxe, exemples et erreurs à éviter
Le fichier robots.txt est un fichier texte placé à la racine d’un site web qui indique aux robots d’exploration, comme Googlebot, les URL qu’ils peuvent explorer et celles qu’ils doivent laisser de côté. Il sert à gérer l’exploration (le crawl) de votre site. Il ne retire pas une page des résultats de recherche : pour cela, Google recommande la balise noindex ou une protection par mot de passe.
Les règles décrites ici suivent la documentation de Google Search Central et la norme RFC 9309, vérifiées en novembre 2026.
À quoi sert le fichier robots.txt ?
Le robots.txt applique le protocole d’exclusion des robots, une méthode définie par Martijn Koster en 1994 et normalisée par l’IETF en septembre 2022 sous la référence RFC 9309. Il contient des règles lues par les robots avant d’explorer les pages d’un site.
Selon la présentation du fichier robots.txt par Google, son usage principal est d’éviter de surcharger votre serveur de requêtes. Pour le référencement naturel, il sert aussi à orienter les robots vers les pages utiles, et permet de :
- empêcher l’exploration de zones sans intérêt pour la recherche (administration, panier, résultats de recherche interne) ;
- éviter que les robots perdent du temps sur un grand nombre d’URL à paramètres (filtres, tris) ;
- indiquer l’adresse de votre sitemap XML ;
- définir des règles différentes selon le robot, par exemple pour les robots d’intelligence artificielle.
Le fichier n’a pas de force contraignante. Googlebot et Bingbot le respectent, mais un robot malveillant peut l’ignorer. Le robots.txt n’offre donc aucune sécurité : n’y listez pas une adresse que vous voulez garder secrète, puisque le fichier est public.
Robots, crawling et Googlebot
Un robot d’exploration (crawler, ou robot d’indexation) est un programme qui parcourt le web en suivant les liens, télécharge les pages et transmet leur contenu au moteur de recherche. Ce parcours s’appelle le crawling. Googlebot est le robot de Google ; il existe en version smartphone et ordinateur, et les deux suivent les mêmes règles dans le fichier robots.txt, d’après la liste des robots d’exploration de Google.
Où placer le fichier et quelles règles de validité
Le fichier doit s’appeler exactement robots.txt, en minuscules, et se trouver à la racine de l’hôte : https://www.exemple.fr/robots.txt. Un fichier rangé dans un sous-dossier n’est pas lu. Pour vérifier celui d’un site, il suffit d’ajouter /robots.txt après le nom de domaine dans le navigateur.
La page de Google sur l’interprétation de la spécification robots.txt précise plusieurs limites techniques :
- les règles ne valent que pour l’hôte, le protocole et le port où le fichier est publié : www.exemple.fr, exemple.fr et blog.exemple.fr ont chacun leur propre fichier ;
- le fichier doit être encodé en UTF-8 ; Google ignore le contenu au-delà de 500 Kio ;
- Google garde en général le fichier en cache 24 heures, ce qui explique le délai avant la prise en compte d’une modification ;
- les directives elles-mêmes ne tiennent pas compte de la casse, mais les adresses oui : /Blog/ et /blog/ sont deux dossiers différents.
Ce que fait Google selon la réponse HTTP du fichier
| Code HTTP renvoyé par /robots.txt | Comportement de Google |
|---|---|
| 2xx (succès) | Le fichier est lu et appliqué tel quel. |
| 3xx (redirection) | Google suit au moins cinq redirections, puis traite le fichier comme absent. |
| 4xx (sauf 429) | Google considère qu’il n’y a pas de fichier : toutes les URL peuvent être explorées. |
| 5xx ou serveur injoignable | L’exploration est suspendue pendant 12 heures, puis Google utilise la dernière version connue pendant 30 jours. |
Conséquence pratique : une erreur serveur sur le robots.txt peut bloquer l’exploration de tout le site, alors qu’un fichier absent (404) n’en bloque aucune partie. Les codes de réponse sont détaillés dans notre article sur les erreurs 404 et redirections 301.

La syntaxe du robots.txt : User-agent, Disallow, Allow et Sitemap
Le fichier se compose de groupes. Chaque groupe commence par une ou plusieurs lignes User-agent, suivies des règles qui s’appliquent à ces robots. Google prend en charge quatre champs.
| Directive | Rôle | Exemple |
|---|---|---|
| User-agent | Désigne le robot concerné ; * vise tous les robots | User-agent: Googlebot |
| Disallow | Interdit l’exploration d’un dossier ou d’une URL | Disallow: /panier/ |
| Allow | Ouvre une URL à l’intérieur d’une zone interdite | Allow: /panier/aide.html |
| Sitemap | Donne l’URL complète du sitemap | Sitemap: https://www.exemple.fr/sitemap.xml |
User-agent : choisir le robot visé
La valeur de User-agent est le nom de l’agent utilisateur du robot : Googlebot, Bingbot, GPTBot. Un robot suit le groupe qui le désigne le plus précisément et ignore les autres. Si vous créez un groupe pour Googlebot, celui-ci n’appliquera plus les règles du groupe *.
Disallow et Allow : bloquer ou ouvrir un chemin
Disallow suivi d’un préfixe bloque toutes les URL qui commencent par ce préfixe. Un Disallow vide n’interdit rien. Quand une règle Allow et une règle Disallow concernent la même URL, Google applique la règle la plus spécifique, c’est-à-dire celle dont le chemin est le plus long. En cas d’égalité, il choisit la moins restrictive.
Les caractères * et $
Le caractère * remplace n’importe quelle suite de caractères ; le caractère $ marque la fin de l’URL. Disallow: /*.pdf$ bloque ainsi tous les fichiers PDF, et Disallow: /*?tri= bloque les URL qui contiennent ce paramètre de tri.
Sitemap et Crawl-delay
La ligne Sitemap peut être placée n’importe où dans le fichier et répétée si vous avez plusieurs sitemaps. Crawl-delay, que l’on croise encore dans des exemples anciens, n’est pas pris en charge par Google, qui ignore cette ligne.
Créer un fichier robots.txt en quelques étapes
Un fichier simple suffit à la plupart des sites vitrines et des blogs. La méthode reste la même quel que soit l’hébergement :
- Ouvrez un éditeur de texte brut (Bloc-notes, ou TextEdit en mode texte) et enregistrez le document en robots.txt, encodé en UTF-8.
- Écrivez un groupe User-agent: * puis les seules zones à exclure : administration, panier, recherche interne.
- Ajoutez l’adresse complète de votre sitemap.
- Déposez le fichier à la racine du site par FTP ou via le gestionnaire de fichiers de votre hébergeur.
- Vérifiez que vous pouvez y accéder depuis le navigateur, puis faites un test sur quelques URL importantes avec l’outil d’inspection de la Search Console.
Vous devez rester sobre : chaque règle ajoutée est une occasion d’erreur. Avant de bloquer une section, la bonne question est de savoir si un internaute aurait une raison de la consulter depuis Google. Si oui, laissez-la ouverte.
Exemples de fichier robots.txt
Autoriser tout le site
| Instruction | Effet |
|---|---|
| User-agent: * | Le groupe s’applique à tous les robots |
| Disallow: | Aucune URL n’est interdite |
| Sitemap: https://www.exemple.fr/sitemap.xml | Indique le plan du site |
Bloquer l’ensemble du site (site en préproduction)
| Instruction | Effet |
|---|---|
| User-agent: * | Tous les robots |
| Disallow: / | Toutes les URL sont interdites à l’exploration |
C’est la configuration à retirer le jour de la mise en ligne. Un « Disallow: / » oublié après une refonte provoque un blocage complet de l’exploration, sans aucun message d’erreur visible pour les visiteurs.
Bloquer un dossier mais ouvrir un fichier
| Instruction | Effet |
|---|---|
| User-agent: * | Tous les robots |
| Disallow: /espace-client/ | Le dossier espace-client n’est pas exploré |
| Allow: /espace-client/conditions.html | Sauf cette page, dont la règle est plus spécifique |
| Disallow: /*?filtre= | Les URL de filtres ne sont pas explorées |
Robots.txt, noindex ou mot de passe : quel outil pour quel objectif ?
Le robots.txt contrôle l’exploration, pas l’indexation. Google l’écrit clairement : si d’autres pages font un lien vers une URL bloquée, celle-ci peut être indexée et apparaître dans les résultats, sans description. Le moteur connaît l’adresse sans avoir lu la page.
| Votre objectif | Outil adapté | Pourquoi |
|---|---|---|
| Limiter l’exploration de zones inutiles (filtres, recherche interne) | robots.txt | Les robots n’y passent plus de temps |
| Retirer une page des résultats de Google | Balise meta robots noindex ou en-tête X-Robots-Tag | La page doit rester explorable pour que Google lise l’instruction |
| Protéger des données confidentielles | Mot de passe ou restriction côté serveur | Le robots.txt est public et non contraignant |
| Supprimer définitivement un contenu déjà indexé | Suppression de la page (code 404 ou 410) | L’URL finit par sortir de l’index |
Le piège classique est de combiner les deux méthodes : une page en noindex et bloquée dans le robots.txt. Google ne peut pas explorer la page, donc ne peut jamais voir le noindex, et l’URL peut rester indexée. La documentation Google sur le noindex rappelle que la page ne doit pas être bloquée pour que la balise soit prise en compte.
Le robots.txt sur WordPress
WordPress génère un robots.txt virtuel tant qu’aucun fichier physique n’existe à la racine. La fonction do_robots, décrite dans la référence développeur WordPress, produit par défaut un groupe User-agent: *, une ligne Disallow vers /wp-admin/ et une ligne Allow pour /wp-admin/admin-ajax.php, qui sert au fonctionnement de certaines extensions.
Trois façons de modifier ce fichier :
- Avec une extension SEO : Yoast SEO et Rank Math proposent un éditeur de robots.txt dans leurs outils, sans accès au serveur.
- Par FTP ou le gestionnaire de fichiers de l’hébergeur : créez un fichier robots.txt à la racine ; il remplace alors le fichier virtuel.
- Par code, avec le filtre robots_txt, si vous développez votre propre thème ou extension.
L’option « Demander aux moteurs de recherche de ne pas indexer ce site », dans les réglages de lecture, n’ajoute plus « Disallow: / » depuis WordPress 5.3 : elle passe par une balise meta robots. Vérifiez-la quand même après une mise en ligne, car elle empêche l’indexation de toutes les pages.
Sur un site WordPress, ne bloquez pas les dossiers wp-content ou wp-includes : ils contiennent le CSS, le JavaScript et les images dont Google a besoin pour afficher la page. Google prévient que bloquer ces ressources l’empêche de bien comprendre les pages qui en dépendent, ce qui peut aussi fausser l’évaluation de vos Core Web Vitals et de la version mobile.

Bloquer ou autoriser les robots d’IA
Les éditeurs d’IA publient la liste de leurs robots, ce qui permet de décider robot par robot. Deux exemples documentés :
- Google-Extended : ce jeton ne correspond pas à un robot distinct : il contrôle la possibilité d’utiliser vos contenus pour l’entraînement des modèles Gemini et l’ancrage de leurs réponses. Google précise qu’il n’a aucun effet sur l’inclusion ni sur le classement dans la recherche Google.
- GPTBot et OAI-SearchBot : d’après la page d’OpenAI sur ses robots, GPTBot sert à l’entraînement des modèles, tandis qu’OAI-SearchBot alimente la recherche de ChatGPT. Bloquer le second retire le site des réponses de recherche de ChatGPT.
Pour refuser l’entraînement tout en restant visible dans la recherche de ChatGPT, il faut un groupe « User-agent: GPTBot » avec « Disallow: / » et un groupe « User-agent: OAI-SearchBot » avec « Allow: / ». Avant de bloquer, pesez l’enjeu de visibilité dans les moteurs génératifs, traité dans notre guide sur le GEO (Generative Engine Optimization).
Tester et surveiller votre robots.txt
Après chaque modification, contrôlez trois points :
- le fichier répond bien en 200 à l’adresse /robots.txt, en texte brut ;
- le rapport robots.txt, décrit dans l’aide de la Search Console, affiche les fichiers trouvés pour les principaux hôtes de votre site, la date de la dernière exploration et les problèmes détectés ; il permet aussi de demander une nouvelle exploration du fichier en cas d’urgence ;
- l’outil d’inspection d’URL de la Search Console indique si une page précise est bloquée par le robots.txt.
C’est important après une migration. Pour une vision d’ensemble de l’exploration et de l’indexation, intégrez cette vérification à votre audit SEO, à chaque refonte ou migration.
Checklist des erreurs à éviter
| Erreur | Conséquence | Correction |
|---|---|---|
| « Disallow: / » laissé après la mise en ligne | Plus aucune page explorée | Retirer la ligne et demander une nouvelle exploration |
| Page bloquée et en noindex | Le noindex n’est jamais lu | Débloquer la page tant qu’elle doit sortir de l’index |
| CSS, JavaScript ou images bloqués | Rendu de la page mal compris | Ouvrir l’accès aux ressources utiles à l’affichage |
| Fichier dans un sous-dossier ou mal nommé | Fichier ignoré | Le placer à la racine, nommé robots.txt |
| Attention à la casse : majuscules différentes de celles des URL | Règle sans effet | Reprendre l’écriture exacte des adresses |
| Adresse sensible listée dans le fichier | Adresse révélée à tous | Protéger la zone par mot de passe |
| Erreur 5xx sur /robots.txt | Exploration suspendue | Corriger la réponse du serveur |
Une fois le fichier propre, vérifiez que vos pages importantes sont bien reliées entre elles par un maillage interne cohérent : c’est par les liens que les robots les découvrent.
Questions fréquentes
C’est quoi le robot txt ?
Le « robot txt » désigne le fichier robots.txt : un fichier texte public, placé à la racine d’un site, qui donne des règles d’exploration aux robots des moteurs de recherche. Il indique quelles zones ils peuvent visiter grâce aux directives User-agent, Disallow et Allow, et peut signaler l’adresse du sitemap. Il ne garantit pas qu’une page reste hors de l’index de Google.
Qu’est-ce que le crawling en informatique ?
Le crawling est le parcours automatique des pages d’Internet par un programme appelé robot ou crawler. Le robot part d’une liste d’adresses, télécharge chaque page, repère les liens qu’elle contient et ajoute ces nouvelles adresses à sa file d’attente. Les moteurs de recherche utilisent ce procédé pour découvrir les pages avant de les analyser et de les indexer.
C’est quoi Googlebot ?
Googlebot est le robot d’exploration de Google Search. Il existe en deux versions, Googlebot Smartphone et Googlebot Desktop, qui obéissent toutes deux aux règles écrites pour « Googlebot » dans le robots.txt. Il découvre les pages en suivant les liens et les sitemaps, puis les transmet aux systèmes qui les indexent. Ses règles s’appliquent aussi à Google Images et Google Actualités.
Qu’est-ce qu’un robot d’indexation ?
Un robot d’indexation est un programme qui explore les pages web pour le compte d’un moteur de recherche, comme Googlebot pour Google ou Bingbot pour Bing. Le terme est un peu trompeur : le robot explore et collecte les pages, et c’est ensuite le moteur qui décide de les indexer ou non. Le fichier robots.txt agit sur l’exploration, pas sur cette décision.
Une page bloquée par le robots.txt peut-elle apparaître dans Google ?
Oui. Si d’autres sites ou pages font un lien vers une URL bloquée, Google peut l’indexer sans l’explorer. Elle apparaît alors dans les résultats sans description. Pour qu’une page n’apparaisse pas, laissez-la explorable et ajoutez une balise meta robots noindex, ou protégez-la par mot de passe si son contenu est confidentiel. Le blocage seul ne suffit pas.
