robots.txt GPTBot ClaudeBot : bloquer ou autoriser les robots d’IA

Quels robots d’IA lisent votre robots.txt, et que perdez-vous en bloquant chacun ?

Les robots d’IA se rangent en trois familles. Les robots de recherche font apparaître votre site dans les réponses, les robots d’entraînement collectent des contenus pour les futurs modèles, et les agents de visite ouvrent une page quand un utilisateur le demande. Chez OpenAI, le réglage de l’entraînement (GPTBot) est indépendant de celui de la recherche ; chez Anthropic, restreindre ClaudeBot exclut les futurs contenus des données d’entraînement, et la recherche passe par d’autres robots. Chez Google, le jeton Google-Extended couvre à la fois l’entraînement de Gemini et l’ancrage dans les applications Gemini et Vertex AI (voir section 3).

Un agent utilisateur (user agent, le nom sous lequel un robot se présente) est le nom à écrire après « User-agent: » dans le fichier. Google-Extended fait exception : c’est un jeton, c’est-à-dire un nom reconnu dans robots.txt, mais aucun robot ne visite votre site sous ce nom.

Ces formulations viennent des pages des éditeurs consultées le 30 septembre 2026. La page d’Anthropic date du 7 avril 2026. Ces documentations changent souvent : relisez la page de l’éditeur avant de modifier votre fichier, et notez la date de votre lecture.

Peut-on refuser l’entraînement des modèles tout en restant dans les réponses ?

Oui, chez OpenAI et chez Anthropic, parce que l’entraînement et la recherche passent par des robots différents. OpenAI écrit que les réglages d’OAI-SearchBot et de GPTBot sont indépendants. Selon Anthropic, restreindre ClaudeBot exclut les futurs contenus du site des données d’entraînement, alors que désactiver Claude-SearchBot ou Claude-User peut réduire la visibilité du site dans les réponses de recherche de Claude.

Pour refuser l’entraînement sans toucher à la recherche, on écrit un bloc par robot d’entraînement et on ne mentionne pas les robots de recherche. Le fichier contient alors ces lignes :

• Pour GPTBot : la ligne User-agent: GPTBot, puis Disallow: /
• Pour ClaudeBot : la ligne User-agent: ClaudeBot, puis Disallow: /
• Pour Google-Extended : la ligne User-agent: Google-Extended, puis Disallow: /

La barre oblique seule désigne tout le site. Un piège possible est un bloc « User-agent: * » suivi de « Disallow: / », copié d’un ancien modèle ou laissé par un site en préproduction. Vous croyez avoir refusé l’entraînement, et vous avez en fait fermé la porte aux réponses.

Chez Perplexity, PerplexityBot n’est pas utilisé pour entraîner des modèles de fondation. Le bloquer ne sert donc pas à refuser ce type d’entraînement : cela touche le robot qui fait apparaître votre site dans Perplexity.

Il reste un cas particulier chez OpenAI. Une page que vous avez exclue d’OAI-SearchBot, mais que le système connaît par un autre moyen, peut apparaître avec son seul lien et son titre dans ChatGPT Atlas. Pour l’éviter, OpenAI indique la balise meta noindex, que le robot doit pouvoir lire. Le détail des autres conditions pour apparaître dans ChatGPT fait l’objet d’un article séparé.

Google-Extended ne retire pas votre site de Google Search ni des aperçus IA

Google-Extended décide seulement si le contenu exploré par Google peut servir à entraîner les futures générations des modèles Gemini et à l’ancrage dans les applications Gemini et Vertex AI. L’ancrage (grounding) désigne le fait d’appuyer une réponse générée sur des pages récupérées. Selon Google, ce jeton n’a aucun effet sur l’inclusion d’un site dans Google Search et n’est pas un signal de classement.

Pour agir sur Google Search et ses fonctions d’IA, il existe d’autres outils, et chacun a un effet précis.

• Bloquer Googlebot dans robots.txt agit sur l’exploration de Google Search.
• Le réglage « Search generative AI » de Search Console (menu Paramètres) est proposé à tous les sites depuis le 31 août 2026. Il décide si le site est inclus dans les aperçus IA, AI Mode et les fonctions d’IA générative de Discover. L’inclusion est le réglage par défaut. Un site exclu n’apparaît plus dans ces fonctions, ni sous forme de lien ni comme source servant à ancrer une réponse, et n’en reçoit ni impressions ni trafic. Selon Google, ce réglage ne joue pas sur le reste de Google Search et n’agit pas sur l’entraînement, qui relève de Google-Extended.
• Les balises nosnippet, data-nosnippet, max-snippet et noindex limitent ce qui est affiché. Pour retirer entièrement une page de Google Search, Google indique noindex.

Si vous voulez refuser l’entraînement de Gemini mais rester dans les aperçus IA, vous bloquez Google-Extended et laissez le réglage Search Console sur l’inclusion. Si vous voulez sortir des aperçus IA et d’AI Mode tout en restant dans les résultats classiques, c’est le réglage Search Console qu’il faut changer, pas robots.txt. Google indique qu’un changement de ce réglage prend en général quelques jours avant de s’appliquer.

Erreur à éviter : bloquer Google-Extended en pensant sortir des aperçus IA. Votre site y reste, puisque ce jeton ne concerne pas Google Search. Pour la démarche inverse, voyez comment apparaître dans les aperçus IA.

Les visites demandées par un utilisateur peuvent ignorer robots.txt

Selon OpenAI, quand ChatGPT-User ouvre une page parce qu’une personne le lui demande, ce n’est pas une exploration automatique. OpenAI et Perplexity écrivent que robots.txt peut alors ne pas s’appliquer. Un blocage dans robots.txt peut donc ne pas empêcher qu’une page publique soit lue sur demande d’une personne.

Pour votre présence dans la recherche de ChatGPT, c’est OAI-SearchBot qui compte : selon OpenAI, ChatGPT-User ne sert pas à décider si un contenu apparaît dans la recherche.

Perplexity est plus direct. Comme la visite est demandée par l’utilisateur, Perplexity-User ignore en général ce fichier.

Anthropic se distingue. L’éditeur écrit que ses robots respectent robots.txt.

Ce que cela change pour vous dépend de la page.

• Si la page est publique et que vous voulez y attirer des clients, ces visites ne posent pas de problème : elles répondent à une personne qui s’intéresse à votre offre.
• Si la page contient des tarifs réservés, des documents clients ou des informations internes, robots.txt ne suffit pas. Elle doit sortir de l’accès public : espace protégé par identifiant et mot de passe, ou retrait du site.
• Si vous voulez qu’une page ne figure pas dans les résultats des moteurs de réponse, agissez sur les robots de recherche et, chez OpenAI, sur la balise noindex (section 2). Chez OpenAI, l’agent de visite ChatGPT-User n’entre pas dans ce choix ; chez Anthropic, Claude-User peut en revanche peser sur la visibilité dans Claude.

robots.txt n’est pas un contrôle d’accès : ce que dit la RFC 9309

robots.txt est une consigne publique adressée aux robots qui acceptent de la suivre. Il ne protège rien. Le protocole d’exclusion des robots est normalisé par la RFC 9309 de l’IETF (l’organisme qui publie les normes techniques d’internet), publiée en septembre 2022. Le texte précise que ces règles ne sont pas une forme d’autorisation d’accès et ne remplacent pas de vraies mesures de sécurité.

Trois conséquences pour un site de PME :

• N’importe qui peut lire votre robots.txt en ajoutant /robots.txt à l’adresse de votre site. La RFC le dit : lister des chemins dans ce fichier les expose publiquement. Une ligne « Disallow: /espace-clients/ » ou « Disallow: /admin/ » indique donc à tout curieux où chercher.
• Un robot qui ne respecte pas le protocole n’en tient aucun compte. Le fichier n’a d’effet que sur les robots qui choisissent de le suivre. Les éditeurs cités dans cet article décrivent ce qu’ils font de vos règles, avec les exceptions des visites à la demande.
• Une page bloquée dans robots.txt reste accessible à quiconque connaît son adresse ; chez OpenAI, une page exclue d’OAI-SearchBot mais connue par un autre moyen peut apparaître avec son seul lien et son titre dans ChatGPT Atlas (section 2).

Pour un espace privé, la protection passe par le site lui-même : une authentification par identifiant et mot de passe, un espace client fermé, ou des documents qui ne sont pas publiés à une adresse publique. Ensuite, robots.txt peut servir à éviter que les robots perdent du temps sur ces pages, sans y lister de chemins sensibles.

La RFC fixe aussi deux limites techniques utiles. Un robot ne devrait pas utiliser une version en cache de robots.txt pendant plus de 24 heures, sauf si le fichier est inaccessible. La limite d’analyse qu’un robot impose doit être d’au moins 500 kibioctets.

Quelle décision prendre selon votre situation ?

La décision tient en deux questions. Voulez-vous être cité dans les réponses ? Acceptez-vous que vos contenus servent à entraîner des modèles ? La grille ci-dessous croise les trois situations les plus courantes.

Un restaurant, un garage ou un cabinet qui cherche des clients

L’enjeu est d’être lisible. Vérifiez qu’aucun bloc général ne ferme le site aux robots de recherche. Côté Google, une page doit être indexée et pouvoir s’afficher dans Google Search avec un extrait pour figurer dans les fonctions d’IA générative, et le site doit être inclus dans le réglage Search Console, ce qui est le cas par défaut. Pour un tel profil, la méthode de référencement IA de Pixel-iA prévoit d’autoriser les robots des moteurs de réponse, à côté d’une page par question écrite dans les mots des clients et des données structurées de l’entreprise ; l’atelier ne garantit pour autant ni citation ni classement. Le détail de ce travail de référencement dans les moteurs de réponse est décrit sur une page dédiée.

Un éditeur qui publie des guides ou des fiches techniques

Il bloque GPTBot, ClaudeBot et Google-Extended, et garde OAI-SearchBot, Claude-SearchBot et PerplexityBot. Les lignes à écrire figurent en section 2.

Une entreprise qui veut sortir des réponses générées

Elle bloque aussi les robots de recherche, désactive l’inclusion dans l’option de Search Console consacrée à l’IA générative et pose noindex sur les pages qu’elle ne veut pas voir réapparaître par leur lien dans ChatGPT Atlas. Chez OpenAI et Perplexity, les visites demandées par un utilisateur peuvent ne pas suivre robots.txt.

Une fois le fichier modifié, chaque éditeur a son délai. OpenAI indique environ 24 heures pour que ses systèmes de recherche s’ajustent, Perplexity jusqu’à 24 heures, et Google quelques jours pour le réglage Search Console.

Comment écrire et vérifier votre robots.txt sans vous tromper ?

Le réglage tient en cinq étapes, et la plupart des échecs viennent de ce qui se trouve autour du fichier : sous-domaines, pare-feu, hébergeur. Avant de toucher à quoi que ce soit, gardez une copie du fichier actuel et notez la date.

1. Ouvrez le fichier existant. Relevez les blocs déjà présents, en particulier un éventuel « User-agent: * » suivi de « Disallow: / ».
2. Écrivez un bloc par robot. Chaque bloc commence par « User-agent: » suivi du nom exact publié par l’éditeur (GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended), puis ses lignes Disallow. Recopiez les noms exacts depuis la page de l’éditeur. Anthropic prend en charge l’extension non standard Crawl-delay.
3. Anthropic précise que le blocage doit être posé sur chaque sous-domaine : boutique.votresite.be ou blog.votresite.be ont chacun leur propre robots.txt.
4. Vérifiez le pare-feu, le CDN et l’hébergeur. Un CDN (réseau de serveurs qui distribue votre site) ou un pare-feu applicatif peut refuser un robot que votre fichier autorise. Google cite, parmi ses bonnes pratiques, le fait d’autoriser l’exploration dans robots.txt et par le CDN ou l’hébergeur. Perplexity indique qu’un pare-feu applicatif (WAF) peut devoir autoriser explicitement ses robots. OpenAI publie les plages d’adresses IP de ses robots. À l’inverse, ne bloquez pas les robots d’Anthropic par adresse IP : Anthropic écrit que cela peut ne pas fonctionner, car cela empêche la lecture de robots.txt.
5. Contrôlez. Ouvrez votre robots.txt dans un navigateur pour vérifier qu’il est en ligne et lisible. Côté Google, l’outil d’inspection d’URL de Search Console montre le HTML que Googlebot a reçu en explorant une page. Selon la RFC 9309, un robot ne devrait pas utiliser une version en cache de robots.txt plus de 24 heures, sauf si le fichier est inaccessible : il peut donc encore appliquer l’ancienne version pendant ce temps.

robots.txt ne doit pas être confondu avec un autre fichier qui circule dans les conseils de GEO : le rôle du fichier llms.txt est différent, et Google Search écrit qu’il ne l’utilise pas.

Comment mesurer l’effet de vos choix après la modification ?

Trois sources montrent une partie de votre présence dans les réponses IA : le paramètre ajouté par ChatGPT, lu dans votre outil d’analyse, Search Console pour Google et Bing Webmaster Tools pour Copilot. Aucune ne prédit ce qui se passera.

Côté ChatGPT, OpenAI ajoute automatiquement le paramètre utm_source=chatgpt.com aux liens qui mènent vers les sites. Si vous utilisez un outil d’analyse, filtrez sur cette source pour suivre les visites qui viennent de ChatGPT, avant et après votre modification. Attention : en Belgique comme en France, un outil d’analyse peut lui-même poser des cookies soumis à consentement, selon l’APD et la CNIL.

Côté Google, des rapports dédiés aux fonctions d’IA générative ont été lancés dans Search Console le 3 juin 2026, puis déployés pour tous les sites depuis le 31 août 2026. Ils montrent les impressions dans ces fonctions, les pages concernées, les pays, les appareils et l’évolution dans le temps. Selon Google, un site exclu de ces fonctions par le réglage de Search Console n’en reçoit plus d’impressions.

Côté Microsoft, le rapport AI Performance de Bing Webmaster Tools, en préversion publique depuis le 10 février 2026, montre combien de fois le contenu d’un site est cité comme source dans Microsoft Copilot, les résumés générés par IA de Bing et certaines intégrations partenaires, ainsi que les URL citées.

Pour relier une variation à une cause, tenez un journal simple : la date de chaque changement de robots.txt, les robots concernés, et la date d’un éventuel changement de réglage dans Search Console. Sans ce journal, une baisse observée plus tard est difficile à attribuer.

Microsoft écrit enfin qu’aucun outil ne peut garantir quand ni comment un contenu apparaîtra dans les résultats générés par IA. Google, de son côté, invite à se méfier des outils tiers qui promettent un succès de classement : selon lui, aucun outil tiers n’a accès à ses systèmes internes de classement ou d’IA.