Ton robots.txt est le point d’entrée de toute stratégie GEO. Il décide quels crawlers peuvent lire ton site, donc quelles IA peuvent te citer. Pourtant, la plupart des sites ont un robots.txt obsolète qui date d’avant l’ère GEO. Voici le guide pratique pour le mettre à jour.
La structure basique
Un robots.txt est un simple fichier texte placé à la racine de ton site : https://tondomaine.fr/robots.txt. Sa syntaxe est très simple :
User-agent: [nom du bot]
Allow: [chemin autorisé]
Disallow: [chemin interdit]Tu peux répéter ces blocs pour chaque bot, et ajouter une ligne Sitemap: https://tondomaine.fr/sitemap.xml à la fin.
Les bots IA à gérer en 2026
Voici les 12 crawlers IA majeurs que tu rencontres :
| Bot | Entreprise | Rôle |
|---|---|---|
| GPTBot | OpenAI | Entraînement ChatGPT |
| ChatGPT-User | OpenAI | Browse live ChatGPT |
| OAI-SearchBot | OpenAI | SearchGPT (moteur de recherche) |
| ClaudeBot | Anthropic | Entraînement Claude |
| anthropic-ai | Anthropic | Browse live Claude |
| ClaudeUser | Anthropic | User-initiated reads |
| PerplexityBot | Perplexity | Crawler Perplexity |
| Perplexity-User | Perplexity | User-initiated Perplexity |
| Google-Extended | Entraînement Gemini/Bard | |
| Applebot-Extended | Apple | Entraînement Apple Intelligence |
| CCBot | Common Crawl | Dataset commun pour la plupart des LLM |
| Bytespider | ByteDance (TikTok) | Entraînement Doubao |
Bonus : Meta-ExternalAgent (Meta/Llama), FacebookBot, Diffbot, Omgilibot, Amazonbot.
Exemple de robots.txt “tout autoriser” (recommandé pour PME)
User-agent: *
Allow: /
## AI crawlers : tous autorisés explicitement
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: ClaudeUser
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: CCBot
Allow: /
User-agent: Bytespider
Allow: /
Sitemap: https://tondomaine.fr/sitemap-index.xmlC’est la config de Pulsari et la recommendation par défaut pour 90% des marques.
Exemple : exclure certaines sections
Si tu as des sections privées ou premium :
User-agent: *
Allow: /
User-agent: GPTBot
Allow: /
Disallow: /members/
Disallow: /premium/
Disallow: /clients/
User-agent: ClaudeBot
Allow: /
Disallow: /members/
Disallow: /premium/
Disallow: /clients/
## ... même chose pour chaque user-agent IA
Sitemap: https://tondomaine.fr/sitemap-index.xmlLa répétition est lourde mais nécessaire : chaque user-agent doit être traité explicitement.
Exemple : éditeur presse ou premium qui ne veut pas nourrir l’entraînement
User-agent: *
Allow: /
## Entraînement : bloqué
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
## User-initiated (un utilisateur demande explicitement à une IA de lire une page) : autorisé
User-agent: ChatGPT-User
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: ClaudeUser
Allow: /
User-agent: Perplexity-User
Allow: /
## Moteur de recherche (SearchGPT) : autorisé pour le référencement
User-agent: OAI-SearchBot
Allow: /
Sitemap: https://tondomaine.fr/sitemap-index.xmlCette config est celle utilisée par plusieurs grands groupes de presse française. Elle autorise la visibilité dans les réponses à la demande mais refuse l’entraînement permanent.
Les erreurs courantes à éviter
Erreur 1 : User-agent: * seul
Beaucoup de sites ont juste :
User-agent: *
Allow: /C’est une config “par défaut autoriser tout”, ce qui inclut les bots IA. Mais cette config est ambiguë pour certains crawlers qui cherchent des directives spécifiques (GPTBot cherche explicitement son nom). Ajoute les user-agents IA explicitement pour plus de clarté.
Erreur 2 : Disallow: / par erreur
Une config avec un Disallow: / qui s’applique à User-agent: * bloque tous les bots sans exception. Catastrophique : tu disparais de Google ET des IA.
Double-check toujours ton robots.txt après modification.
Erreur 3 : paste de config trouvée sur internet
Ne copie pas un robots.txt d’un grand site sans réfléchir. Les grandes marques ont des besoins spécifiques (blocage de certaines URLs, gestion de rate limiting) qui ne correspondent pas aux tiens.
Erreur 4 : oubli du sitemap
La ligne Sitemap: à la fin de ton robots.txt est importante : elle indique aux crawlers où chercher la liste de tes pages. Sans sitemap déclaré, les crawlers doivent tout découvrir par suivi de liens, ce qui est moins efficace.
Tester ton robots.txt
Outil 1 : le robots.txt tester de Google
Google Search Console > Paramètres > Crawling > “Tester le fichier robots.txt”. Permet de tester n’importe quel user-agent et n’importe quelle URL.
Outil 2 : vérifier manuellement
Ouvre https://tondomaine.fr/robots.txt dans ton navigateur. Si tu vois du texte, c’est bon. Si tu vois une erreur 404, ton robots.txt n’existe pas. Si tu vois du HTML, tu as un problème serveur.
Outil 3 : logs serveur
Après modification, surveille tes logs :
grep -E "GPTBot|ClaudeBot|PerplexityBot|Google-Extended|Applebot" /var/log/nginx/access.log | tail -30Tu devrais voir les IA crawlers passer régulièrement.
Sitemap à jour obligatoire
Ton sitemap doit lister toutes tes pages publiques, avec :
<loc>: URL<lastmod>: date de dernière modif (important pour la fraîcheur)<priority>: optionnel, de 0 à 1
Utilise un générateur automatique (plugin WordPress Yoast, Astro sitemap plugin) plutôt que du manuel.
En résumé
Un robots.txt GEO-ready en 2026 doit :
- Lister explicitement les 10 à 12 crawlers IA majeurs
- Avoir une position claire (tout autoriser, ou exclusions spécifiques)
- Déclarer le sitemap
- Être testé après chaque modification
Pour aller plus loin : GPTBot configuration, ClaudeBot guide, Applebot-Extended, audit Pulsari.
FAQ
Comment identifier tous les bots IA qui crawlent mon site en 2026 ?
Pour identifier les bots IA, analysez vos logs serveur en recherchant les User-Agent contenant “GPTBot”, “ClaudeBot”, “PerplexityBot”, “Bard”, “CCBot” et “Claude-Web”. Utilisez des outils comme Pulsari pour auditer votre crawlabilité IA. Les principaux bots représentent 15-25% du trafic crawler selon les secteurs. Surveillez également les nouveaux entrants comme MetaAI et les bots émergents qui changent fréquemment leurs signatures d’identification.
Quels sont les impacts SEO concrets de bloquer GPTBot en 2026 ?
Bloquer GPTBot peut réduire votre visibilité dans ChatGPT de 40-60% selon les requêtes. Cependant, 73% des sites B2B bloquent sélectivement certaines sections sensibles tout en autorisant les pages produits et contenus publics. L’impact sur le SEO traditionnel Google reste nul, mais vous perdez des opportunités de référencement dans l’écosystème IA qui génère 28% des requêtes informationnelles en 2026.
Comment configurer robots.txt pour autoriser seulement certaines pages aux bots IA ?
Utilisez la directive “Allow:” après “Disallow: /” pour créer des exceptions. Exemple : “User-agent: GPTBot”, “Disallow: /”, “Allow: /blog/”, “Allow: /produits/”. Cette configuration bloque tout sauf les dossiers autorisés. Testez avec l’outil de validation robots.txt et vérifiez via Pulsari que 100% de vos pages stratégiques restent crawlables. Évitez les wildcards complexes qui peuvent créer des conflits d’interprétation.
Quelle différence entre bloquer ClaudeBot vs GPTBot pour le SEO local ?
ClaudeBot indexe davantage les données géolocalisées et les avis clients (45% de focus local vs 23% pour GPTBot). Pour le SEO local, autoriser ClaudeBot sur vos pages établissements, horaires et avis améliore votre présence dans Claude pour les requêtes “près de moi”. GPTBot privilégie le contenu informatif général. Les entreprises locales voient 30% plus de mentions géolocalisées en autorisant ClaudeBot vs blocage complet.
Comment mesurer l’efficacité de ma stratégie robots.txt pour les bots IA ?
Utilisez Google Search Console pour monitorer l’évolution du crawl, Pulsari pour l’audit spécifique IA, et analysez vos mentions dans les réponses ChatGPT/Claude via des outils de brand monitoring. Mesurez : taux de crawl autorisé (objectif 80-90% pages stratégiques), fréquence de mise à jour du contenu dans les IA (contrôle mensuel), et corrélation avec le trafic référent depuis les plateformes IA (croissance 15-25% attendue).
Sources et références
- OpenAI GPTBot documentation : user-agent, IP ranges, comportement
- Anthropic ClaudeBot documentation : crawler ClaudeBot, opt-in/opt-out
- Google Extended documentation : Google-Extended pour Bard/Gemini
- Perplexity crawler user-agents : PerplexityBot
- Google Search Console - test robots.txt : outil officiel validation
