En parallèle de son crawler historique Googlebot, Google a déployé un user-agent spécial : Google-Extended. Il permet aux éditeurs de contrôler si leurs contenus servent à entraîner Bard et Gemini, indépendamment de l’indexation Google classique. C’est une subtilité importante à maîtriser pour ta stratégie GEO.
Pourquoi Google a créé Google-Extended
Avant Google-Extended, un éditeur qui bloquait Googlebot dans son robots.txt pour opt-out de l’entraînement IA bloquait aussi l’indexation Google Search classique. Conséquence : zéro trafic organique. Inacceptable pour la majorité des sites.
Google a donc séparé les deux fonctions :
- Googlebot : indexation pour Google Search (position, AI Overviews, rich results)
- Google-Extended : utilisation pour entraîner les modèles Bard / Gemini
Tu peux autoriser l’un et bloquer l’autre, ou l’inverse, ou les deux, selon ta stratégie.
Le user-agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Google-Extended)Documentation officielle : https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
Les 4 configurations possibles
Config 1 : tout autoriser (recommandé dans 90% des cas)
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Allow: /Conséquences :
- Ton site est indexé pour Google Search
- Ton contenu peut être utilisé par Bard et Gemini
- Tu apparais dans les AI Overviews (si Gemini te juge pertinent)
- Tu es visible dans les réponses de Gemini (app, chatbot, API)
Config 2 : Google Search oui, Gemini non
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Disallow: /Conséquences :
- Ton site reste indexé normalement par Google Search
- Ton contenu n’est PAS utilisé pour entraîner Gemini
- Mais : impact sur les AI Overviews est flou (Google ne communique pas précisément)
- Ta visibilité dans Gemini chatbot / API est réduite voire nulle
Cas d’usage : éditeurs qui veulent rester dans Google Search mais qui refusent que leur contenu alimente les modèles IA concurrents (certains grands médias). Cas rare pour les PME.
Config 3 : Gemini oui, Google Search non
User-agent: Googlebot
Disallow: /
User-agent: Google-Extended
Allow: /Conséquences :
- Ton site n’est pas indexé dans Google Search
- Mais ton contenu peut quand même servir à Gemini
Cas d’usage : absurde pour 99% des marques. On ne connaît pas de cas réel où cette config serait rationnelle.
Config 4 : tout bloquer
User-agent: Googlebot
Disallow: /
User-agent: Google-Extended
Disallow: /Tu t’exclus totalement de Google. Rare, sauf pour sites premium payants, sites d’entreprises privées, ou positions éditoriales fortes.
L’impact réel sur les AI Overviews
Officiellement, Google ne dit pas si Google-Extended influence directement les AI Overviews. Mais l’observation empirique suggère que non : les AI Overviews tirent leurs sources du même index que Google Search. Donc tant que Googlebot est autorisé, tu peux être cité dans les AI Overviews, même si Google-Extended est bloqué.
Attention : cette observation peut changer avec les mises à jour de Google. Vérifie régulièrement.
Que se passe-t-il si tu ne fais rien
Par défaut (pas de directive explicite), les deux user-agents sont autorisés. Tu bénéficies de Google Search + Gemini + AI Overviews. C’est le cas pour la grande majorité des sites.
Donc : si tu n’as rien fait, tu es probablement en config 1 par défaut. Bonne nouvelle.
Le piège à éviter
Beaucoup de sites, avant la création de Google-Extended (avant septembre 2023), avaient ajouté dans leur robots.txt :
User-agent: *
Disallow: /admin/
Disallow: /private/Ces sites sont automatiquement autorisés pour Google-Extended (via le wildcard *). Pas de changement nécessaire.
Mais si quelqu’un a ajouté par la suite un blocage “anti-IA” générique comme :
User-agent: *
Disallow: /content/Il bloque AUSSI Google-Extended sur /content/, ce qui peut être involontaire. Vérifie tes règles wildcards.
Comment vérifier ta config actuelle
- Ouvre
https://tondomaine.fr/robots.txtdans ton navigateur - Cherche
Google-Extended - Si tu le trouves avec
Allow: /ouDisallow: /, tu as une config explicite - Si tu ne le trouves pas, tu es en config wildcard (par défaut : autorisé)
Pour tester l’impact concret :
- Pulsari te donne un audit gratuit qui inclut la visibilité Gemini
- Google Search Console ne montre pas directement Google-Extended, mais observer tes logs serveurs te dit quand il crawle
Recommandations selon ton business
Site grand public / PME / e-commerce
Config 1 (tout autoriser). Aucune raison de bloquer, beaucoup à gagner en visibilité Gemini.
Site de presse ou médias
Config 1 ou config 2 selon la position éditoriale. Les grands journaux américains (NYT, WSJ) ont bloqué via Google-Extended en attente de négociations commerciales avec Google. À réfléchir pour la presse française, mais solution plus pragmatique : autoriser et négocier les licences en parallèle.
Formation / cours en ligne payants
Config 2 (autoriser Google Search, bloquer Google-Extended) fait sens pour éviter que ton contenu de cours payé soit reformulé gratuitement par Gemini.
Cabinet d’expertise (droit, finance, médical)
Config 1. Tu as plus à gagner en visibilité qu’à perdre en “vol” de contenu (qui est de toute façon assez balisée légalement).
Les effets dans le temps
Attention : Google-Extended n’efface pas rétroactivement le contenu déjà indexé. Si tu bloques en 2026 un contenu crawlé en 2023, il peut rester dans les modèles déjà entraînés jusqu’à leur prochaine version.
Les nouvelles versions de Gemini respectent la directive en arrêtant d’utiliser le contenu pour le futur entraînement, mais le passé reste.
Questions fréquentes
Quelle est la distinction principale entre Googlebot et Google-Extended pour les propriétaires de sites web ?
La distinction principale est que Googlebot est utilisé pour l’indexation des contenus destinés à Google Search, tandis que Google-Extended est spécifiquement dédié à la collecte de données pour l’entraînement des modèles d’intelligence artificielle de Google, comme Bard et Gemini. Cette séparation permet aux éditeurs de gérer indépendamment leur présence dans les résultats de recherche et leur contribution aux systèmes d’IA. Auparavant, bloquer Googlebot empêchait les deux fonctions.
Comment puis-je empêcher spécifiquement mes contenus d’être utilisés pour entraîner les modèles d’IA comme Bard et Gemini sans nuire à mon référencement ?
Pour empêcher l’utilisation de vos contenus par Bard et Gemini sans affecter votre référencement, vous devez bloquer spécifiquement l’agent utilisateur “Google-Extended” dans votre fichier robots.txt. En ajoutant la directive “User-agent: Google-Extended” suivie de “Disallow: /”, vous indiquez à Google de ne pas utiliser ces pages pour l’entraînement de ses IA, tout en permettant à Googlebot de continuer à indexer votre site pour la recherche classique.
Pourquoi Google a-t-il introduit Google-Extended comme un agent utilisateur distinct de Googlebot ?
Google a introduit Google-Extended comme agent utilisateur distinct pour offrir aux éditeurs un contrôle granulaire sur l’utilisation de leurs contenus. Auparavant, bloquer Googlebot pour éviter l’entraînement IA entraînait inévitablement une perte de visibilité dans les résultats de recherche. Cette séparation permet aux propriétaires de sites de choisir de participer ou non à l’amélioration des modèles d’IA, sans compromettre leur trafic organique essentiel.
Quelles sont les conséquences pour la visibilité organique de mon site si je bloque Google-Extended via mon fichier robots.txt ?
Bloquer Google-Extended via votre fichier robots.txt n’a aucune conséquence directe sur la visibilité organique de votre site dans les résultats de recherche Google. Cette action empêche uniquement l’utilisation de vos contenus pour l’entraînement des modèles d’IA comme Bard et Gemini. Votre site continuera d’être exploré et indexé par Googlebot pour le référencement classique, préservant ainsi votre positionnement et votre trafic.
En résumé
Google-Extended est un outil important pour les éditeurs qui veulent une granularité fine entre SEO classique et IA. Pour 90% des marques, laisser le site entièrement ouvert (config 1) est la bonne décision. Les cas de blocage sont spécifiques et doivent être réfléchis.
Pour aller plus loin : Google AI Overviews : comment optimiser, Gemini vs ChatGPT, audit Pulsari gratuit.
