Tu as déjà croisé son nom sans forcément t’y arrêter. Dans tes logs serveur, dans les guides sur les robots IA, dans les discussions sur l’entraînement des modèles, un user-agent revient sans cesse : CCBot. C’est le robot de Common Crawl, et c’est sans doute le crawler le plus influent dont tu n’as jamais entendu parler vraiment.
La plupart des articles sur la visibilité dans les IA se concentrent sur GPTBot, ClaudeBot ou PerplexityBot. CCBot reste dans l’angle mort. Pourtant, c’est lui qui a alimenté, directement ou indirectement, une bonne partie des corpus d’entraînement des grands modèles de langage. Comprendre ce qu’il fait, et décider en connaissance de cause si tu le laisses entrer, fait partie des choix de fond d’une stratégie GEO sérieuse en 2026.
Cet article t’explique précisément ce qu’est CCBot, en quoi il diffère des robots de recherche temps réel, comment l’autoriser ou le bloquer proprement, et surtout quel est l’impact concret de chaque décision sur ta présence dans les IA génératives.
TL;DR
- CCBot est le robot de Common Crawl, une fondation à but non lucratif qui archive le web et publie ces archives en open data
- Son user-agent officiel est
CCBot/2.0 (https://commoncrawl.org/faq/) - Il sert à l’entraînement, pas au temps réel : il nourrit les futurs corpus de modèles, il ne génère pas de réponse en direct
- Le bloquer ne te rend pas invisible des IA : la citation temps réel passe par d’autres robots (OAI-SearchBot, PerplexityBot, Googlebot)
- La directive de blocage officielle :
User-agent: CCBotpuisDisallow: / - Common Crawl respecte le robots.txt et fournit des plages IP avec reverse DNS pour vérifier l’authenticité
- Le blocage agit vers le futur : les archives déjà collectées restent publiques et ne disparaissent pas
- La bonne question n’est pas technique mais stratégique : veux-tu que ton contenu alimente l’entraînement des modèles de demain ?
Common Crawl en 60 secondes
Common Crawl est une fondation américaine à but non lucratif. Sa mission tient en une phrase : démocratiser l’accès à l’information du web en produisant et en maintenant un dépôt ouvert de données de crawl, accessible et analysable par n’importe qui. Universités, chercheurs, associations et entreprises peuvent télécharger ces archives gratuitement.
Concrètement, Common Crawl lance régulièrement des cycles de crawl qui parcourent une part énorme du web public, puis publie le résultat sous forme d’archives téléchargeables. Ces archives contiennent le texte des pages, les métadonnées et des graphes de liens. La documentation officielle, les statistiques de crawl et l’index sont consultables sur commoncrawl.org.
Le point clé à retenir : Common Crawl ne construit pas de moteur de recherche, ne vend pas de produit IA et ne répond à aucune question d’utilisateur. Elle archive, puis elle partage. Ce sont d’autres acteurs qui réutilisent ensuite ces archives, notamment pour entraîner des modèles de langage.
CCBot, le robot derrière les archives
CCBot est le robot d’exploration qui réalise concrètement ces crawls. Quand il visite tes pages, il se présente dans son en-tête User-Agent par la chaîne suivante, telle que documentée par Common Crawl :
CCBot/2.0 (https://commoncrawl.org/faq/)Si tu vois cette ligne dans tes logs, c’est le vrai CCBot, ou un robot qui prétend l’être. Car la fondation reconnaît elle-même un problème répandu : des crawlers malveillants usurpent l’identité de CCBot pour passer inaperçus. Pour distinguer le vrai du faux, CCBot tourne désormais sur des plages d’adresses IP dédiées avec reverse DNS. Tu peux donc vérifier qu’une requête provient bien de l’infrastructure officielle, par exemple en résolvant l’IP de la requête et en vérifiant qu’elle pointe vers un domaine en crawl.commoncrawl.org.
Cette vérification d’IP est exactement la même logique que celle recommandée pour les autres robots IA. Si le sujet t’intéresse en détail, le principe est le même que celui décrit dans notre guide sur PerplexityBot et la vérification de crawl.
La différence cruciale : entraînement contre temps réel
C’est ici que beaucoup de gens se trompent, et c’est la distinction la plus importante de tout l’article.
Il existe deux grandes familles de robots IA. Comprendre à quelle famille appartient CCBot change complètement la décision que tu vas prendre.
Les robots d’entraînement
Ils collectent du contenu pour constituer des corpus qui serviront, plus tard, à entraîner ou à affiner des modèles. Le délai entre la collecte et l’effet visible se compte en mois. CCBot appartient à cette famille, tout comme GPTBot d’OpenAI dans son rôle de collecte d’entraînement. Ce que CCBot archive aujourd’hui pourrait influencer un modèle publié au prochain trimestre, ou jamais, selon ce que les laboratoires décident d’utiliser.
Les robots de recherche temps réel
Ils visitent ton site au moment précis où une IA a besoin d’une réponse fraîche. C’est le cas d’OAI-SearchBot pour ChatGPT search, de PerplexityBot pour Perplexity, ou de Googlebot pour les AI Overviews. Quand un utilisateur pose une question d’actualité, ces robots vont chercher l’information à la source et citent l’URL.
La conséquence est nette : bloquer CCBot n’a aucun effet sur ta capacité à être cité en temps réel. Tu peux fermer ta porte à l’entraînement tout en restant parfaitement visible dans les réponses citées au quotidien. Inversement, autoriser CCBot ne garantit en rien une citation : ce n’est pas son rôle.
Cette nuance recoupe le distinguo entre autoriser un robot et apparaître dans les réponses, que nous détaillons dans le guide GPTBot : autoriser ou bloquer sur ton site.
Pourquoi CCBot pèse plus lourd qu’il n’en a l’air
Si CCBot ne sert pas au temps réel, pourquoi s’en soucier ? Pour une raison simple : son influence est démultipliée par la nature ouverte de Common Crawl.
Quand OpenAI ou Anthropic envoient leur propre robot, le contenu collecté alimente leurs modèles à eux. Quand CCBot collecte, le résultat est publié en open data et peut être réutilisé par des dizaines d’acteurs : grands laboratoires, startups, projets de recherche académique, modèles open source. Une seule page archivée par CCBot peut donc se retrouver dans de multiples jeux d’entraînement, sans que tu aies la moindre visibilité sur qui les utilise.
C’est le double tranchant. Pour beaucoup de marques, c’est une formidable opportunité de diffusion : ton expertise irrigue l’écosystème IA dans son ensemble. Pour d’autres, notamment celles qui produisent du contenu à forte valeur ou des données sensibles, c’est une perte de contrôle qui justifie de poser des limites.
Autoriser CCBot : pour qui, pourquoi
Pour l’immense majorité des sites qui font du GEO, autoriser CCBot est le choix par défaut le plus cohérent. Voici les profils qui ont tout intérêt à le laisser passer.
- Les marques en construction d’autorité : plus ton contenu de référence circule dans les corpus, plus tu augmentes tes chances qu’un modèle associe ton nom à ton domaine d’expertise. C’est exactement la logique d’autorité thématique appliquée à l’entraînement.
- Les sites de contenu informatif : médias, blogs experts, documentations publiques. Leur valeur croît avec la diffusion, pas avec la rétention.
- Les acteurs qui veulent maximiser leur empreinte IA : si ton objectif est d’être présent partout où une IA pourrait avoir besoin de toi, fermer la porte à un corpus aussi réutilisé serait contre-productif.
Pour autoriser CCBot, il n’y a en réalité rien à faire de spécial : en l’absence de directive le concernant dans ton robots.txt, il est autorisé par défaut. Tu peux toutefois rendre l’autorisation explicite pour documenter ton choix.
User-agent: CCBot
Allow: /Bloquer CCBot : pour qui, pourquoi
Le blocage se justifie dans des cas précis. Si tu te reconnais dans l’un d’eux, c’est un choix légitime.
- Contenu premium ou payant : tu ne veux pas que des articles réservés à tes abonnés alimentent gratuitement l’entraînement de modèles tiers.
- Données originales coûteuses à produire : études, bases de données, recherches propriétaires que tu veux protéger.
- Position de principe sur les droits d’auteur : certaines marques refusent par principe de nourrir l’entraînement sans accord ni compensation.
La directive officielle, telle qu’indiquée par Common Crawl sur sa page CCBot, est la suivante. Tu la places dans le fichier robots.txt à la racine de ton domaine.
User-agent: CCBot
Disallow: /Pour ne bloquer qu’une partie du site, remplace la barre oblique par le chemin concerné. Par exemple, pour protéger uniquement ton espace membre tout en laissant le reste accessible :
User-agent: CCBot
Disallow: /compte/
Disallow: /premium/Trois précisions essentielles avant de copier-coller.
Premièrement, Common Crawl respecte le robots.txt. C’est une fondation transparente qui documente publiquement ce comportement, à la différence de robots plus opaques. Tu n’as pas à craindre que CCBot ignore ta directive.
Deuxièmement, le blocage agit uniquement vers le futur. Les archives déjà publiées lors des cycles précédents sont figées et publiques : un Disallow ajouté aujourd’hui n’efface rien de ce qui a déjà été collecté. Si tu veux agir sur du contenu déjà archivé, c’est une démarche juridique, pas technique.
Troisièmement, méfie-toi des faux CCBot. Un robot malveillant qui usurpe l’user-agent ignorera évidemment ton Disallow. La seule parade fiable reste la vérification de l’IP via reverse DNS, comme nous l’expliquons plus haut. La structure générale d’un robots.txt orienté IA, avec les bonnes pratiques par robot, est détaillée dans notre guide robots.txt pour les IA.
La matrice de décision en pratique
Plutôt que de raisonner robot par robot dans le désordre, pose-toi deux questions simples et croise les réponses.
| Ton objectif | CCBot | Robots temps réel |
|---|---|---|
| Maximiser ma diffusion IA partout | Autoriser | Autoriser |
| Être cité sans nourrir l’entraînement | Bloquer | Autoriser |
| Protéger du contenu premium | Bloquer (au moins la section) | Selon le cas |
| Tout verrouiller | Bloquer | Bloquer (rare, à éviter en GEO) |
La ligne la plus intéressante est la deuxième. C’est une posture parfaitement viable en 2026 : tu refuses l’entraînement de masse via Common Crawl, mais tu restes citable en temps réel dans ChatGPT, Perplexity et les AI Overviews. Beaucoup de marques de presse adoptent exactement cette configuration.
À l’inverse, la dernière ligne, le verrouillage total, va à l’encontre de toute stratégie GEO. Si tu bloques aussi les robots temps réel, tu disparais des réponses citées. Sauf raison juridique impérieuse, ce n’est pas un choix recommandé. Pour comprendre pourquoi la visibilité IA est devenue un enjeu de fond, relis notre comparatif GEO contre SEO en 2026.
Vérifier que ta configuration fonctionne
Une directive robots.txt ne sert à rien si elle est mal écrite ou mal servie. Voici comment contrôler.
Commence par vérifier que ton fichier est bien accessible et que la directive CCBot est présente. Une simple requête en ligne de commande suffit.
curl -s https://ton-domaine.com/robots.txtTu dois voir apparaître le bloc User-agent: CCBot avec la directive choisie. Attention à un piège fréquent : si CCBot est mentionné dans un bloc et que ton intention est ailleurs dans le fichier, c’est toujours le bloc le plus spécifique à son user-agent qui s’applique. Évite les doublons contradictoires.
Ensuite, surveille tes logs serveur. Filtre sur la chaîne CCBot et croise avec l’IP. Si tu vois un CCBot/2.0 provenant d’une IP qui ne résout pas vers crawl.commoncrawl.org, tu as affaire à un imposteur, et aucune directive robots.txt ne l’arrêtera de manière fiable. Dans ce cas, le blocage doit se faire au niveau du serveur ou du pare-feu applicatif, par filtrage d’IP, pas par robots.txt.
Enfin, garde en tête que CCBot ne passe pas en continu. Common Crawl fonctionne par cycles. Tu peux donc ne rien voir dans tes logs pendant des semaines, puis observer un pic de visites lors d’un cycle. L’absence de CCBot dans tes logs sur une courte période ne signifie pas qu’il t’a oublié.
CCBot face aux autres robots IA : qui fait quoi
Pour décider en connaissance de cause, il faut savoir où CCBot se situe dans le paysage des robots. Beaucoup de confusion vient du fait qu’on les met tous dans le même sac alors que leurs rôles diffèrent radicalement.
CCBot collecte pour des archives ouvertes réutilisables par tous. GPTBot collecte pour l’entraînement des modèles d’OpenAI, et lui seul. OAI-SearchBot, en revanche, est le robot de recherche temps réel de ChatGPT search : c’est lui qui va chercher l’information au moment de répondre et qui cite l’URL. ClaudeBot joue, côté Anthropic, un rôle de collecte que nous détaillons dans notre guide ClaudeBot et Anthropic Bot. PerplexityBot et Googlebot complètent le tableau côté réponse en direct.
La conséquence pratique est qu’une seule directive ne suffit jamais. Chaque robot lit le bloc robots.txt qui correspond exactement à son user-agent. Si tu écris une règle pour CCBot, elle ne s’applique ni à GPTBot, ni à ClaudeBot, ni à PerplexityBot. Tu dois donc raisonner robot par robot, comme on remplit une grille, et non par une décision unique appliquée à tout l’écosystème.
Une dernière subtilité mérite attention. Common Crawl étant open data, bloquer CCBot ne garantit pas qu’aucun modèle n’aura jamais vu ton contenu. Un acteur peut parfaitement disposer de son propre robot, par exemple GPTBot, et collecter ce que CCBot ne récupère plus. Bloquer CCBot ferme donc une porte, la plus large et la plus réutilisée, mais pas toutes les portes. Si ta volonté de protection est totale, tu dois traiter chaque robot d’entraînement séparément, un par un, dans ton robots.txt.
L’erreur à ne pas commettre
La pire décision est de traiter CCBot par réflexe, sans réfléchir à ta stratégie globale. On voit deux travers symétriques.
Le premier consiste à bloquer CCBot par peur, en croyant protéger sa visibilité, alors que le blocage produit l’effet inverse de ce qu’on cherche : il prive le contenu d’une diffusion utile sans rien gagner côté citation. Le second consiste à tout autoriser sans se poser de question, y compris pour du contenu qu’on aurait tout intérêt à protéger.
La bonne approche est intermédiaire et raisonnée. Décide robot par robot, section par section, en fonction de la valeur du contenu et de ton objectif. C’est exactement la philosophie d’une stratégie GEO bien construite : pas de réglages aveugles, des choix explicites et documentés.
Conclusion
CCBot n’est ni un ami ni un ennemi. C’est un outil d’archivage ouvert dont l’influence dépasse de loin sa discrétion. Pour la plupart des sites qui veulent exister dans l’écosystème IA, le laisser entrer reste le choix par défaut le plus cohérent, car il diffuse ton expertise bien au-delà d’un seul modèle. Pour ceux qui protègent un contenu à forte valeur, le bloquer est un choix légitime, sans pénalité sur la citation temps réel.
L’essentiel est de comprendre la distinction de fond : CCBot nourrit l’entraînement de demain, pas les réponses d’aujourd’hui. Une fois cette logique intégrée, ta décision devient simple et alignée sur ta stratégie.
Mesure ta visibilité réelle dans les IA génératives avec Pulsari. Premier audit offert, résultats en 2 minutes.
Pour aller plus loin : GPTBot : autoriser ou bloquer, robots.txt pour les IA, notre méthode.
