technique

PerplexityBot : tout savoir sur le crawler Perplexity

Comment PerplexityBot explore ton site, ce qu'il retient, et comment optimiser son passage.

Mehdi Benali
 
Illustration sur l'optimisation SEO et la GEO
Illustration sur l'optimisation SEO et la GEO

Si tu veux apparaître dans Perplexity, tu dois d’abord autoriser PerplexityBot à venir lire ton site. Ça semble trivial, sauf que beaucoup de sites le bloquent par défaut via des firewalls trop agressifs. Voici le guide technique complet sur PerplexityBot.

Qui est PerplexityBot

PerplexityBot est le crawler officiel de Perplexity AI, l’un des moteurs de réponse IA les plus utilisés en 2026. Son rôle : explorer les sites web, lire leur contenu et l’indexer pour alimenter les réponses que Perplexity génère.

Particularité : Perplexity utilise aussi d’autres sources (Brave Search API notamment) pour retrouver des pages pertinentes en temps réel. Mais le crawler propre de Perplexity est important pour l’indexation de fond de ton site.

Identifier PerplexityBot dans tes logs

User-agent officiel :

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Plages d’IP : Perplexity publie ses plages d’IP sur sa documentation technique officielle. Elles changent occasionnellement, vérifier tous les 6 mois.

Pour vérifier dans tes logs nginx ou apache :

grep "PerplexityBot" /var/log/nginx/access.log | tail -20

Si tu ne vois aucune ligne, deux hypothèses : soit Perplexity ne t’a pas encore crawlé, soit ton firewall bloque la requête avant qu’elle atteigne ton application.

Autoriser PerplexityBot dans robots.txt

Dans ton robots.txt, ajoute ou vérifie :

User-agent: PerplexityBot
Allow: /

Si tu as des sections privées que tu veux exclure :

User-agent: PerplexityBot
Allow: /
Disallow: /admin/
Disallow: /client-area/

Attention : un Disallow: / par erreur bloque tout ton site. Vérifie toujours avec robots.txt tester (fonctionne pour valider la syntaxe).

Débloquer PerplexityBot dans Cloudflare / WAF

Si tu passes par un WAF (Cloudflare, AWS WAF, Sucuri), il peut bloquer PerplexityBot par défaut sous le label “bot suspect” ou “scraper”.

Cloudflare

  1. Dashboard Cloudflare > ton domaine > Security > Bots
  2. Vérifie la configuration “Bot Fight Mode” et “Super Bot Fight Mode”
  3. Si activée, ajoute PerplexityBot dans les “Verified Bots” autorisés
  4. Alternative : règle WAF personnalisée pour autoriser le user-agent PerplexityBot

Note : Perplexity a normalement passé les certifications “verified bot” de Cloudflare, donc les blocages sont rares mais arrivent sur des configs anciennes.

AWS WAF / autres

Règle custom :

WHEN User-Agent contains "PerplexityBot"
THEN ALLOW

Ajoute cette règle en PRIORITY HIGH pour qu’elle passe avant les règles genericues de blocage de bots.

Comment PerplexityBot explore ton site

Fréquence de crawl

PerplexityBot visite les sites populaires plusieurs fois par jour. Pour un site moyen (trafic < 10k/mois), comptez 1 à 3 visites par semaine.

Profondeur

Le crawler suit les liens internes jusqu’à une profondeur de ~5 clics depuis la home. Un site avec une architecture profonde (10+ clics) verra seulement les premières pages indexées.

Action : garde ton architecture à 3-4 niveaux max. Home > Catégorie > Article. Pas plus.

Respect du robots.txt

PerplexityBot respecte strictement le robots.txt, y compris les directives Disallow et les délais de crawl.

Respect des sitemap

PerplexityBot lit ton sitemap.xml si il est déclaré dans le robots.txt :

Sitemap: https://tondomaine.fr/sitemap-index.xml

Ce que PerplexityBot retient

Contenu texte intégral

Tout le texte visible de chaque page. Titre, H1-H6, paragraphes, listes. Le texte dans les images (sans OCR) n’est pas retenu.

Metadata

  • <title> et <meta description>
  • Schema.org JSON-LD (TRÈS important)
  • Open Graph tags (og:title, og:description, og:image)
  • llms.txt si présent (à partir de 2026)

Liens

Tous les liens internes pour construire un graphe du site. Les ancres (texte du lien) sont mémorisées et aident à comprendre le sens de chaque page.

Ce qu’il ne retient pas

  • JavaScript-rendered content (sauf si tu fais du SSR)
  • Contenu derrière un login
  • Formulaires non soumis
  • Contenu masqué par CSS (display: none en début de page)

Optimiser pour PerplexityBot

1. Autoriser via robots.txt + WAF

Vérifier chaque trimestre qu’aucune update de config ne t’a bloqué.

2. Sitemap à jour

Ton sitemap doit contenir toutes tes pages publiques, avec lastmod à jour. Soumettre à Google Search Console ET le référencer dans robots.txt.

3. SSR ou pré-rendering

Si ton site est une SPA React/Vue/Angular pure (sans SSR), PerplexityBot verra une page quasi vide. Solution : passer en Next.js / Nuxt / Astro avec pré-rendering.

4. Architecture plate

Maximum 3-4 niveaux de profondeur depuis la home. Chaque page importante doit être accessible en moins de 4 clics.

5. Liens internes abondants

Chaque article doit avoir 3 à 7 liens internes vers d’autres pages. Ça aide PerplexityBot à comprendre la structure thématique.

6. llms.txt

Oui, encore et toujours. Un bon llms.txt à la racine donne à PerplexityBot une compréhension directe de ton site en une lecture. Voir notre guide.

7. Monitoring

Surveille tes logs serveurs pour détecter quand PerplexityBot te visite et ce qu’il lit. Un outil comme Cloudflare Analytics ou Plausible te donne ces données gratuitement.

Ce qui bloque PerplexityBot sans que tu t’en rendes compte

  • Firewall trop agressif (Cloudflare Bot Fight Mode en mode “aggressive”)
  • Taux limit atteint (> 100 req/min depuis la même IP = blacklist temporaire)
  • JavaScript-only pages (pas de SSR)
  • Popups modales qui bloquent le contenu (cookie banner énorme, popup newsletter)
  • robots.txt trop restrictif copié d’un ancien site

Questions fréquentes

Comment puis-je m’assurer que PerplexityBot accède correctement à mon site et éviter de le bloquer involontairement ?

Pour garantir l’accès de PerplexityBot, il est crucial de vérifier que vos pare-feu et votre fichier robots.txt ne le bloquent pas par défaut. De nombreux sites bloquent les nouveaux crawlers de manière agressive, empêchant ainsi leur contenu d’être indexé par Perplexity AI. Assurez-vous que l’agent utilisateur PerplexityBot est autorisé et que les plages d’adresses IP officielles sont permises.

Quelle est la principale fonction de PerplexityBot et en quoi diffère-t-il des crawlers de moteurs de recherche traditionnels comme Googlebot ?

PerplexityBot est le crawler officiel de Perplexity AI, spécifiquement conçu pour explorer, lire et indexer le contenu web afin d’alimenter les réponses générées par cette intelligence artificielle. Contrairement aux crawlers traditionnels qui visent l’indexation pour des résultats de recherche classiques, PerplexityBot se concentre sur l’acquisition de données pour des réponses synthétisées par IA, contribuant à l’indexation de fond de votre site pour ce moteur de réponse.

Comment puis-je identifier les visites de PerplexityBot dans les journaux de mon serveur web (nginx/apache) ?

Vous pouvez identifier les visites de PerplexityBot dans vos journaux de serveur en recherchant son agent utilisateur officiel : Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot). Une simple commande grep “PerplexityBot” /var/log/nginx/access.log (ou l’équivalent pour Apache) vous permettra de filtrer ces entrées. Il est également recommandé de vérifier les plages d’adresses IP publiées par Perplexity, qui peuvent changer occasionnellement.

Quel est l’impact potentiel de PerplexityBot sur les ressources de mon serveur et comment gérer son trafic ?

L’impact de PerplexityBot sur les ressources de votre serveur est généralement modéré, mais comme tout crawler, il consomme de la bande passante et des cycles CPU lors de l’exploration. Pour gérer son trafic, assurez-vous que votre serveur est correctement configuré pour gérer les requêtes de crawlers sans surcharger vos ressources. Si nécessaire, vous pouvez ajuster la fréquence de crawl via les directives Crawl-delay dans votre robots.txt, bien que Perplexity n’ait pas de console spécifique pour cela.

En résumé

PerplexityBot est l’un des crawlers les plus importants à autoriser pour faire du GEO sérieux. 10 minutes de vérification de ton robots.txt + WAF + sitemap suffisent à éliminer 90% des blocages accidentels.

Pour aller plus loin : comment apparaître dans Perplexity, guide llms.txt, audit Pulsari gratuit.


Articles similaires

#perplexitybot#crawler perplexity#robots.txt perplexity

Prends le pouls de ta visibilité IA

Teste si ta marque est citée par Claude et Gemini en 30 secondes. Gratuit, sans inscription.