Validateur de robots.txt

Comment lit-on un robots.txt ?

Le protocole d’exclusion des robots est standardisé depuis 2022 par la RFC 9309. Google en publie une interprétation détaillée et a ouvert le code de son parseur : c’est la lecture la mieux documentée, et celle que cet outil reproduit. Les autres robots s’en écartent par endroits ; les diagnostics le signalent quand c’est le cas.

• Un seul groupe par robot. Chaque robot cherche le groupe dont le jeton User-agent correspond exactement au sien (sans tenir compte de la casse, ni de ce qui suit le jeton : Googlebot/2.1 vaut googlebot). S’il n’en trouve pas, il se replie sur un jeton plus général (Googlebot-Image sur Googlebot), puis sur *. Un robot qui a son propre groupe ignore donc complètement les règles de *.
• La règle la plus longue gagne. Pour une URL donnée, toutes les règles du groupe qui correspondent sont comparées ; la plus spécifique (le motif le plus long) l’emporte. À longueur égale, Allow gagne. Les jokers * (n’importe quelle suite de caractères) et $ (fin de l’URL) sont pris en charge par Google et Bing, et prévus par la RFC.
• Seul le chemin compte. La comparaison porte sur le chemin et la chaîne de requête de l’URL, pas sur le domaine. Un robots.txt vaut pour un hôte, un protocole et un port donnés.
• Le code HTTP compte autant que le contenu. Pour Google, une réponse 4xx (sauf 429) équivaut à l’absence de fichier : tout est autorisé. Une réponse 5xx ou 429 suspend le crawl douze heures, puis Google réutilise sa dernière copie valide pendant trente jours. Au-delà de cinq redirections, le fichier est traité comme une 404.
• Bloquer n’est pas désindexer. Une URL interdite au crawl peut rester indexée si elle est liée ailleurs ; pour la retirer des résultats, il faut la laisser crawlable et poser une balise meta robots ou un en-tête X-Robots-Tag.

Ce que l’outil vérifie

• La syntaxe de chaque ligne : séparateur, directives connues et fautes de frappe (celles que Google tolère, celles qu’il ignore), règles hors de tout groupe, user-agent vide ou mal formé.
• Les chemins : barre oblique initiale obligatoire, URL complète au lieu d’un chemin, $ mal placé, jokers inutiles, # collé au chemin (tout ce qui suit est un commentaire), espaces et caractères non ASCII.
• Les directives sans effet ou trompeuses : Noindex (abandonnée par Google en 2019), Crawl-delay (ignorée par Google et Yandex, respectée par Bing), Host, Clean-param, Content-Signal.
• La structure : groupes sans règle, groupes en double, règles redondantes ou contradictoires, absence de groupe *, absence de Sitemap, sitemaps relatifs.
• Les pièges courants : site entièrement bloqué, blocage des CSS et JavaScript nécessaires au rendu, blocage des images, fichier HTML servi à la place du robots.txt, taille au-delà des 500 Kio lus par Google.
• L’accès effectif de 35 robots connus — moteurs de recherche, robots publicitaires de Google (qui ignorent *), robots d’entraînement d’IA, index de recherche IA, visites déclenchées par un utilisateur, outils SEO — avec le groupe que chacun suit réellement.

Ce qu’il ne fait pas

• Il ne vérifie pas que les URL testées existent, ni ce qu’en fait un moteur une fois crawlées (indexation, canonicalisation, rendu).
• Il ne lit pas les balises meta robots ni les en-têtes X-Robots-Tag, qui sont le bon outil pour désindexer.
• Il ne garantit rien pour les robots qui ne respectent pas le protocole. Certains robots d’IA déclarés déclenchés par un utilisateur (ChatGPT-User, Perplexity-User, meta-externalfetcher) indiquent eux-mêmes qu’ils peuvent passer outre ; l’outil le rappelle dans le bilan.
• Il applique la lecture de Google. Les robots qui s’en écartent — pas de jokers, premier groupe lu seulement, comparaison partielle du jeton — peuvent aboutir à un autre verdict. Les diagnostics signalent les constructions sur lesquelles ces écarts se produisent.

Sources

• IETF, RFC 9309 — Robots Exclusion Protocol (2022).
• Google, How Google interprets the robots.txt specification ; Create and submit a robots.txt file ; Google’s common crawlers ; Special-case crawlers ; parseur robots.txt open source.
• OpenAI, Overview of OpenAI crawlers (GPTBot, OAI-SearchBot, ChatGPT-User).
• Anthropic, Does Anthropic crawl data from the web (ClaudeBot, Claude-User, Claude-SearchBot).
• Perplexity, Perplexity crawlers (PerplexityBot, Perplexity-User).
• Microsoft, Which crawlers does Bing use? et How to create a robots.txt file (Crawl-delay).
• Yandex, Using robots.txt (directives prises en charge).
• Apple, About Applebot (Applebot, Applebot-Extended) ; Meta, Meta Web Crawlers ; Common Crawl, CCBot ; Babbar, Barkrowler.
• Cloudflare, Content Signals Policy (directive Content-Signal).