Pierre Calvet

/outils/extracteur-sitemap/

Extracteur de sitemaps

Indiquez un domaine ou des sitemaps : l’outil suit les index, récupère toutes les URL déclarées avec leurs balises (lastmod, hreflang, images, vidéos, news), signale les écarts au protocole et exporte la liste et l’arborescence des sitemaps en CSV.

Les fichiers sont récupérés par ce site ; la lecture se fait dans votre navigateur et rien n’est conservé.

Un domaine seul (exemple.fr) part de son robots.txt ; à défaut de ligne Sitemap, l’outil essaie /sitemap.xml puis /sitemap_index.xml. Formats lus : XML (urlset, index), texte, RSS, Atom, compressés en gzip ou non.

En savoir plus

Ce que l’outil extrait, ce qu’il contrôle, ses limites et ses sources.

Ce que contiennent les exports
FichierUne ligne parColonnes
URL déclaréesdéclaration d’URL (une URL présente dans deux sitemaps donne deux lignes)URL du sitemap source, URL déclarée, lastmod, changefreq, priority, nombre et liste des hreflang (code = URL), nombre et URL des images, nombre et titres des vidéos, titre, date, publication et langue news, nombre d’occurrences, problèmes.
Arborescencefichier lu ou référencé (robots.txt, index, sitemap)Niveau, sitemap parent, URL, type, origine (saisie, robots.txt, index, emplacement par défaut), code HTTP, URL finale après redirection, compression, taille, nombre de sitemaps enfants et d’URL, lastmod déclaré dans l’index, chemin complet depuis la racine, problèmes.
hreflangannotation hreflangSitemap source, URL déclarée, code, URL alternative, lien retour (oui, non, auto-référence, cible absente des sitemaps lus).
Problèmesproblème relevéNiveau, problème, sitemap, URL, détail.
Ce que l’outil contrôle
ÉlémentContrôles
FichierCode HTTP, redirections, page HTML servie à la place du sitemap, format reconnu, espace de noms, esperluettes non échappées, balises mal fermées, 50 000 entrées et 50 Mo non compressés au plus, type de contenu.
IndexSitemaps enfants sur un autre hôte ou hors du répertoire de l’index, index imbriqués, références en double ou en boucle.
URLURL absolue, protocole, longueur, caractères non encodés, fragment, hôte et protocole identiques à ceux du sitemap, URL hors du répertoire du sitemap, URL déclarée plusieurs fois.
Baliseslastmod au format W3C et pas dans le futur, valeurs de changefreq et priority (que Google ignore), 1 000 images par URL au plus.
hreflangCodes ISO, URL absolues, même code pour deux URL, auto-référence, et lien retour : si la version alternative a sa propre entrée dans les sitemaps lus, l’outil vérifie qu’elle renvoie bien vers l’URL de départ.

Une URL située sur un autre hôte que son sitemap est admise quand le sitemap est déclaré dans le robots.txt de cet hôte (soumission croisée) : en partant d’un domaine, l’outil en tient compte et ne la signale pas.

Ce que l’outil ne fait pas
  • Il ne visite pas les URL déclarées : pour vérifier leur code HTTP, leur indexabilité et leur canonical, collez l’export dans le testeur d’URL.
  • Il ne sait pas quels sitemaps sont soumis dans la Search Console, ni si Google les a lus : seul le rapport Sitemaps de la Search Console le dit.
  • Il lit au plus 2 000 fichiers, sur 5 niveaux d’index, et 500 000 URL ; chaque fichier est lu jusqu’à 50 Mo (la limite du protocole). Au-delà de 240 requêtes par minute, l’exploration marque une courte pause puis reprend seule.
  • Les requêtes partent du serveur de ce site. Un site qui filtre les robots inconnus peut répondre 403 : choisissez alors l’agent « Navigateur ».
  • La lecture est tolérante : un XML mal formé reste lu autant que possible, et l’anomalie est signalée. Un moteur, lui, peut rejeter le fichier entier.
Sources