Googlebot: un client exigeant qui mange léger
Le robot d’indexation de Google (GoogleBot) semble apprécier les pages de l’annuaire indeXweb.info depuis longtemps déjà , mais j’avais constaté en mai dernier que certaines pages de l’annuaire étaient inconfortablement lentes à afficher… fait étonnant lorsqu’on sait que l’annuaire indeXweb.info est conçu pour utiliser un minimum de contenu lourd ou lent à charger (peu, voire pas d’images… un maximum de texte… une présentation allégée… les vignettes Thumbzor sont même mises en cache pour éviter les appels à un serveur tiers (avec leur accord)…).
J’ai donc plongé mes petits doigts dans le code, fin mai/début juin, pour dénicher les indélicatesses, les boucles PHP un peu lourdes, et les requêtes SQL peu optimisées, et j’ai rapidement trouvé différentes améliorations à apporter.
Depuis mi-juin, les pages de l’annuaire s’affichent plus rapidement.
A l’analyse de l’activité de GoogleBot (via l’interface Google Webmaster Tools) de ces derniers mois, je remarque que Google semble apprécier d’être servi rapidement: la baisse du temps de téléchargement coïncide avec une hausse non négligeable du nombre de pages explorées par GoogleBot chaque jour (à peu près 15.000…).

La conséquence évidente de cette mise à disposition de plus de pages chaque jour est une amélioration de la fraîcheur de l’indexation: les pages de l’annuaire se retrouvent de plus en plus rapidement indexées, ajoutant de fait à la qualité du service
Le trafic de l’annuaire semble suivre la même tendance haussière que celle du crawl par GoogleBot, dans des proportions très proches: on ne s’en plaindra pas.

