Googlebot: un client exigeant qui mange léger
Le robot d’indexation de Google (GoogleBot) semble apprécier les pages de l’annuaire indeXweb.info depuis longtemps déjà, mais j’avais constaté en mai dernier que certaines pages de l’annuaire étaient inconfortablement lentes à afficher… fait étonnant lorsqu’on sait que l’annuaire indeXweb.info est conçu pour utiliser un minimum de contenu lourd ou lent à charger (peu, voire pas d’images… un maximum de texte… une présentation allégée… les vignettes Thumbzor sont même mises en cache pour éviter les appels à un serveur tiers (avec leur accord)…).
J’ai donc plongé mes petits doigts dans le code, fin mai/début juin, pour dénicher les indélicatesses, les boucles PHP un peu lourdes, et les requêtes SQL peu optimisées, et j’ai rapidement trouvé différentes améliorations à apporter.
Depuis mi-juin, les pages de l’annuaire s’affichent plus rapidement.
A l’analyse de l’activité de GoogleBot (via l’interface Google Webmaster Tools) de ces derniers mois, je remarque que Google semble apprécier d’être servi rapidement: la baisse du temps de téléchargement coïncide avec une hausse non négligeable du nombre de pages explorées par GoogleBot chaque jour (à peu près 15.000…).
La conséquence évidente de cette mise à disposition de plus de pages chaque jour est une amélioration de la fraîcheur de l’indexation: les pages de l’annuaire se retrouvent de plus en plus rapidement indexées, ajoutant de fait à la qualité du service 
Le trafic de l’annuaire semble suivre la même tendance haussière que celle du crawl par GoogleBot, dans des proportions très proches: on ne s’en plaindra pas.
