Crawl caching proxy
Matt Cutts fait la lumière sur le système de cache inter-robots crawl caching proxy mis en place par Google.
Afin d’éviter de consommer trop de bande passante, Google a mise en place en même temps que la “migration BigDaddy” un système de mise en cache inter-robots, fonctionnant un peu à la manière des caches de fournisseurs d’accès.
Là où auparavant le(s) robot(s) de chaque service Google (GoogleBot, AdSense MediaBot, blogsearch, etc…) allait récupérer la page nécessaire à son service, les pages indexées par les différents robots sont disponibles aux autres robots également.
Par exemple: Si le service “X” a eu besoin de récupérer les pages d’un site, et que le service “Y” en a besoin un peu plus tard, Google va parfois utiliser la page qui se trouve dans le “caching proxy”.
La question se posait de savoir si les autres robots que le robot dit “d’indexation” (GoogleBot) suivent les règles édictées par le fichier robots.txt; Matt Cutts rassure le public en indiquant que si l’indexation est interdite à un robot, le fait qu’un autre robot ait pu récupérer la page ne permet pas pour autant au robot “interdit de lecture” de récupérer cette même page.
Les robots continuent de respecter les règles édictées par robots.txt.
A noter également que les données contenues dans le “crawl caching proxy” ne sont pas les mêmes données que celles qui sont affichées lorsqu’on clique sur le lien “Page en cache” dans les résultats de recherche.
Matt Cutts attire l’attention sur le fait que la participation au programme AdSense ou le fait de participer à blogsearch ne permet pas d’obtenir “plus de visites des robots” ou un meilleur positionnement dans l’index de quelque façon que ce soit.
