Matt Cutts confirme: le robot AdSense indexe votre contenu!
Des résultats en provenance de MediaBot (AdSense Mediapartners bot) utilisées par Big Daddy…
Matt Cutts a confirmé dernièrement que le robot Mediapartners de Google AdSense indexe des pages et les fournit à l’index de Big Daddy.
On retrouve des preuves que le passage du robot d’AdSense Mediapartners (à des fins de ciblage des publicités contextuelles Google AdSense) se retrouvent dans les résultats de recherche de Google.
Matt Cutts confirme ces rumeurs à propos de résultats glanés par Mediabot qui se retrouvent dans Big Daddy. Matt Cutts indique qu’il s’agit d’un moyen de préservation de bande passante qui fait que GoogleBot et MediaBot contribuent tous deux à l’index de Big Daddy.
Matt Cutts indique qu’il n’y a rien à y gagner d’un point de vue positionnement. Le fait qu’un contenu ait été indexé par GoogleBot ou par MediaBot ne changerait rien en termes de positionnement dans l’index. Néanmoins, il indique aussi que cela pourrait servir de méthode de détection de pages masquées (cloaking) à l’un des deux robots.
Force est de constater qu’il existe une faille, en ce sens qu’un contenu qui serait interdit à l’indexation par GoogleBot (via robots.txt) pourrait néanmoins être indexé par MediaBot.
Source: JenSense (anglais)
Addendum: Après vérification, les conditions d’utilisation du programme Google AdSense stipulent à l’article 16. que Google s’autorise à indexer et à mettre les pages en cache:
“En outre, vous autorisez Google à accéder au(x) Site(s), à indexer et à mettre en cache tout ou partie du(des) Site(s), y compris par des moyens automatiques tels que des robots d’indexation (« spiders ») ou d’exploration (« crawlers ») Web.”
