Fonctionnement des robots Google pour le référencement

Le moteur de recherche Google utilise des robots d’indexation appelés Googlebot pour parcourir les pages de votre site internet et déterminer leur position dans l’affichage des résultats naturels (SERP).

Web crawler

Comment fonctionnent les robots Google ou Googlebots ?

Deux types de robots Google explorent le web

Fréquence des passages

Les sites mobile-first avec un web design responsive adapté aux différentes technologies sont principalement explorés par un robot pour mobile. Par conséquent, les sites non optimisés pour un affichage mobile sont parcourus par un robot pour ordinateur. 

Quelle différence entre les Googlebots ?

Un robot majoritaire sera désigné en fonction de la compatibilité d’affichage de votre site.

Votre site est compatible avec les mobiles.

Googlebot smartphone sera en charge d’explorer l’architecture et les relations entre les contenus du site. De ce fait, le robot pour ordinateur sera considéré comme minoritaire. Il se contentera de visiter uniquement les pages déjà indexées par le Googlebot smartphone.

Votre site n’est pas orienté mobile-first.

Dans cas, c’est le schéma inverse qui se produit.

Crawler web

Peut-on configurer le passage des robots ?

Il est possible de donner des instructions aux robots. Pour autant, ces directives ne sont pas toujours suivi à la lettre.

Certains outils pour webmasters permettent de configurer des instructions. Il est également possible d’utiliser un fichier appelé « robots.txt » pour demander d’ignorer certaines pages, certains dossiers ou fichiers.

Apparaissez dans les résultats Google

Augmentez votre visibilité en ligne dans les résultats Google pour générer plus de visiteurs sur votre site internet.