Fonctionnement des robots Google pour le référencement

Le moteur de recherche Google utilise des robots d’indexation appelés Googlebot pour parcourir les pages de votre site internet et déterminer leur position dans l’affichage des résultats naturels (SERP).

Web crawler

Comment fonctionnent les robots Google ou Googlebots ?

Deux types de robots Google explorent le web

  • Googlebot pour ordinateur pour simuler un internaute depuis le navigateur web d’un PC.
  • Googlebot pour smartphone pour simuler un visiteur depuis un appareil mobile comme un smartphone par exemple.

Fréquence des passages

Les sites mobile-first avec un web design responsive adapté aux différentes technologies sont principalement explorés par un robot pour mobile. Par conséquent, les sites non optimisés pour un affichage mobile sont parcourus par un robot pour ordinateur.

Quelle différence entre les Googlebots ?

Un robot majoritaire sera désigné en fonction de la compatibilité d’affichage de votre site.

Votre site est compatible avec les mobiles.

Googlebot smartphone sera en charge d’explorer l’architecture et les relations entre les contenus du site. De ce fait, le robot pour ordinateur sera considéré comme minoritaire. Il se contentera de visiter uniquement les pages déjà indexées par le Googlebot smartphone.

Votre site n’est pas orienté mobile-first.

Dans cas, c’est le schéma inverse qui se produit.

Peut-on configurer le passage des robots ?

Il est possible de donner des instructions aux robots. Pour autant, ces directives ne sont pas toujours suivi à la lettre.

Certains outils pour webmasters permettent de configurer des instructions. Il est également possible d’utiliser un fichier appelé « robots.txt » pour demander d’ignorer certaines pages, certains dossiers ou fichiers.

Crawler web

Référencement naturel SEO (référencement local et national)