L’indexation SEO est indispensable pour apparaître sur les moteurs de recherche.

Le problème, c’est qu’elle est la conséquence d’une prestation de référencement naturel complète.

Ces derniers temps, Google a encore augmenté ses exigences en terme d’indexation. Avec 800 000 sites créés par jour, Google se doit de choisir les pages à référencer sur son moteur de recherche. Bien sûr, ce choix est effectué par un Robot, c’est ce qu’on appelle le Crawl.

Nous allons voir dans ce Guide comment optimiser l’indexation de votre site.

Si cet article vous a été utile, n’hésitez pas à le partager à vos amis / collègues SEO. Bonne lecture !

Mais avant tout, et comme d’habitude sur notre blog, laissons la parole à Camille, qui vous présentera tout ce que nous savons sur l’indexation en 4 minutes top Chrono !

Définition de l’indexation SEO

Commençons par bien comprendre ce qu’est l’indexation.

L’indexation est la première étape du référencement naturel. Une fois que vous avez créé une nouvelle page sur votre site, google devra être mis au courant de cet ajout pour ensuite faire le choix (ou non) de l’intégrer à son moteur de recherche. C’est ça l’indexation : le fait de faire découvrir votre nouvelle page à Google de façon à lui permettre de la référencer sur son moteur de recherche.

Combien de temps prend l’indexation ?

C’est bien là tout le problème. Il n’y a pas de réponse unique à cette question. Comme vous allez le comprendre dans ce Guide, l’indexation dépendra de plusieurs facteurs, notamment de nombre de pages crées par jour / semaine / mois sur votre site. Ainsi un site d’actualité (qui publierait plusieurs dizaines d’articles par jour) se verra indexer beaucoup plus rapidement qu’un site qui n’a eu aucune activité ses derniers mois.

Cependant, vous lecteur, je sais que vous êtes plus dans le second cas. Si vous avez un site qui publie seulement quelques pages par mois, alors sachez que l’indexation moyenne va de 3 jours à 2 semaines. Nous allons cependant voir dans cet article comment faire en sorte d’accélérer au maximum le temps d’indexation de vos nouvelles pages.

Qu-est ce que le budget Crawl

Le budget crawl de votre site impactera directement l’indexation de ce dernier.

Il est donc primordial de bien comprendre la notion de budget Crawl. Le Budget Crawl est tout simplement le nombre de pages explorées par le Robot Google à chaque visite de ce dernier. Imaginons par exemple que le robot Google passe toutes les 48 heures sur votre site, s’il explore à chaque visite qu’une dizaines de pages, alors beaucoup de pages de votre site resteront désindexées pendant longtemps.

Google nous a donc communiqué cette formule : Budget Crawl = Crawl Rate Limit + Crawl Demand.

Crawl demand : nombres de pages indaxables de votre site

Crawl rate limit : Nombre de pages indexées par les robots Google à chaque visite

Comment augmenter le budget crawl ?

Pour augmenter au mieux votre budget crawl, Google nous a communiqué différent facteurs différentiants :

• Améliorer le temps de chargement de vos pages
• Mettre en place un site map XML
• Recevoir beaucoup de liens d’autres sites
• Mettre en place une stratégie de maillage interne

Nous verrons toutes ces notions en détail dans la suite de notre guide.

Comment indexer mon site

Maintenant que nous avons compris son fonctionnement, nous allons voir comment améliorer l’indexation de vos pages sur votre site.

Utiliser Site map XML

La première des choses à faire et de vérifier qu’un SiteMap XML a bien été généré sur votre Google Search Console.

Un Sitemap XLM permet à Google d’être avertis à chaque modification / création de nouvelles pages sur votre site. C’est de loin la chose la plus importante pour faciliter l’indexation de votre site.

Pour ce faire rendez vous sur votre Google Search Console, sur la rubrique index / sitemaps. Si vous avez indiqué votre /sitemap-index.xml, c’est qu’un sitemap est déjà bien branché sur votre site.

On peut y avoir plusieurs informations importantes : le nombre d’URL présentes sur votre Sitemap et la date de la dernière lecture de ce dernier par les robots Google.

Mette un Site map UX en Footer

Un sitemap UX n’a rien à voir avec votre sitemap XLM vu ci dessus. Celui-ci sera présent directement sur une page de votre site web. L’idée est d’indiquer sur une page toutes les pages de votre site. En envoyant un lien interne vers chacune d’entre elle. Ainsi le robot google arrivant sur cette page aura accès directement à l’ensemble de pages de votre site. Ce sitemap UX a pour but de diminuer la profondeur de votre site, et donc de faciliter l’exploration de l’ensemble de vos pages. Il est conseillé de placer ce sitemap UX dans le footer de votre site, afin qu’il soit accessible en 1 clic par le robot Google sur l’ensemble des pages de votre site.

Indexation : Mobile First

Nous avons remarqué également que les pages sont dans la grande majorité des cas explorées par le Googlebot pour smartphone. Cela signifie que l’exploration de votre site se faire sur la version mobile. Le boat est capable de détecter des problèmes de design, ou de temps de chargement indépendamment sur smartphone que sur desktop. Ainsi nous vous recommandons de travailler particulièrement votre version mobile pour améliorer votre indexation.

Faites une version responsive, avec un super design pour vos utilisateurs smartphone. Mais également, travaillez vos web performances exclusivement pour mobile. Je vous conseille d’aller tester la vélocité de votre site sur Page Speed Insight. Je vous assure que vous aurez un meilleur score sur desktop que sur mobile. Alors rectifiez ça au plus vite ! Mobile First les amis !

L’effet des backlinks sur l’indexation

Les backlinks, c’est à dire les liens d’autres sites qui pointent vers votre site on pour effet de transférer votre jus SEO d’un site vers votre site. Concrètement lorsque le robot google explore une page qui vous envoie un lien, il suivra le lien envoyé et arrivera donc sur votre site. Un backlink a donc pour effet d’augmenter le nombre de visites du robot Google.

Faciliter le crawl grâce au maillage interne

Une fois le robot Google sur votre site, il faut tout faire pour faciliter sa navigation. Et figurez vous que google suit le même chemin que vos utilisateurs sur votre site. Il va naviguer à travers votre menu, votre footer, et enfin vos liens internes sur vos pages. Prenez donc l’habitude d’envoyer des liens internes sur chacune de vos pages. Faites en sorte que ces liens soient cohérents. Par exemple un article abordant la thématique de l’indexation peut envoyer un lien interne vers un article abordant la thématique des articles invités.

D’ailleurs pour retrouver mon Guide pour obtenir des articles invités, et pour faire du super Netlinking, suivez ce lien.

Forcer l’indexation sur la Search Console

Si vous êtes impatient, vous pouvez tenter d’accélérer l’indexation de certaines pages en demande à Google de forcer l’indexation via la Search Console. Toutefois il faut savoir que vous avez un nombre de demande limité par jour (environ 10 demandes), et que ces demandes ne fonctionnent pas toujours. De plus j’ai l’intuition que forcer l’indexation n’est jamais bon. Faites le donc avec parsimonie et occasionnellement.

Optimiser votre Header et votre Footer

Dans la même idée que de faciliter le crawl google grâce au maillage interne, une bonne façon de faciliter le crawl de vos pages est de placer dans votre menu header et menu footer les pages les plus importantes. En effet ces menus sont présents sur l’ensemble des pages de votre site. Peut importe donc la porte d’entrée que prendre le googleboat, il aura accès à l’ensemble de ces pages en 1 clic de n’importe où !

Pourquoi publier régulièrement facilite l’indexation SEO ?

Je vais vous raconter une histoire. J’ai travaillé pendant 2 ans à la voix du nord, dans le pôle digital. J’avais accès à toutes les data SEO du site de PQR le plus connu de nord de la France.

Et figurez vous que les articles étaient indexés hyper rapidement. Il y a une raison à tout ça. Google a identifié le site de la voix du nord comme étant un site de presse, avec une batterie de journalistes hyper qualifiés. Il a donc intérêt à mettre en avant ce type de contenu. De ce fait, il indexé naturellement très rapidement les nouveaux articles.

Posez vous la question, comment faire en sorte d’avoir un profil de site se rapprochant d’un site de presse ? Il n’y a qu’une réponse, publiez le plus régulièrement possible du contenu. Si vous publier tous les jour un article de blog pendant un an, alors Google le comprendra et viendra indexer vos pages tous les jours. Régularité donc…

Pourquoi desindexer certaines pages ?

Comme nous l’avons vu plus haut, l’indexation dépend du budget crawl. Si vous intégré sur votre site 100 pages d’un coup, votre budget crawl va chuter, car le nombre de pages de votre site va augmenter d’un seul coup.

C’est pourquoi il vaut mieux publier régulièrement que beaucoup de pages d’un seul coup.

Mais il existe un moyen pour diminuer le nombres de pages indexables, et par conséquence augmenter votre budget crawl : c’est la desindexation.

Dans les faits les méthodes de desindexation sont les mêmes que celles utilisées pour l’indexation, mais en sens inverse.

Le fichier Robot TXT

Le fichier Robot TXT est aux antipodes du fichier sitemap.xml. Il permet d’indiquer à Google toutes les pages à ne pas indexer. Il est conseiller de mettre dans ce fichier des pages biens spécifiques, comme :

• les mentions légales
• les add to cart pour les sites e-commerce
• Les tag / catégorie et fiches auteurs / pagination pour ne pas polluer votre blog
• ….

La balise No index

La balise No Index permet d’indique sur une page spécifique qu’il ne faut pas l’indexer. Ça permet d’être plus chirurgical que le robot TXT, qui lui prendre la racine de votre URL et viendra désindexer toutes les pages avec un certain slug d’URL.

Les liens No Follow

Comme nous l’avons vu plus haut dans la partie indexation, il est important de faciliter la navigation du robot Google pour qu’il puisse naviguer sur l’ensemble de votre site. Ici nous sommes dans la logique contraire, comment faire en sorte que le robot google ne puisse pas explorer certaines pages. Pour ce faire vous pouvez attribuer une balise no follow à un lien interne. Ainsi le robot Google ne pourra pas suivre ce lien et sera contraint d’explorer les autres pages accessibles.

Forcer la desindexation sur la Search Console

Il est également possible de forcer la desindexation sur certaines pages directement sur la Search Console. C’est encore une fois le principe inverse de ce qu’on a vu juste plus haut concernant

Les mauvaises pratiques

J’ai pendant longtemps pratiqué la mauvaise méthode en terme d’indexation. Je vais vous guider à ne pas refaire les deux principales erreurs que j’ai commise.

Forcer constamment l’indexation

La première erreur est de chercher à forcer constamment les indexations. Comme je l’ai dit plus haut, il est possible de forcer les indexations sur la Search Console. D’une part l’indexation de fonctionne pas toujours en forçant cette dernière, et d’autre part il y a un nombre limité d’un peu moins de 10 indexations par jour.

De plus je ne pense pas que ça envoie des bons signes à Google de forcer les indexations tous les jours du nombre maximum proposé.

Suivre la couverture tous les jours sur la search console

Autre erreur est de vouloir aller plus vite que la musique. Il est tout à fait normal d’avoir des pages indexables mais non indexées sur votre site. C’est une des cordes de Google pour éviter de polluer les SERP. De plus, l’indexation prend du temps, et c’est tout à fait normal.

Dans tous les cas, si vous avez respecté toutes les bonnes pratiques d’indexation vue plus haut, vous ne devrez pas avoir encore longtemps de problèmes. Et si c’est le cas, aller chercher toujours plus de backlinks et optimiser encore et encore votre maillage interne.

En résumé