Indexation d’un site web

L’indexation d’un site web est l’une des premières étapes du référencement naturel de ce dernier. Un site web est indexé dès lors que ses pages apparaissent dans les résultats des moteurs de recherche. Ce dossier vous explique tout ce qu’il faut savoir sur l’indexation d’un site internet, et vous donne une vision claire et globale de l’indexation par les moteurs de recherche.

Qu’est-ce que l’indexation d’un site web ?

Quand on s’intéresse aux bases du référencement naturel, il est utile d’avoir une vision claire de l’indexation d’un site internet. Et pour cause, c’est une étape essentielle pour que votre site commence à faire du trafic.

Indexation d’un site internet : définition

Donnons pour commencer une définition de l’indexation, un terme relatif au référencement web, qui donne une vision claire du fonctionnement des moteurs de recherche.

L’indexation d’un site internet désigne l’étape durant laquelle ses pages sont analysées, répertoriées et classées par les moteurs de recherche.

Il est intéressant de comprendre qu’un moteur de recherche comme Google fonctionne à l’aide de robots, des programmes qui parcourent le web de lien en lien, et vont analyser les pages des différents sites web :

1. L’indexation est l’étape durant laquelle ces robots parcourent une page, et décident ou non de l’afficher dans les résultats de recherche (qu’on appelle aussi les SERP).
2. Durant l’indexation, les robots des moteurs de recherche analysent l’ensemble du contenu de la page (textes, images, vidéos, liens, etc.).
3. L’indexation va permettre d’analyser les contenus, puis de les trier dans les résultats de recherche, en fonction de nombreux critères.
4. Une page indexée peut donc ensuite apparaître dans les résultats des moteurs de recherche, quand l’internaute tape un mot clé spécifique.

Dans les faits, on parlera plus précisément de l’indexation d’une page web, car les moteurs de recherche fonctionnent page par page. Il est tout à fait possible que certaines pages de votre site web soient indexées et présentes dans les SERP, et pas d’autres.

L’indexation est l’une des premières étapes du référencement naturel, mais elle est loin d’être suffisante. En effet, une page indexée ne va pas forcément attirer de trafic. Si votre page apparaît en 50e résultat d’une recherche Google, elle sera certes indexée (elle apparaît dans les SERP), mais elle ne sera pratiquement jamais consultée.

Différence entre indexation et positionnement

Comme vous l’avez certainement compris, il est important de ne pas confondre l’indexation web avec le positionnement :

• Une page web indexée est une page que Google a découvert et décidé de proposer dans ses résultats, mais cela n’indique en rien que la page en question profite d’un bon positionnement.
• Le positionnement d’une page web désigne sa place dans les résultats de recherche. Le positionnement d’une page se fait en fonction d’un mot clé précis (une recherche d’un internaute). Pour des raisons évidentes, votre objectif est que vos pages aient le meilleur positionnement possible. Une position dans les 3 premiers résultats, ou au minimum dans les 10 premiers, sera pratiquement indispensable pour commencer à générer du trafic.

Pour résumer, l’indexation d’un site web est une étape essentielle, mais pas suffisante. En effet, un site web non indexé n’apparaîtra jamais sur Google, mais un site web indexé et mal positionné n’attirera jamais de trafic.

En savoir plus : pensez à lire notre dossier sur le positionnement d’un site web pour en savoir plus sur le sujet.

Comment indexer un site web ?

Lorsque vous décidez de lancer un nouveau site internet, il est important de vous pencher sur son indexation. En effet, un site web complètement inconnu de Google et des moteurs de recherche peut risquer de ne pas être indexé.

Dès lors, il est utile de comprendre comment indexer son site internet.

Faciliter l’indexation d’un site web

En théorie, un site internet sera indexé naturellement… mais il est toujours possible de donner un petit coup de pouce au destin !

Différents éléments peuvent faciliter l’indexation d’un site internet :

• Le sitemap : le sitemap est une sorte de carte géographique de votre site web, sous forme de fichier XML, à destination des moteurs de recherche. Le sitemap liste tous les liens d’un site web, et peut donc faciliter l’indexation sur les gros sites web. Plus votre site comporte de pages, et plus vous avez intérêt à créer un sitemap. C’est quoi qu’il en soit considéré comme une bonne pratique pour faciliter l’indexation.
• Le fichier robots.txt : le fichier robots.txt est un fichier texte à la racine du domaine, qui sera systématiquement consulté par les robots des moteurs de recherche. Ce fichier peut faciliter l’indexation, notamment en mentionnant le lien du sitemap et en donnant des consignes aux moteurs. Ce fichier peut également interdire l’indexation de certaines pages (ce qui est notamment utile si vous ne souhaitez pas voir certaines de vos pages apparaître sur Google).
• Le maillage interne : le maillage interne d’un site web désigne la présence de liens entre ses différentes pages. Comme les robots Google passent de lien en lien, il est conseillé de créer des liens internes pour faciliter l’indexation de votre site. Toute page isolée (sans liens internes) risquerait de ne pas être indexée.
• Les liens entrants : un lien entrant est un lien issu d’un autre site web, qui pointe vers l’une de vos pages. Les robots des moteurs de recherche parcourent le web de lien en lien. Dès lors, une page qui reçoit des liens entrants de la part de pages déjà indexées risque d’être indexée plus rapidement. Cela peut également améliorer son positionnement.

Sur un site web tout neuf, l’idée n’est pas de précipiter les choses. Mieux vaut s’intéresser à l’indexation d’un site web uniquement quand ce dernier est finalisé. Si vous avez encore un site « en chantier », dont les principales pages ne sont pas encore finalisées, mieux vaut finir le travail avant de chercher à pousser l’indexation. Il n’y a par exemple aucun intérêt à générer des liens entrants sur un site qui n’a pas encore de contenu !

Comment indexer un site web sur Google ?

Vous remarquerez que nous parlons très souvent de Google, plutôt que d’autres moteurs de recherche tels que Yahoo, Bing, Ecosia, Quora, Qwant ou encore DuckDuckGo. Et pour cause, plus de 9 recherches sur 10 en France sont réalisées par Google. Dès lors, on comprend que le géant américain gagne à être bien considéré en matière de référencement web.

On notera que l’indexation d’un site web sur Google sera grandement facilitée grâce à un compte Google Search Console. La Search Console de Google vous permet de faciliter l’indexation d’un site internet, mais aussi de suivre vos résultats dans la recherche naturelle.

Totalement gratuite, la Google Search Console vous permet entre autres :

• De soumettre l’URL de votre sitemap à Google,
• De vérifier l’indexation du site page par page,
• D’avoir quelques datas sur votre positionnement dans la recherche (et notamment vos principaux mots clés de recherche),
• De recevoir des alertes ou indications concernant d’éventuels défauts techniques de votre site web,
• De suivre l’évolution de vos clics et impressions dans les résultats de recherche naturelle.

Tout propriétaire d’un site web a donc intérêt à créer son compte Google Search Console pour suivre l’indexation de son site internet.

Vérifier l’indexation d’un site internet

Si vous vous demandez pourquoi un site n’apparaît pas sur Google, cela sera très souvent lié à un problème d’indexation web. Voyons ensemble comment vérifier l’indexation d’un site internet, et quels sont les soucis qui peuvent bloquer cette indexation.

Pourquoi vérifier son indexation web ?

La première étape est de savoir si votre site web est indexé ou non.

En la matière, pensez à raisonner en indexation par page :

• Certes, il est intéressant de vérifier si votre site apparaît sur Google. Il est possible qu’aucune page de votre site ne soit indexée, ce qui indique très certainement un problème au niveau du site en entier.
• Mais il est aussi conseillé de vérifier si toutes vos pages stratégiques sont indexées. Si vous avez 200 pages pertinentes, mais que seules 100 sont indexées, vous perdez potentiellement beaucoup de trafic potentiel ! L’erreur peut alors être située au niveau des pages, des contenus ou de la structure générale du site.

Si vous avez un site web très volumineux, des problèmes d’indexation peuvent représenter un vrai frein à votre développement. Il sera en effet dommage d’investir dans la création de contenus SEO si ces mêmes contenus ne sont même pas pris en compte par les robots de Google !

Comment savoir si un site est indexé ?

La manière la plus élémentaire de vérifier l’indexation d’un site internet est d’utiliser la commande « site: » sur Google. Faire une recherche « site: » suivie d’une URL (par exemple « site:mise-en-valeur.fr ») remonte tous les résultats indexés qui contiennent cette URL.

Vous pouvez faire la commande sur l’ensemble de votre nom de domaine (ce qui remonte un nombre approximatif de pages indexées) ou encore sur une URL précise (pour vérifier si une page précise de votre site web est indexée ou non). Si la recherche ne remonte aucun résultat, c’est que votre site n’est pas indexé.

Naturellement, la Google Search Console est encore plus précise pour vérifier l’indexation de votre site. Elle peut même vous indiquer les causes de la non-indexation, page par page. Vous l’aurez compris, utiliser la Google Search Console est essentiel pour l’indexation d’un site web.

À savoir : pour les sites web proéminents, les experts SEO utilisent des outils de crawl dédiés, tels que Screaming Frog. Ces derniers vont parcourir le site à la manière des robots de Google, et peuvent permettre d’identifier des défauts d’indexation.  

Faut-il indexer toutes les pages d’un site web ?

Quand vous vous rendez sur la Search Console, il est toujours intéressant de faire le point sur vos pages non indexées.

Seules des pages à intérêt SEO gagnent à être indexées. Par exemple, vous n’avez pas d’intérêt particulier à ce que Google indexe les pages de résultats de recherche interne à votre site, ou des pages générées automatiquement par votre CMS.

Il se peut donc que des pages non indexées par Google le soient pour une bonne raison. Vérifiez donc systématiquement que les pages non indexées sont bel et bien des pages sans intérêt, et pas des pages ayant une véritable intention SEO et un intérêt pour l’internaute.

Qu’est-ce qui peut empêcher l’indexation d’un site ?

Pour conclure sur le sujet, il est intéressant d’évoquer les principales raisons qui peuvent expliquer une mauvaise indexation ou l’absence d’indexation d’un site internet.

Voici les principales causes de défaut d’indexation d’un site internet :

• Le fichier robots.txt : est la première cause de non-indexation d’un site web. Mal configuré, le fichier robots.txt peut tout simplement empêcher l’indexation par les moteurs de recherche (avec la fonction « Disallow:/ »). Il est souvent la cause derrière laquelle un site web n’apparait pas sur Google.
• Les balises noindex : une balise noindex, située au niveau d’une page, est conçue pour empêcher l’indexation par les moteurs de recherche. La présence de cette balise sur une page va forcément empêcher son indexation.
• Un contenu de faible qualité : certaines pages peuvent être considérées comme de faible qualité par Google. La Search Console peut alors vous indiquer « Page explorée, actuellement non indexée ». Cela signifie que les robots ont parcouru la page, mais que le moteur de recherche a décidé de ne pas la faire figurer dans les résultats, car il la juge peu pertinente pour les internautes.
• Un manque de notoriété du domaine : le nom de domaine (NDD) d’un site internet joue dans sa popularité aux yeux de Google. Un NDD peut ainsi avoir bonne ou une mauvaise réputation. Un site mal conçu, de mauvaise qualité ou qui a reçu une pénalité manuelle pourrait voir ses pages ne pas être indexées.
• Un faible budget crawl : il faut savoir que Google dépense des moyens pour faire fonctionner ses robots. Il va donc prioriser certains sites ou certaines pages. On parle de « budget crawl » (ou budget d’exploration) pour désigner les ressources du Googlebot dédiées à un site en particulier. Si votre site comporte beaucoup de pages sans grand intérêt, Google peut décider de réduire l’indexation, ce qui peut limiter l’indexation de vos nouvelles pages. Cette thématique ne concernera que les sites très volumineux, ou dont le contenu change régulièrement.
• Un mauvais maillage interne : si votre site ne dispose pas de sitemap et que vos pages ne sont pas liées entre elles, les robots des moteurs peuvent ne pas découvrir certaines de vos pages. Voilà pourquoi il est essentiel d’utiliser un menu ainsi que des liens internes, qui permettent de lier vos pages et de faire circuler le link juice.
• Des erreurs techniques : des soucis de chargement ou des erreurs techniques récurrentes (404, erreurs du serveur, page inaccessible, erreur liée à une redirection, etc.).peuvent empêcher l’indexation d’une ou de plusieurs pages.

Une fois encore, rappelons que la Search Console vous donnera des informations précises sur vos erreurs d’indexation et sur les pages concernées.

Une chose est sûre : l’indexation est un élément à toujours prendre en compte, en particulier pour les sites internet très volumineux, ou pour ceux dont le contenu est amené à varier régulièrement (site d’actualité, par exemple).

Ceci dit, vérifier votre indexation n’est qu’une première étape dans votre stratégie SEO. Ce n’est pas parce que toutes les pages de votre site web sont indexées que vous allez forcément générer du trafic naturel.