Référencement Et Positionnement Internet

Prenez le contrôle de votre robot

Vous avez peut-être constaté que votre référencement et positionnement internet dépend de la facilité du robot d'un moteur de recherche à trouver vos pages.

Le fichier robot.txt peut vous aider dans cette tâche. Le rôle du fichier robots.txt est d'indiquer, au robot du moteur de recherche, les pages à exclure des résultats. Celà inclut les photos ou films si vous le voulez. Un truc pour réduire les vols de photos de votre site est simplement de regrouper vos photos dans un sous-répertoire, et d'indiquer dans le robot.txt, que vous ne voulez pas que ce répertoire soit indexé.

Le fichier robots.txt indique donc les pages que vous ne voulez pas qu'il indexe. Mais pourquoi voudrait-on faire celà dans un stratégie de référencement et positionnement internet?

Parce que le robot du moteur de recherche a un temps limité pour passer à travers vos pages. Imaginer si votre site ecommerce contient des centaines voire des milliers de pages de produits divers. Il est plus utile alors de mettre l'enphase sur les pages de contenu important, tel que liste de produits et page de vente au lieu de la politique de confidentialité

En passant, certains webmestres empêchent le robot de faire son travail et de répertorier leurs pages. En ajoutant ces deux lignes dans le fichier robots.txt, vous aller vous assurez qu'aucun des moteurs de recherche principaux indexe vos pages;

 

La ligne 'User-agent' ici indique quel robot (ou spider) que vous voulez bloquer. L'astérisque ici indique 'tous'. 'Disallow' est pour indiquer le répertoire à exclure. Le "/" indique la racine du site, en un mot le site entier.

Adieu référencement!

Tandis que ceci:

 

Aurait comme résultat d'exclure tous les URLs du sous-répertoire /cgi-bin.

Faites attention aux majuscules!

Si vous voulez que le robot indexe tous les URLs de votre site, vous n'avez pas besoin du fichier robots.txt.

Google offre un service pour identifier les problèmes d'indexation de votre site:

http://www.google.fr/sitemaps

Google produira un rapport si vous soumettez votre site. Vous devez vous inscrire si vous n'avez pas de compte. Ce service est gratuit. Cliquer 'diagnostic' et ensuite procéder à la validation de votre site. Un rapport apparaîtra comme ceci;

 

 

 

 

 

 

 

 

En cliquant sur 'URL inaccessibles' (ici 0), vous aurez une liste détaillée des pages qui ne sont pas accessibles par le robot à cause d'exclusions dans votre fichier robots.txt.

Il y a d'autres embûches à éviter pour votre référencement et positionnement internet si vous utiliser des 'frames', du javascript et du Flash sur votre site.