Ce récapitulatif concerne les entreprises qui souhaitent référencer leur moteur de recherche ou les résultats du moteur de recherche d’un site. Il est déconseillé d’indexer les résultats des moteurs pour plusieurs raisons. La première est la raison la plus souvent problème aux sites est le duplicate content (contenu dupliqué). L’autre raison est le pourquoi un utilisateur va être redirigé de moteurs à moteur sans jamais trouver la réponse à sa question uniquement pour que votre moteur ou site soit mieux référencé.
Si par exemple votre moteur présente les résultats avec l’url : /search
nous vous conseillons de ne pas indexer les résultats de cette url avec le fichier robots.txt avec le code suivant.
User-agent: *
Disallow: /search
de cette manière vous n’aurez pas de problèmes pour le référencement des autres pages de votre site et montrerez votre professionnalisme à ne pas vouloir indexer des pages inutiles pour les utilisateurs via d’autres moteurs de recherche. Un autre exemple avec les utilisateurs qui auraient navigué de moteurs à moteur est l’histoire du disque rayé. Vous prenez un moteur de recherche qui fait l’indexation des résultats d’un autre moteur de recherche (ou ses propres pages) et vous comprendrez l’inutilité pour les utilisateurs.