Le Siècle De Louis Le Grande De Charles Perrault

............................................................................................. 9 III.4.2 Les métadonnées ne suffisent pas !................................................................................................... 10 III.4.3 L’analyse structurelle globale........................................................................................................... 10 III.4.4 L’analyse sémantique ....................................................................................................................... 11 III.4.5 La pondération des mots clés............................................................................................................ 13 III.4.6 Les limites de l’indexation................................................................................................................ 13

III.5 Cas particulier : Google et le PageRank....................................................................... 14 IV. Traitement des requêtes .................................................................................................. 15 IV.1 Langage naturel ou mots clés ? .................................................................................... 15 IV.2 Principales différences entre moteurs .......................................................................... 16 IV.3 Mots clés ...................................................................................................................... 18 IV.4 Résultats trouvés en fonction des requêtes lancées...................................................... 19

IV.4.1 Recherches avancées ........................................................................................................................ 19 IV.4.2 Ordre des résultats lors du rendu des réponses ................................................................................. 19

V. Conclusion.......................................................................................................................... 20 VI. Annexes ............................................................................................................................. 21 VI.1 Quelques Chiffres ........................................................................................................ 21 IV.2 Bibliographie / Webographie ....................................................................................... 22

Page 2 / 22

Les moteurs de recherche

Mickaël Marchal – Nadia Tea

I. Préambule

"Internet est comme l'union de toutes les bibliothèques du monde entier, où malheureusement, quelqu'un s'est amusé à renverser tous les livres exposés sur les étagères" Notre monde tend à s'informatiser de plus en plus notamment par l'entremise d'Internet. En effet, ce dernier s'est inséminé dans notre quotidien et dans notre vie professionnelle. Dès que l'on se pose une question surfer sur la toile nous permet d'obtenir de promptes réponses bien qu'il existe des milliards de sites. Grâce à des outils rapides et simples d'utilisation que sont les moteurs de recherche, nous sommes à même de trouver ce que nous cherchons au travers d'un petit champ de texte, comme l'itinéraire pour se rendre à notre lieu de vacances ou à un rendez-vous d'affaires, pour appeler le plombier, trouver un tutoriel. Internet nous offre une multitude de possibilités et les moteurs de recherche nous permettent d'y accéder plus facilement. Mais que se cache-t-il derrière cette interface sobre, cet outil devenu indispensable? Il s'agit certainement là d'une question que seuls peu de gens se posent et qui pourtant parait très intéressante. Quels sont leurs principes ? Comment sont indexées toutes ces pages Internet ? Comment les moteurs de recherche interprètent-ils nos requêtes? Comment les moteurs obtiennent les résultats en fonction des demandes? L’objectif de ce mémoire est d’offrir un aperçu des différentes techniques utilisées ou pouvant être utilisées par les moteurs de recherche pour indexer les pages, et les outils mis à disposition de l’internaute pour saisir ses requêtes. Nous tenterons de répondre à cette problématique par une approche d’ingénieurs : comprendre aussi bien les aspects « business » que scientifiques, car nous sommes conscients que les enjeux de la recherche sur le net dépassent largement le cadre de la théorie scientifique.

Page 3 / 22

Les moteurs de recherche

Mickaël Marchal – Nadia Tea

II. Principe des services de recherche

II.1 Petit historique de la recherche sur Internet

Le premier moteur de recherche apparait en 1990, crée par Adam Emtage, étudiant à Mc Gill (Québec). Ce moteur, dénommé Archie, comportait les principes de base du moteur de recherche : on remplissait une base de données, que le moteur faisait correspondre aux requêtes des utilisateurs. Le Web de l’époque comportait seulement quelques centaines de sites, et Archie resta un projet universitaire. Mais le saut technologique le plus important fut introduit par Wanderer (« le Vagabond ») en 1993 par Matthew Gray. Il fut le premier moteur à déployer des robots d’indexation (spiders). L’idée de base, qui était de mesurer la croissance du Web, fut rapidement remaniée pour arriver au premier moteur de recherche à indexation automatique (Bot search) Ce moteur a d’ailleurs causé un certain nombre de problèmes, car il retournait plusieurs centaines de fois par jour sur certains sites et les ralentissait. En octobre 2003, le successeur d’Archie fait son apparition : Aliweb (Archie-like indexing the web). Ce moteur repose sur la soumission manuelle de sites. Le moteur se basait sur les mots clés et les descriptions fournies au moment de l’inscription pour effectuer la recherche. Le premier moteur intelligent fut Excite (1993). Construit par six étudiants de Stanford, il se base sur l’analyse statistique des mots. Enfin, en 1994, c’est la naissance de Yahoo, le premier « grand » service de recherche, crée également par des étudiants de Stanford. Mais à la différence des outils de l’époque, Yahoo se base sur un annuaire, pas sur un moteur de recherche. Les résultats sont sélectionnés et indexés par l’homme. En quelques mois, Yahoo devient le plus important portail du Web. Les années 1995-1997 voient l’apparition des grands moteurs de recherche (Excite, Hotbot, Lycos…). Altavista, crée par un français et jugé efficace et rapide, deviendra la star des moteurs de recherche du moment jusqu’aux années 2000, détrôné par Google. De son coté, Inktomi développe la première activité de recherche destinée aux entreprises. C’est la première fois que les moteurs de recherche ciblent les professionnels. Enfin, c’est en 1998 que naît Google, crée par Sergei Brin et Larry Page, encore une fois étudiants de Stanford. Google va littéralement révolutionner le monde de moteurs de recherche grâce à sa simplicité et son efficacité. L’interface dépouillée se charge instantanément sur les connexions bas-débit de l’époque, et la technologie d’indexation est inédite : Google se base sur le nombre de liens pointant sur une page pour en déterminer sa pertinence. Vers 2001-2002, l’éclatement de la bulle internet fait disparaitre les premiers moteurs de recherche, et seuls les plus grands survivent. C’est l’ère moderne de la recherche internet.

Page 4 / 22

Les moteurs de recherche

Mickaël Marchal – Nadia Tea

II.2 Les enjeux d’aujourd’hui et de demain

Selon le cabinet d’études Nielsen Netratings, environ 70% des visites d’un site web proviennent d’un moteur ou service de recherche, le reste provient de « bonnes adresses » données par un proche, ou de la publicité. Quand on sait que la Toile est devenue le vecteur principal des échanges commerciaux entre entreprises (B to B), et un canal majeur dans la vente et les services aux particuliers (B to C), on comprend mieux l’enjeu considérable de la recherche d’informations sur le net. Toujours selon Nielsen Netratings, 1,2 milliards de recherches ont été effectuées par les américains au mois de Mai 2004. Ce chiffre constitue une augmentation de 30% par rapport à l'année précédente. L’essentiel des recherches est effectué sur une petite dizaine de moteurs. Nombre d’entre eux sont hautement symboliques et sont détenus par des multinationales parmi les plus importantes du monde : Microsoft, Google, AOL TimeWarner… Ces sociétés se livrent une guerre sans merci pour gagner quelques parts de marché sur leurs concurrents. Pendant longtemps, le cheval de bataille principal était le nombre de sites référencés. Ainsi, les géants de la recherche ont mené une véritable « course à l’indexation », récoltant des dizaines de millions de sites par mois. Mais depuis l’éclatement de la bulle internet en 2002-2003, le concept du « plus gros » s’est évanoui face au concept du « plus large ». Dorénavant, les moteurs de recherche se diversifient et permettent de trouver des images, du son, des vidéos, des livres, et ainsi de suite. Il est maintenant possible d’élargir le champ d’une recherche à de nombreux supports ou médias.