Tout savoir sur le moteur de recherche du web

Un moteur de recherche est un programme informatique qui permet de récupérer des informations dans une base de données en fonction de certains critères définis par l’utilisateur. Les bases de données modernes recherchent des bases de données contenant d’énormes quantités de données, collectées à partir du Web, de groupes de discussion et de projets de répertoires.

Avant l’apparition du World Wide Web, mais après l’avènement d’Internet et sa popularité dans le circuit universitaire, le premier moteur de recherche a été créé. À ce stade de l’histoire – à la fin des années 80 et au début des années 90 – l’un des principaux protocoles utilisés sur Internet était le protocole de transfert de fichiers (FTP). Les serveurs FTP existaient dans le monde entier, généralement sur des campus universitaires, des centres de recherche ou des agences gouvernementales.

L’origine du premier moteur de recherche “Archie”

Certains étudiants de l’Université McGill à Montréal ont décidé qu’une base de données centralisée des fichiers disponibles sur les divers serveurs FTP populaires permettrait de gagner du temps et d’offrir un excellent service aux autres.
Archie, qui était l’abréviation d’Archive, était un programme qui se connectait régulièrement aux serveurs FTP de sa liste et créait un index des fichiers présents sur le serveur. Le temps de traitement du processeur et la bande passante demeurant un produit de grande valeur, Archie ne vérifiait les mises à jour que tous les mois. Au début, l’index construit par Archie devait être vérifié à l’aide de la commande Unix grep, mais une meilleure interface utilisateur fut bientôt développée pour faciliter la recherche dans l’index. Après Archie, une poignée de moteurs de recherche ont vu le jour pour rechercher le protocole Gopher similaire – les plus célèbres étant Jughead et Veronica. Archie est devenu relativement obsolète avec l’avènement du World Wide Web et des moteurs de recherche ultérieurs, mais les serveurs Archie existent toujours.

Naissance de World Wide Web Wanderer, qui était le premier robot Web.

En 1993, peu après la création du World Wide Web, Matthew Gray développa le World Wide Web Wanderer, qui était le premier robot Web. Le World Wide Web Wanderer a indexé tous les sites Web qui existaient sur Internet en capturant leurs URL, mais n’a pas suivi le contenu réel de ces sites. L’index associé au Wanderer, qui était un des premiers moteurs de recherche, s’appelait Wandex.

Quelques autres petits projets ont vu le jour après le Wanderer, qui a commencé à s’approcher du moteur de recherche moderne. Ceux-ci comprenaient le World Wide Web Worm, l’araignée RBSE (Repository-Based Software Engineering) et JumpStation. Ces trois utilisateurs ont tous utilisé les données collectées par des robots Web pour renvoyer ces informations aux utilisateurs. Néanmoins, la plupart des informations ont été renvoyées sans filtre, bien que RBSE ait tenté de classer la valeur des pages.

le premier moteur de recherche capable d’analyser du contenu de page.

• En 1993, une société fondée par des étudiants de Stanford, nommée Excite, a publié ce qui est sans doute le premier moteur de recherche à intégrer réellement l’analyse du contenu de la page. Cette offre initiale était destinée à la recherche sur un site, mais pas à la recherche sur le Web dans son ensemble.
• En 1994, toutefois, le monde des moteurs de recherche a connu une avancée majeure. Une société appelée WebCrawler est entrée en production avec un moteur de recherche qui non seulement a capturé le titre et l’en-tête des pages sur Internet, mais a également saisi tout le contenu. WebCrawler a eu un énorme succès, si bien qu’une grande partie du temps qu’il n’a même pas pu utiliser, car ses ressources système étaient toutes utilisées.
• Un peu plus tard, Lycos est sorti cette année-là, intégrant bon nombre des mêmes fonctionnalités que WebCrawler et s’appuyant sur celles-ci. Lycos a classé ses résultats en fonction de leur pertinence et a permis à l’utilisateur de modifier un certain nombre de paramètres pour obtenir des résultats plus ajustés. Lycos était également énorme: en un an, il comptait plus d’un million de sites Web archivés et en deux ans, il atteignait 60 millions.
  Consultez aussi ce guide du référencement internet