Le premier moteur de recherche apparait en 1990, crée par Adam Emtage, étudiant à Mc Gill (Québec). Ce moteur, dénommé Archie, comportait les principes de base du moteur de recherche : on remplissait une base de données, que le moteur faisait correspondre aux requêtes des utilisateurs. Le Web de l’époque comportait seulement quelques centaines de sites, et Archie resta un projet universitaire.

Mais le saut technologique le plus important fut introduit par Wanderer (« le Vagabond ») en 1993 par Matthew Gray. Il fut le premier moteur à déployer des robots d’indexation (spiders). L’idée de base, qui était de mesurer la croissance du Web, fut rapidement remaniée pour arriver au premier moteur de recherche à indexation automatique (Bot search) Ce moteur a d’ailleurs causé un certain nombre de problèmes, car il retournait plusieurs centaines de fois par jour sur certains sites et les ralentissait.

En octobre 2003, le successeur d’Archie fait son apparition : Aliweb (Archie-like indexing the web). Ce moteur repose sur la soumission manuelle de sites. Le moteur se basait sur les mots clés et les descriptions fournies au moment de l’inscription pour effectuer la recherche. Le premier moteur intelligent fut Excite (1993). Construit par six étudiants de Stanford, il se base sur l’analyse statistique des mots.

Enfin, en 1994, c’est la naissance de Yahoo, le premier « grand » service de recherche, crée également par des étudiants de Stanford. Mais à la différence des outils de l’époque, Yahoo se base sur un annuaire, pas sur un moteur de recherche. Les résultats sont sélectionnés et indexés par l’homme. En quelques mois, Yahoo devient le plus important portail du Web. Les années 1995-1997 voient l’apparition des grands moteurs de recherche (Excite, Hotbot, Lycos…). Altavista, crée par un français et jugé efficace et rapide, deviendra la star des moteurs de recherche du moment jusqu’aux années 2000, détrôné par Google.

De son coté, Inktomi développe la première activité de recherche destinée aux entreprises. C’est la première fois que les moteurs de recherche ciblent les professionnels.

Enfin, c’est en 1998 que naît Google, crée par Sergei Brin et Larry Page, encore une fois étudiants de Stanford. Google va littéralement révolutionner le monde de moteurs de recherche grâce à sa simplicité et son efficacité. L’interface dépouillée se charge instantanément sur les connexions bas-débit de l’époque, et la technologie d’indexation est inédite : Google se base sur le nombre de liens pointant sur une page pour en déterminer sa pertinence.

Vers 2001-2002, l’éclatement de la bulle internet fait disparaitre les premiers moteurs de recherche, et seuls les plus grands survivent. C’est l’ère moderne de la recherche internet.