Un moteur de recherche est un outil Web qui permet aux utilisateurs de localiser des informations sur le World Wide Web. Des exemples populaires de moteurs de recherche utilisent des applications logicielles automatisées qui parcourent le Web, suivant des liens de page en page, de site en site. Les informations recueillies par les araignées sont utilisées pour créer un index consultable du Web.
Concevoir un moteur de recherche est une tâche difficile. Les moteurs de recherche indexent des dizaines à des centaines de millions de pages Web impliquant un nombre comparable de termes distincts. Ils répondent chaque jour à des dizaines de millions de requêtes. Malgré l'importance des moteurs de recherche à grande échelle sur le Web, très peu de recherches universitaires ont été menées à leur sujet. De plus, en raison des progrès rapides de la technologie et de la prolifération du Web, la création d'un moteur de recherche Web aujourd'hui est très différente de ce qu'elle était il y a trois ans.