Zoekmachines krijgen steeds meer moeite de enorme groei van Internet bij te houden. Zelfs heel goede zoekmachines moeten op volle toeren draaien om de belangrijkste pagina’s te indexeren.
Volledigheid is onhaalbaar geworden. Het wereldwijde web heeft een omvang van ruim 320 miljoen vrij toegankelijke pagina’s. Dit aantal zal in de komende twee jaar vertienvoudigd zijn. Daarnaast bestaan er nog grote hoeveelheden pagina’s die beschermd zijn met wachtwoorden. Dit aantal zal ook fors toenemen.
Tot deze conclusie komen Steve Lawrence en Lee Giles van het NEC Research Institute te Princeton (New Jersey) in een recent onderzoek. De ruim 320 miljoen pagina’s zijn uitsluitend de vrij toegankelijke.
Zoekmachines
Beide onderzoekers wijzen op de beperkte actieradius van zoekmachines. Ze beslaan slechts een fractie van het totaal aantal web-documenten. Hot Bot heeft met 34 procent de hoogste dekking, gevolgd door Alta Vista met 28 procent, Northern Light (20 procent), Excite (14 procent), Infoseek (10 procent) en Lycos (3 procent). Verder werd bekeken welke zoekmachine de meeste verouderde documenten oplepelde. Dat was Hot Bot. Het meest actueel was Lycos met slechts 1,6 procent verouderde documenten. CORR.
