Zoekmachines krijgen steeds meer moeite om de groei van Internet bij te houden. Ook de heel goede moeten op volle toeren draaien om de belangrijkste pagina’s te indexeren. Volledigheid is onhaalbaar geworden. Het Web heeft een omvang van ruim 320 miljoen pagina’s. Dit aantal zal in de komende twee jaar vertienvoudigd zijn.
Tot deze conclusie komen Steve Lawrence en Lee Giles, onderzoekers van het NEC Research Institute te Princeton (New Jersey), in een recent onderzoek. Onder die ruim 320 miljoen pagina’s vallen alleen de vrij toegankelijke. Daarnaast bestaan er vele pagina’s die beschermd zijn met wachtwoorden.
De onderzoekers wijzen op de beperkte actieradius van zoekmachines. Deze beslaan slechts een fractie van het totaal aantal web-documenten. Hotbot heeft met 34 procent de hoogste dekking, gevolgd door Altavista (28 procent), Northern Light (20 procent), Excite (14 procent), Infoseek (10 procent) en Lycos (3 procent).
Ook is bekeken welke zoekmachine het meeste verouderde documenten oplepelt. Dat was Hotbot. Het actueelst was Lycos met slechts 1,6 procent verouderde documenten.
