Zoekmachines doen hun werk zeer slecht, zo blijkt uit een juist gepubliceerd onderzoek van het NEC Research Institute uit Princeton. Geen enkele zoekmachine overziet meer dan één zesde van het gehele web, en sommige machines doen er maanden over voordat ze aan bepaalde pagina’s toekomen.
De machines blijken vooral sites te bezoeken met veel links erheen. Van alle sites bevat 83 procent commerciële inhoud, 6 procent wetenschappelijke of educatieve inhoud, en slechts 1,5 procent pornografie.
Dat is de bevinding van twee Amerikaanse onderzoekers van het NEC Research Institute, Steve Lawrence en Lee Giles, in het artikel ‘Accessibility and distribution of information on the Web’ in het Amerikaanse bladNature. Hun negatieve conclusie is het resultaat van een uitvoerig onderzoek van zoekmachines. Zij hebben ook vastgesteld dat het web momenteel zo’n achthonderd miljoen pagina’s bevat, vijftienduizend miljard bytes (vijftien terabytes) aan informatie, waarvan zesduizend miljard bytes aan tekst. Het gebruik van metadata volgens de Dublin Core standaard is zeer gering. Zelfs eenvoudige beschrijvende metatags worden door niet meer dan eenderde van alle sites gebruikt.
