De eerste Nederlandstalige test van zoekmachines was heel leerzaam, maar waardevolle informatie blijft verborgen, vindt Peter Das.
De zoektest 1998 (Computable, 8 mei) was heel leerzaam. Mag ik wel een kanttekening zetten bij de presentatie van een eindscore, de effectiviteit, die mijns inziens waardevolle informatie versluiert?
De effectiviteit is opgebouwd als het product van precisie en recall. ‘Precisie’ en ‘recall’ zijn wat in andere vakgebieden heet: specificiteit en sensitiviteit of: fout van de eerste soort en fout van de tweede soort of: vals positieven en vals negatieven. Het komt steeds neer op: vind je alles wat er is; en krijg je weinig vals alarm.
In het bijgaande diagram staan de zoekmachines weergegeven naar hun precisie (horizontaal) en hun recall (verticaal); alleen Excite en Hotbot zijn vanwege de leesbaarheid verticaal iets uit elkaar getrokken.
In dit diagram ligt, bijvoorbeeld, Infoseek rechtsboven Zoek. Dus Infoseek is zonder meer beter dan Zoek, want zowel de precisie als de recall is hoger. En Zoek is weer op beide fronten beter dan Webcrawler die linksonder ligt. Alleen lettend op precisie en recall en niet op de andere besproken features, is de uitkomst hier helder. Maar de vergelijking tussen Altavista en Infoseek is niet eenduidig, want ze liggen niet rechtsboven-linksonder maar rechtsonder-linksboven. Infoseek heeft meer precisie, maar Altavista een betere recall. Het hangt er maar van af wat in de gegeven situatie belangrijker is, kortom wat voor mij effectief is. Dit onderstreept nog eens de aan het slot van het artikel gegeven raad om bij een serieuze informatievraag, meerdere toppers met dezelfde trefwoorden aan het werk te zetten.
drs. P. Das
Capelle aan den IJssel
Reactie van de auteur
Bedankt voor je heldere analyse. Geheel correct. Ik koos in dit geval toch voor één eindscore om tot één maat te komen. Ik vind het nog steeds een mooie benadering. Sowieso moet je oppassen voor schijnprecisie, vandaar mijn eindconclusie waarin ik de verschillende toppers aanraad om diverse redenen (wat je onderschrijft). Overigens zijn ‘precisie’ en ‘recall’ de vaktermen die gebruikt worden bij ‘information retrieval’.
Je diagram is een verhelderende weergave.
Martijn Hoogeveen
