Het onderzoek Tool Vision door ID Research houdt de gemoederen danig bezig. Althans die van de auteur en zijn tegenstrever. De een verdedigt zijn onderzoek, terecht en met verve, en de ander blijft het oneens met de statistieken en speelt op de man. Nog één keer…
Uw polemiserende toonzetting is voor mij nieuw en moeilijk te begrijpen. U meent in één adem Tool Vision 98, ID Research en de Tool Base op een negatieve manier aan de orde te moeten stellen. Bovendien geeft u en passant ook nog eens uw perceptie ten beste van wat ik ‘niet kan accepteren’ of ‘heel goed weet’.
Laat ik mijn reactie beginnen met de vaststelling dat u in uw brief van twee weken geleden in essentie dezelfde stelling poneert als in uw brief van vier weken geleden: Tool Vision 98 zou in uw ogen niet tot voldoende significante of representatieve onderzoeksresultaten hebben geleid. Waarom u zo sterk geïnteresseerd bent in een dergelijke onderzoeksmethodologische kwestie dat u daarvoor twee keer in de publieke pen klimt is me een raadsel. Ik zou in uw plaats statistiekboeken gaan verkopen in plaats van case-tools. Feit is dat u uw stellingname weer niet onderbouwt. Zo’n herhaling van zetten vind ik voor onze discussie improductief en vermoeiend.
Geïsoleerde positie
Wel nieuw in uw brief is uw toonzetting: ‘consequent genegeerd’, ‘weet heel goed’, ‘bijna nihil’ en vooral ‘misleidende informatie’. Ik vraag me af hoe u erbij komt dat ID Research misleidende informatie verspreidt. Ik wens dit met klem te ontkennen en daarnaast wens ik op te merken dat u hierin een geïsoleerde positie inneemt: het is mijn ervaring dat andere leveranciers geïnteresseerd zijn in Tool Vision en zijn resultaten.
Uw overige meningen ten aanzien van op zichzelf intrigerende vragen als: ‘Wat is bedroevend?’, ‘Wat is 10.000 gulden waard?’, ‘Wat kan de heer Verhoef wel of niet accepteren?’ of ‘Wat weet de heer Verhoef heel goed?’ laat ik verder graag voor uw rekening.
Wat kan toch uw drijfveer achter deze polemisering zijn? Is het naamsvermelding? Dan wil ik u graag een handje helpen: RTS, James, Roger. Goed voor de zoekmachines. Is het anderszins? Dan had u me net zo goed even direct kunnen bellen voor toelichting, ik had graag met u van gedachten gewisseld.
Ik geef toe, polemiek op moddersmijtniveau is best lekker, maar ik houd het graag bij een eenmalige ervaring. Ik acht een dergelijke discussiestijl in principe not done.
Betrouwbaarheidsinterval
Nu dan inhoudelijk. Uw gebruik van woorden als significant, betrouwbaar, representatief en nauwkeurig als synoniemen maakt het niet eenvoudig om precies op uw kritiek in te gaan. (Ik neem mijn advies over de verkoop van statistiekboeken daarmee bij nader inzien terug.) Het onderzoek had niet de pretentie om hypothesen te toetsen maar om schattingen met een betrouwbaarheidsinterval te kunnen doen (hypothesen te formuleren) over eigenschappen van software-ontwikkelend Nederland op basis van een steekproef die uiteindelijk 526 groot bleek te zijn.
Aannemende dat u stelt dat de uitspraken onvoldoende nauwkeurig kunnen zijn bij zo’n populatie-omvang, neem ik maar eens een vraag uit de enquête om dit nader te onderzoeken: ‘Welk van onderstaande opties typeert opleveringen binnen uw systeemontwikkeling het best? Optie a. In fasen (lineair model), Optie b. In delen (iteratief, incrementeel of evolutionair model)’. In de steekproefpopulatie koos 36 procent optie a en 64 procent optie b. Nu kunnen we – volgens de centrale midstelling – met 95 procent betrouwbaarheid stellen dat software-ontwikkelend Nederland (met onbekende populatiegrootte) met 36 procent circa 4 procent optie a zou kiezen. Het is nu betrekkelijk subjectief of deze bandbreedte van circa 4 procent voldoende nauwkeurig is. In dit voorbeeld heb ik een dichotome variabele uitgewerkt, voor een meervoudig gecategoriseerde variabele ziet de berekening er anders uit, en zo zijn er nog verscheidene soorten variabelen. Het is goed om te weten dat voor iedere soort variabele de nauwkeurigheid van de uitspraken die kunnen worden gedaan weer anders wordt vastgesteld. Zie bijvoorbeeld ‘Elementaire statistiek’, van Van Soest en Vermeulen.
Aselecte trekking
Aannemende dat u stelt dat de populatie niet representatief is voor de Nederlandse software-ontwikkelaars: er is sprake van een aselecte trekking uit die populatie waarbij achtergrondinformatie (bijvoorbeeld de branche waarin men werkzaam is, zoals de projectgrootte) dan geen enkele aanleiding geeft om deze stelling te bevestigen.
Uw uitspraak dat het onderzoek misleidend zou zijn is dus al te vlot geformuleerd. Nadere precisering van uw kritiek zou wenselijk zijn om tot een gedachtewisseling te komen.
Ik houd me nog steeds warm aanbevolen voor constructieve ideeën en voorstellen van uw zijde om de opzet van het Tool Vision-project verder te verbeteren. Het ligt niet in mijn aard om consequent andermans ideeën te negeren, zoals u durft te stellen.
Met vriendelijke groet,
Denis Verhoef,
projectleider-ToolVision98
Ondanks het verzoek om constructief meedenken, is de discussie -althans in deze kolommen- gesloten.
Redactie
