Cargo Cult Testing

Dr. Richard Feynman PhD. deed als jongeman, in opdracht van Oppenheimer en Hans Bethe, veel rekenwerk voor de ontwikkeling van de atoombom, ontving een Nobelprijs voor zijn Natuur-kunde maar waarschijnlijk ken je hem daar niet van. Velen zagen Feynman toch ooit op televisie tijdens een persconferentie demonstreren hoe een zachte, flexibele rubberen ring zijn eigenschappen verliest als deze aan ijswater wordt blootgesteld. Gewoon in een koffiebekertje op een bureau tegenover de camera's. Feynman achterhaalde en demonstreerde zo de oorzaak van de ramp met de Challenger-spaceshuttle.

Ik raad je aan Feynman's verslag van zijn onderzoek te lezen. Je zult je niet vervelen. In het kort: ingenieurs die alles weten en onder de aandacht brengen en managers die desalniettemin alleen luisteren naar wat hen of hun bazen goed uitkomt; we verkopen wat verkoopt. Kwaliteit is niet belangrijk. De werkvloer die zich beseft dat minimaal één op de driehonderd shuttles in brokstukken terugkeert, de managers die afgesproken hebben dat het er maar één op de honderdduizend zullen zijn. Wat velen hem van meet af aan als meest voor de hand liggende oorzaak suggereerde, probeerde de commissie buiten het rapport te laten.

Feynman introduceerde ook de term 'Cargo Cult Science', in 1974. De Cargo Cult is een verschijnsel uit de Pacific. Nadat Amerikanen daar in de tweede wereldoorlog op allerlei eilandjes tussen de inboorlingen hun moderne technologie invlogen, begonnen de inboorlingen hun eigen landingsbanen aan te leggen; compleet met verkeerstoren van bamboe, vuren als bakens en koptelefoons van kokosnoten. Zij waren in de veronderstelling alles precies goed te doen en begrepen maar niet waarom de grote metalen vogels met al die handige spullen in hun buik hen niet bezochten. Of de medicijnman wilde het niet begrijpen; hij genoot met zijn 'cokoptelefoon' gewoonweg onweerstaanbaar veel aanzien.

Feynman gebruikte de term in een toespraak voor afgestudeerden om broddelwerk dat men graag verkoopt als wetenschap te onderscheiden van de echte wetenschap. Hij stelde dat echte wetenschap integer dient te zijn en te worden bedreven, zich onomwonden en volledig oprecht op moet stellen. Iedere wetenschapper zou zichzelf niet voor de gek moeten houden en anderen al helemaal niet. Iedereen zou zijn eigen theorieën en bevindingen als meest kritische onder de loep moeten nemen en pas nadat deze meermaals en objectief bevestigd zijn naar buiten moeten brengen. Feynman noemde ook de marketing als notoire recidivist in deze.

Gaan we het nu nog over testen hebben? Zeker wel. En over software-ontwikkelprocessen die volgens sommigen met testen moeten beginnen? Bij deze. Testen kan beginnen bij aanvang van het ontwikkelproces. Dat is heel iets anders. Dat noemen wij testers, en wij niet alleen, een review. Als de test wordt ontworpen voordat het ontwerp wordt gemaakt, dan is de uitvoerder een ontwerper, geen tester. Het wetboek van strafrecht spreekt in zo'n geval van ‘etikettenschwindel'; je verandert de naam van een product en verkoopt dat dan ineens wel waar dit eerder niet lukte. Onder wijnhandeleren een doodzonde. Refereren we gelijk ook aan onbevestigde theorieen: de Cargo Cult Science pur sang, zeg maar.

De ISTQB refereert terecht aan CMM, TMM, ISO TPI en IEEE als zeer bruikbare en gevestigde best practices maar schwindelt daarnaast wel met de etiketten van TMM en TMMi. Het TMMi-boek zelf is volgens Selexyz nog niet verschenen en als standaard mag het dus nergens genoemd worden. Cargo Cult Science. Het heeft zich niet bewezen en mag als zodanig dus ook niet worden aangeprezen.

Afsluitend naar dove managers, de wortel van alle kwaad; gebrek aan communicatie, waar Cargo Cult Science welig tiert. Op de plek waar de Verenigde Staten ooit al hun nucleaire geheimen bewaarden, demonstreerde Feynman aan een generaal hoe eenvoudig zijn kluizen te kraken waren. De generaal schrok. Hij deed een decreet uitgaan dat zijn medewerkers verbood om Feynman nog toe te laten in hun kantoren. De kluizen bleven, het probleem ook.