Vaste prik na elke training: de evaluatieformulieren. Jij kent ze vast ook. Vol met vragen als ‘Wat vond u van de inhoud van de training?’, ‘Hoe beoordeelt u de docent?’, ‘Was de trainingslocatie goed bereikbaar?’ en ‘Wat vond u van de catering?’ Geeft de cursist overal een hoge score, dan is zijn werkgever blij. Training geslaagd.
Misschien wat kort door de bocht, maar dit is wel hoe het in veel gevallen gaat. Evaluatie vindt meestal plaats op het eerste niveau van het model van Kirkpatrick. De trainer meet de reacties van de cursisten en bij een goede score gaat ook hij met een positief gevoel huiswaarts. Op zich is er niets mis met deze manier van evalueren – het ís ook belangrijk wat de deelnemers van de training vonden – maar ik vraag me af of het anno 2016 ook voldoende is. Eerder schreef ik al over de vraag of we kennis moeten toetsen na een training. Daarmee zit je al op het tweede evaluatieniveau van Kirkpatrick. Door middel van observatie op de werkplek, waar het geleerde in de praktijk wordt gebracht, weet je of de cursisten de verworven kennis goed weten toe te passen. En heb je gemeten op niveau drie.
Meten is meer
Maar er verandert nogal wat in de wereld van applicatietrainingen. Ze worden steeds vaker afgeslankt. Soms gedreven door kostenbesparingen, maar veel vaker als gevolg van het feit dat nieuwe generaties gewend zijn anders te leren. Medewerkers leren steeds vaker op de werkvloer, bijvoorbeeld door ondersteuning van video’s, simulaties, beschrijvingen en andere hulpmaterialen. Geen eenmalige interventie meer – medewerkers willen hulp op het moment dat zij het ook echt nodig hebben. En dat betekent dat wij als trainers eigenlijk op een volgend niveau moeten gaan meten: in hoeverre dragen de supportmiddelen bij aan het leerproces van de medewerker?
Er zijn voldoende manieren om dat te analyseren. Zo kun je de medewerker na het bekijken van een hulpvideo vragen of de inhoud hem een sluitend antwoord heeft opgeleverd. Kan hij de betreffende handeling nu uitvoeren in de nieuwe applicatie? Of koppel er een sterrensysteem aan, waarbij één ster betekent dat de cursist weinig aan de video heeft gehad en vijf sterren staan voor ‘dit was precies wat ik zocht’. Daarnaast is van elk document te zien hoe vaak het wordt geraadpleegd en welke nooit wordt aangeklikt. En bekijk ook eens welke vragen het meest bij de helpdesk terechtkomen. Mogelijk vinden medewerkers lastig een antwoord daarop in het supportmateriaal. Op basis van de data die je gegenereerd hebt, is te bepalen welke documenten nog ontbreken, welke misschien anders moeten, en welke overbodig zijn.
Van learning analytics naar support analytics
Learning analytics – het gebruik van big data in het onderwijs – neemt al een enorme vlucht. Ik zou deze ontwikkeling voor applicatietrainingen echter verder willen doortrekken: van learning analytics naar support analytics. Niet om het meten van de tevredenheid over de training overboord te gooien, maar om óók de effectiviteit van de support te meten. Want het leerproces stopt natuurlijk niet op het moment dat de cursist de trainingsruimte uit loopt. Daarmee kom je ook dichter bij het vierde evaluatieniveau, namelijk het meten van de effectiviteit van de totale leeroplossing. Draagt het geleerde daadwerkelijk bij aan betere prestaties van de organisatie?
Een nieuwe leeroplossing vraagt om een nieuwe manier van evalueren. Ik daag iedereen uit om hiermee aan de slag te gaan. Ik ben benieuwd naar jouw ervaringen en hoe het evalueren van trainingen in jouw organisatie plaatsvindt. Ik lees je reactie graag hieronder.
ik vond het een heel leuk artikel, maar ik vraag me af of deze korte evaluatie van je verhaal anno 2016 ook voldoende is.
Op zich aardig artikel, maar jammer genoeg ligt de nadruk op applicatietrainingen.
Proces- en methodiek-trainingen zijn vaak zeker zo interessant, en een groot deel van de toegevoegde waarde van “echte” trainingen zit hem daar in de interactieve discussies met vakbroeders en -zusters over interpretatie / implementatie.
Daar kan geen enkele online training tegenop.
Het komt een beetje over alsof er meer tijd in evaluatie gestoken zou worden dan in de training zelf. Ik neem aan dat het de bedoeling is dat die verhouding redelijk blijft.
En een ander punt: Als een persoon een training voor pakket A krijgt maar na afloop van de training toch met pakket B gaat werken dan lijkt het mij vrij lastig om te meten in hoeverre de training effectief was.
De laatste jaren bestaan trainingen steeds meer uit “deze knop indrukken, en verder niet zeuren”. Dat is al helemaal het geval bij video trainingen.
Het uitleggen van een gedachte achter een proces, of een ‘filosofie’ van een bepaalde applicatie of framework is er al helemaal niet bij. De “test” die achteraf wordt gegeven (vooral bij video trainingen) zijn dusdanig afgesteld dat je (als voorbeeld) *moet* werken met File/Print. Als je ctrl-p doet is het absoluut fout (terwijl je in beide gevallen komt tot het print scherm).
Als je de mensen niet uitlegt waarom iets gebeurt krijg je alleen maar domme knoppedrukkers. En /daar/ zouden de trainers van vandaag zich eens over moeten buigen.
Bedankt voor jullie reacties.
Hoewel de titel refereert naar applicatietrainingen, geldt de inhoud van het artikel zeker ook voor proces- en methodiektrainingen. Ook daar vindt leren immers steeds meer op de werkplek plaats. Of je die wel of niet in een online variant zou moeten doen is weer een andere, maar wel heel interessante, discussie. Een klassikale setting zou prima kunnen werken en heeft in sommige gevallen zelfs de voorkeur. Soms dwingen tijd en afstand echter tot andere oplossingen. En vergeet vooral ook iemands leerstijl niet.
Het onderscheid dat ik bij trainingen graag maak is proces, applicatie en vaardigheid. De procestraining legt uit waarom je iets moet doen. De applicatietraining leert je hoe je dat moet doen. En de vaardigheidstraining leert je de vaardigheden om het te kunnen doen. Op mensen die alleen maar op knoppen kunnen drukken zit niemand te wachten, maar ik ben zelf geen voorstander om het ‘hoe’ en het ‘waarom’ in één training te stoppen. Liever eerst de discussie over het proces afronden en daarna pas focussen op de handelingen in de applicatie(s).
Evalueren van een gevolgde training kost tijd. En die moet zeker in verhouding zijn tot de training zelf. Evalueren van de support materialen hoeft met een beetje creativiteit niet veel tijd te kosten. Het gaat er wat mij betreft om dat er iets gemeten wordt om de effectiviteit van het ontwikkelde supportmateriaal te toetsen. Nu gebeurt er vaak helemaal niets! En als iemand na de training niet met applicatie A, maar met applicatie B moet gaan werken, dan heeft hij waarschijnlijk de verkeerde training gevolgd en is er aan de intake kant iets mis gegaan. Een leuk onderwerp voor een volgende keer.