Elke deliverable die mijn SEO bureau Groot Online de deur uit deed, had mijn handtekening nodig. Acht jaar lang. Bij ongeveer 230 geleverde uren per maand over acht klanten betekende een bottleneck, en die bottleneck was ik.
Dus ben ik gaan bouwen. Niet een chatbot op de site, maar de operatie zelf: de analyses, de briefings, de rapportages, de controles die ik anders met de hand deed. Een taalmodel als motor, mijn eigen vakregels als besturing. Dat draait nu ruim een jaar. Wat ik onderweg heb geleerd, gaat maar voor een klein deel over modellen.
De expertise zit in de keuze, niet in de uitvoering
De eerste aanname die sneuvelde was dat een taalmodel mijn werk bij SEO bureau Groot Online zou overnemen. Dat doet het niet. Het neemt de uitvoering over.
Wat overblijft is de laag die er altijd al toe deed: welke opties leg je voor, in welke volgorde, en wat gebeurt er als de klant de verkeerde kiest. Een analyse die drie richtingen aanbiedt waarvan er twee de omzet raken en één niet, is een heel ander product dan dezelfde analyse zonder die weging. Het model kan de drie richtingen prima opschrijven. Het weet niet welke pijn doet.
Ik schat dat ongeveer tachtig procent van mijn werk mechanisch was. Dat deel is overdraagbaar gebleken. De laatste twintig procent niet, en die twintig procent is waar klanten voor betalen. Dat inzicht heeft mijn dienstenaanbod veranderd voordat het mijn techniek veranderde.
Een regel in proza is geen regel
De pijnlijkste les zat in iets kleins. Ik had in mijn instructies staan dat het systeem moest controleren of cijfers in een rapport klopten met de brondata. Netjes opgeschreven, in gewone zinnen, met voorbeelden erbij.
Het werkte. Meestal. En “meestal” is bij een rapport dat naar een klant gaat hetzelfde als niet.
De oplossing was niet een betere formulering. De oplossing was de controle uit de instructie halen en er een script van maken dat afbreekt met een foutcode als het cijfer niet in de brondata voorkomt. Inmiddels staan er tweeëntwintig van die controles in code voor één werkproces. Het model doet het werk, het script bepaalt of het naar buiten mag.
Dezelfde splitsing komt terug bij dingen die veel banaler klinken. Een gegenereerd bestand mag nooit een versie overschrijven waar een mens met de hand in heeft gewerkt. Dat kun je opschrijven als afspraak, en het gaat een keer mis. Of je zet er een controle voor die weigert te draaien als het bestand al bestaat, en dan gaat het niet mis.
Wie dit bouwt, komt vroeg of laat op dezelfde vraag uit: instructies zijn een intentie, code is een garantie. Alles waar je niet mee kunt leven als het één keer op de honderd misgaat, hoort in code.
Automatiseer op oordeelsdichtheid, niet op frequentie
De reflex is om te beginnen bij wat je het vaakst doet. Dat is de verkeerde as.
Wat je zoekt is werk waar veel vakoordeel in zit en dat regelmatig terugkomt. Een taak die dagelijks langskomt maar geen enkele afweging vraagt, levert bij automatisering weinig op, want die kostte je toch al nauwelijks denkwerk. Een analyse die je twee keer per maand doet maar waar je elke keer een uur op zit te kauwen, is de winst.
Ik heb die twee assen letterlijk tegen elkaar uitgezet voor mijn achttien diensten. De volgorde die daaruit kwam, was niet de volgorde die ik had gevoeld. Werk waar ik van dacht dat het me het meeste tijd kostte, bleek vooral vaak voor te komen. Het werk dat me leegtrok stond een stuk lager op de frequentielijst en bovenaan de andere.
Het dashboard klopte precies, en juist daarom was het fout
Voor de urenregistratie bouwde ik een systeem dat twee bronnen combineerde: gemeten schermtijd en de logs van de sessies waarin het werk gebeurde. Op de dag dat ik het opleverde, kwam het dagtotaal uit op 4,36 uur tegen 4,40 gemeten. Vier minuten verschil. Ik was tevreden.
Dat was toeval. Beide bronnen hadden een eigen systematische fout. De ene liet korte browsersessies weglekken, de andere telde parallelle sessies dubbel. Op die ene dag hieven ze elkaar bijna volledig op. Op andere dagen zat het er drieënhalf uur naast, de ene keer te laag, de andere keer te hoog.
Ik had dat nooit gezien als ik het niet tegen een onafhankelijke derde meting had gelegd. Een meetsysteem dat je niet regelmatig tegen iets anders ijkt, meet op een gegeven moment zichzelf. Dat geldt voor urenregistratie en het geldt voor elk dashboard dat je op een AI-proces zet.
Het AI Risk Management Framework van NIST hamert op hetzelfde punt, alleen in formelere bewoordingen: meten is een doorlopende functie, geen oplevermoment. Wie een AI-proces in productie zet en de meting daarna niet meer aanraakt, weet na een half jaar niet meer wat het systeem doet.
Fine-tunen is onderhoud, geen project
De eerste keer dat er een briefing uit kwam die ik zelf niet beter had kunnen maken, was een goede dag. Ik dacht dat ik er was.
Dat was ik niet. Er komt altijd iets bovendrijven dat scherper kan. En zodra de leverancier zijn model bijwerkt, verschuift de output net genoeg om ergens een regel te breken die je een half jaar geleden had bedacht. Daar kun je boos over worden of je kunt er een onderhoudspost van maken.
Ik doe het tweede. Elke wijziging in de regels wordt gevolgd door een vaste testronde over bekende invoer, zodat ik zie of er iets stuk is gegaan dat eerder werkte. Zonder die ronde merk je een regressie pas bij de klant, en dan is het geen technisch probleem meer.
Reken op maanden voordat een proces stabiel is. Niet omdat het model tekortschiet, maar omdat je pas gaandeweg ontdekt welke van je eigen regels je nooit had opgeschreven.
Wat ik anders zou doen
Twee dingen.
Ik zou eerder hebben gemeten wat er nu eigenlijk gebeurt voordat ik iets ging automatiseren. Je kunt niet delegeren wat je niet ziet, en dat geldt ook als de ontvanger software is.
En ik zou het systeem vanaf dag één hebben verboden om stil af te wijken. Als een stap niet lukt zoals gevraagd, moet dat hard naar boven komen in plaats van dat er een uitgeklede versie uit rolt die er afgerond uitziet. Een taalmodel levert altijd iets op, ook als het de opdracht niet aankan, en die eigenschap is gevaarlijker dan een foutmelding. Dat gedrag krijg je er niet vanzelf bij, je moet het afdwingen. Het is ook de reden dat de controlelaag op grootonline.com inmiddels net zo veel aandacht krijgt als het werk zelf.
De vraag of AI je vak overneemt, is de verkeerde vraag. De vraag is welk deel van je oordeel je kunt opschrijven, en of je durft te controleren wat er gebeurt met het deel dat je niet opschrijft.
Maurice Kooiker, oprichter Groot Online
