Maakt ai de programmeur overbodig?

‘Kwaliteit van ai-code blijft vaak matig’

Ai bouwt steeds vaker helemaal zelf software. We vragen ons dan ook af welk ai-model het beste is. Maar volgens de Software Improvement Group (SIG), het Amsterdamse bedrijf dat de kwaliteit van software meet, is dat niet de hamvraag.

De uitdaging is: hoe controleer je of de door ai ontwikkelde computercode wel veilig, goed en makkelijk aan te passen is? Want over de hele levensduur van software is de onderhoudbaarheid een belangrijke kostenpost.

Om de kernvraag rond softwarekwaliteit te onderzoeken, voerde SIG een experiment uit met Claude Sonnet 4.6. Daaruit bleek volgens SIG dat realtime kwaliteits- en securitychecks tijdens het ontwikkelproces een veel grotere impact hadden op de uitkomst dan alleen betere prompts of een krachtiger model.

Alle reden dus om Werner Heijstek, chief delivery officer bij SIG, te spreken over het gebruik van ai voor programmering; een onderwerp waarover de meningen verdeeld zijn. Vaststaat dat ai bij de softwareontwikkeling niet meer is weg te denken. Heel snel hebben ai-agenten hun plaats veroverd. Heijstek: ‘Je kunt er heel gave dingen mee doen.’ Maar de code die deze agenten voortbrengen, is volgens hem vaak heel gemiddeld of zelfs matig, iets dat nog weleens wordt vergeten.

‘Op verjaardagsfeesten hoor je vaak dat ontwikkelaars straks naar huis kunnen omdat ai-agents hun rol overnemen. Ook de vrees de boot te missen is groot. Het management wil niet achterraken en zet snel in op dure ai. En wie OpenAI-topman Sam Altman beluistert, krijgt al gauw de indruk dat software hele afdelingen overbodig maakt.

Ook bij vorige golven van digitalisering hoorde je dat vaak, maar de realiteit is dat meer software bijna altijd gepaard gaat met meer werkgelegenheid. En je ziet dat de komst van ai dikwijls als een excuus wordt gebruikt om een gewone reorganisatie door te voeren.

Tegenover de groep die vindt dat we haast moeten maken met de implementatie van ai, staat ook een groep die denkt: het zal mijn tijd wel duren. Hoe goed ai-software werkt, valt het beste te toetsen in je eigen vakgebied. Let er scherp op wat eruit komt en vergelijk dat met de kennis die je zelf hebt.’

Training op bestaande code

Uit de benchmarkstudies van SIG kwam naar voren dat de kwaliteit van autonoom ontwikkelde software volgens het bedrijf niet heel goed is. ‘En dat valt te verklaren uit het feit dat deze ai-modellen zijn getraind op code die er al is. De ai-leveranciers hebben in hun grote taalmodellen jarenlang alle software gestopt die ze maar konden krijgen.’

Volgens Heijstek kan de kwaliteit van bestaande code een verklaring zijn voor problemen in door ai gegenereerde software. ‘Omdat de gemiddelde code niet zo goed is, genereert ai ook software met problemen. Te denken valt aan de security, de architectuur en bepaalde technische aspecten. Op het eerste gezicht lijkt het vaak heel aardig, maar vooral de onderhoudbaarheid laat meestal te wensen over.’

Ai-systemen waarbij mensen verantwoordelijk blijven en toezicht houden, scoorden in het onderzoek van SIG wel een voldoende. Ook kun je deterministische vangrails toevoegen, zoals kwaliteitscontroles tijdens het ontwikkelproces. Anders dan ‘agentic ai’ gaat het hier om systemen die voorspelbaar werken. In combinatie met ai kunnen deze volgens Heijstek een betere kwaliteit bieden. ‘Dit biedt een aardige productiviteitswinst. Denk aan 10 à 20 procent.’

Uitblinkers

Verkeerd is de gedachte dat je de softwareontwikkeling voortaan kunt overlaten aan junior developers en ai-agents. Volgens Heijstek maakt het gebruik van ai-codingtools vooral senior ontwikkelaars productiever die hun sporen hebben verdiend. De uitblinkers worden nog beter.

Daarentegen is het gevaarlijker om ai-agents te laten ondersteunen door junior developers. ‘Want die kunnen minder kritisch kijken naar wat er uit de ai is gekomen. Ze zijn gemakkelijker voor de gek te houden. Senior developers kunnen beter een review doen. Om senior te worden moet je zelf software hebben geschreven. Dan leer je het handwerk.’

Batman

Heijstek trekt een parallel met Batman en Robin. De laatste is de ai en doet dingen voor de superheld. Batman bepaalt wat er gebeurt en houdt een vinger aan de pols. Om de leiding te houden moet je wel boven de materie staan. Voor junioren is dat moeilijk.

Heijstek heeft de indruk dat meer of betere ai de zwaktes van ai-gedreven softwareontwikkeling op termijn niet zal oplossen. ‘De oplossing zit in een slimmer gebruik van ai; het harnas eromheen, ofwel de keten om ai beter te maken. Winst valt te halen uit zaken die niet direct tot het ai-model behoren, zoals het toevoegen van normen en waarden, beleid en de context van de organisatie.’

Tokenomics

Ook moet je goed nadenken waarvoor je ai wilt gebruiken, welk model zich daarvoor het beste leent en hoe diep je dat model laat nadenken. Zeker met het oog op de kosten heeft het geen zin alles maar in een ai-model te gooien. Je wilt een maximaal resultaat uit een minimale investering halen. Ai-tokenomics, de economie van het gebruik van tokens, zal de komende tijd veel aandacht krijgen. Taken moeten niet alleen goed, maar ook zonder hoge kosten worden uitgevoerd. Kies voor een licht en voordelig model wanneer dat net zulke bevredigende resultaten oplevert als een zwaar ‘frontier’-model.

Prachtig zou het zijn als ai-agents verouderde software met succes kunnen moderniseren, zeker als het legacy-kernsystemen betreft waar bedrijven hun geld mee verdienen. Maar SIG waarschuwt voor al te hoge verwachtingen. Volgens Heijstek levert het genereren van code uit een traditioneel systeem van lage kwaliteit niet vaak een goed nieuw systeem op. ‘De problemen van de oude code plegen te worden gekopieerd naar de nieuwe. Alles is in een nieuwe programmeertaal gezet zonder dat bijvoorbeeld de architectuur is verbeterd. Je bent dus niet veel verder. Wanneer er geen menselijke ontwikkelaar in de ‘drivers seat’ zit, zal het resultaat snel tegenvallen.’

Heijstek wijst daarnaast op de kosten. ‘Het gebruik van ai-modellen wordt steeds duurder. De prijzen liggen inmiddels zo hoog dat een ai-agent bijna net zo duur is als een mens.’

Waagstuk

Heijstek vindt het nog een heel waagstuk om bij kernsystemen het coderen volledig over te laten aan ai-agents. Zeker als daar klantdata of persoonsgegevens bij zijn betrokken, moet je je wel twee keer bedenken. Zijn advies is om met laagrisicosystemen te beginnen: kleine applicaties die bijvoorbeeld op de werkvloer de productiviteit net een beetje omhoogbrengen. Denk aan niet-essentiële software die een bedrijf voor zichzelf gebruikt zonder dat die de klant raakt, securityproblemen geeft of tot stagnatie in de productie kan leiden.

De combinatie van ai en kwaliteitsborging kan volgens Heijstek ook worden gebruikt bij complexere systemen, mits menselijke ontwikkelaars de controle houden.

Volgens Heijstek maakt ai zonder hulp vaak software die er op het oog prima uitziet, maar waarbij je niet goed weet hoe zo’n systeem in elkaar steekt. ‘Als er dan een probleem ontstaat of iets moet veranderen, dan kost dat veel moeite.’

Technische schuld

Bij de matige code die ai genereert, zal het lastiger en ook duurder zijn om een functie toe te voegen dan als een systeem van hoge kwaliteit is. Coderen met ai leidt volgens Heijstek al gauw tot technische schuld. Later ontstaan dan extra kosten en problemen. En op den duur gaat de meeste tijd zitten in het onderhoud van systemen. De wetgeving verandert, nieuwe hardware dient zich aan en software-updates zijn nodig. In elk systeem zitten problemen. Het is een optelsom van elastiekjes en noodverbanden. En die kunnen problematisch worden.

Een extra complicatie is dat het management graag meer functionaliteit wil, zeker als dat de omzet en winst vergroot. Minder oog heeft de business voor de prestaties, veiligheid en betrouwbaarheid. Als die zaken niet goed op orde zijn, gaat het toevoegen van nieuwe functies steeds langer duren. Dan keert de wal het schip.

Dikwijls is er in een organisatie een blind geloof dat problemen zichzelf wel allemaal oplossen. ‘In de praktijk zien we andere dingen. Met ai is dat niet anders. Ai kan met bepaalde zaken helpen. Maar je moet goed weten wanneer en vooral hoe je ermee werkt’, besluit Heijstek.

Claude Sonnet

Software Improvement Group (SIG) deed een test met het ai-model Claude Sonnet 4.6. Volgens SIG zorgen directe controles op fouten en veiligheid tijdens het programmeren voor betere software dan wanneer alleen een slimmer ai-model wordt gebruikt of betere opdrachten worden gegeven. SIG baseert zijn onderzoek naar softwarekwaliteit onder meer op een database met meer dan honderd miljard regels aan broncode van honderden verschillende technologieën.