BLOG – De ai-markt is behoorlijk aan het resetten. En dat was te verwachten, de grootse beloften van ai-modellen om elke taak optimaal te kunnen aanvliegen, komen met een prijskaartje om van te huilen. Dat wil niet zeggen dat ai ineens een waardeloze investering is. Integendeel. Ai zal hoogstwaarschijnlijk evolueren tot een cruciaal onderdeel van ons werkleven. Maar dan moeten we ai wel saai maken.
De ai-god die alles en iedereen aankan, laat nog even op zich wachten. De grootschalige taalmodellen (llm’s) kunnen van alles een beetje, maar blinken nergens in uit. In combinatie met groeiende zorgen over de forse hardware-vereisten van deze modellen, is het tijd voor een nieuw soort ai: swarm ai.
Specifieke taken
Swarm ai is een verzameling van uiteenlopende kleinere en specialistische modellen die specifieke taken oppakken en de mogelijkheid biedt voor persoonlijkere ai-modellen. Kleine taalmodellen (slm’s) zijn compacte, efficiënte alternatieven voor llm’s, ontworpen om sterke prestaties te leveren voor specifieke taken en vereisen minder rekenkracht. Slm’s kunnen zelfstandig werken, of samenwerken met andere slm’s en llm’s, waarbij ze elkaar aanvullen in hun rol. Zie het als een zwerm van beheersbare insecten die afzonderlijk niet zo heel slim zijn, maar gezamenlijk de intelligentie hebben om bedrijfskritische uitdagingen aan te vliegen. Het is te vergelijken met de ‘multitude of experts’-filosofie waar het geheel meer is dan de som der delen. Hoe dan ook is het resultaat betere ai-output tegen lagere kosten.
Zie het als een zwerm van beheersbare insecten die afzonderlijk niet zo heel slim zijn
Wat is er technisch voor nodig om swarm ai te realiseren? Allereerst het fundament waarmee je verschillende modellen überhaupt kostenefficiënt kan gebruiken. Hiervoor is het opensource-project Ramalama opgericht. Het idee is om ai-modellen te gebruiken binnen ephemeral rootless containers op Red Hat OpenShift (een cloud-native applicatieplatform). Rootless betekent dat je geen systeembeheerder hoeft te zijn – iedereen kan het gebruiken. Dit is niet alleen belangrijk om ai binnen de gehele organisatie te implementeren, maar maakt ai-gebruik ook veiliger: rootless containers zijn veel meer afgescheiden van de rest van de it-omgeving, wat de schade van een securitybreuk beperkt. En ephemeral betekent dat de containers – softwareonderdelen waarbinnen het ai-model draait – worden verwijderd wanneer je het ai-model stopt te gebruiken. Dit is belangrijk, omdat het betekent dat je de hardwarevereisten onder controle houdt. Je hebt on-prem geen lading aan dure chips nodig en in de cloud voorkom je dat je maandelijkse kosten exploderen.
Deze aanpak stelt gebruikers in staat om ai-modellen geïsoleerd – zodat ze elkaar niet gek maken – naast elkaar te laten draaien op dezelfde hardware. Hierdoor is het mogelijk om tot wel twintig modellen naast elkaar te draaien, zoals een model dat beslissingen neemt over creditcardtransacties om te bepalen of een transactie legitiem of frauduleus is. Daarnaast kun je een model neerzetten dat zich richt op hr en sollicitaties.
Met swarm ai kun je zo een complete toolchain creëren die het werken met ai behapbaar en eenvoudig maakt. En dat is wat we bedoelen met het ‘saai’ maken van ai. Het wordt hiermee slechts een nieuwe tool, een workflow die je gebruikt in je dagelijks werk.
Digitaal onafhankelijk
Een ander voordeel van swarm ai is een groter niveau van onafhankelijkheid: je kunt je eigen modellen trainen en beheren terwijl je de controle behoudt over je data in lijn met je bedrijfsbehoeften of eisen rond soevereiniteit. Er is een groeiende behoefte voor flexibiliteit en om te kiezen tussen verschillende ai-aanbieders met de vrijheid om met de ai-modellen te werken die bewezen betrouwbaar zijn. Zeker als je je bedenkt dat Europese wetgeving de verantwoordelijkheid van ai-gebruik bij de gebruikers belegt. Het kan dan verstandiger zijn om dichter bij huis te blijven, waar je meer transparantie en beheersbaarheid kan creëren.
Aan de andere kant maakt swarm ai ook nieuwe vormen van samenwerking mogelijk. Afhankelijk van de schaalgrootte, blijft het trainen van modellen een resource-intensieve aangelegenheid. Als je dat als bedrijf volledig zelfstandig wil doen, moet je kostbare hardware aanschaffen die vervolgens lang niet altijd optimaal wordt benut. De architectuur van swarm ai maakt het echter mogelijk om ai-datacenters op te zetten waar middelen worden gedeeld, zonder gigantische investeringen.
Voertuigen
Swarm ai brengt ook nieuwe sectorspecifieke mogelijkheden met zich mee. Zo is het voor de automative-sector interessant voor edge-toepassingen waarbij je ai direct in voertuigen implementeert. Ook biedt het oplossingen voor niche-problemen in specifieke sectoren op nationaal niveau. Denk aan administratieve of bureaucratische eigenaardigheden in de zorg, waar de kosten van llm’s niet te verantwoorden zijn, maar swarm ai een effectieve middenweg kan bieden.
In de toekomst kunnen we ook verwachten dat grote ai-modellen worden omgezet naar kleinere, persoonlijke ai-modellen. Deze modellen helpen bijvoorbeeld om persoonlijke documenten lokaal te lezen, zonder afhankelijk te zijn van de cloud (en dus privacyvriendelijk). Denk aan het voorbereiden van belastingdocumenten met een persoonlijke ai die op je eigen computer draait. Ook zou een volgende generatie van smartwatches direct met edge ai-modellen kunnen werken.
Alles is mogelijk, maar dan moeten we ai wel eerst saai maken.
Jan Wildeboer, EMEA-evangelist Red Hat
