BLOG – Het vergroten van de impact van ai is een doel voor organisaties in vrijwel alle sectoren. Maar terwijl ChatGPT een startsein gaf voor een wedloop om ai, is het steeds minder een kwestie van ‘gewoon doen’. De strategische focus verschuift naar de 3 B’s: betrouwbaarheid, betaalbaarheid en beheersbaarheid van modellen. En deze doelen zijn goed na te streven, ondanks verhalen over miljardeninvesteringen, ai-hallucinaties en compliance-risico’s.
Dé grote uitdaging is hoe je ai-technologie in de hele onderneming kan inzetten in de context van branchespecifieke uitdagingen, prioriteiten, datatypes, toepassingen, ecosysteempartners en governancevereisten. Het startpunt is natuurlijk toegang tot alle relevante data. Maar hoe houd je ai beheersbaar en hoe blijft het accurate antwoorden geven op vraagstukken? En hoe voorkom je dat de inzet van ai onbedoeld leidt tot datalekken?
Fouten
Taalmodellen kunnen verbazingwekkend accurate teksten genereren als reactie op gebruikersvragen. Toch kunnen ze ook bijzonder goed fouten maken. Een specifieke uitdaging van taalmodellen is de neiging om te antwoorden met achterhaalde of zelfs geheel incorrecte informatie.
‘Retrieval-augmented generering’ (rag) in deze modellen biedt een oplossing voor dergelijke problemen. Een regulier taalmodel, zoals GPT-4, genereert antwoorden op basis van de patronen en relaties die het heeft geleerd tijdens de trainingsfase. Dat betekent dat het taalmodel antwoorden produceert, zonder tijdens het genereringsproces nieuwe informatie op te zoeken of te integreren.
De combinatie van data en governance is niet te onderschatten
Rag-systemen zoeken daarentegen actief informatie op uit een grote databank van documenten of teksten. Wanneer een rag-systeem een vraag krijgt, zoekt het eerst naar relevante informatie die past bij de vraag en context. De gevonden informatie wordt vervolgens gebruikt om de uiteindelijke output te genereren. Dit stelt rag in staat om antwoorden te geven die accurater en meer up-to-date zijn dan mogelijk is met alleen de vooraf geleerde kennis van een taalmodel. Bovendien maakt deze aanpak het mogelijk voor het model om met behulp van bronvermelding een bewijs te leveren voor de kwaliteit van antwoorden.
Onderschatten
Volgens onderzoek van MIT prioriteert zestig procent van de cio’s een enkel geïntegreerd governancemodel voor data en ai. Dit impliceert dat veel organisaties nog worstelen met een gefragmenteerde data-architectuur. De combinatie van data en governance is niet te onderschatten. Je wil bijvoorbeeld voorkomen dat ai wordt getraind op zeer gevoelige informatie en deze vervolgens gevoelige informatie deelt met de verkeerde medewerkers of zelfs de wereld in helpt via een chatbot. Dat is over het algemeen moeilijk te voorkomen omdat taalmodellen in wezen slechts het meest waarschijnlijke volgende woord in een zin genereren op basis van wat ze hebben gezien in hun trainingsgegevens, dus kunnen ze geen onderscheid maken tussen wat gevoelig is en wat niet.
Door toegangscontroles te implementeren voor je databases en, in het geval dat je je eigen taalmodel ontwikkelt, zorgvuldig te controleren welke trainingsdata er wordt gebruikt, kun je wel stappen nemen om dit te voorkomen. Dit soort technieken zijn in combinatie met rag te gebruiken, zodat taalmodellen geen gevoelige gegevens aan gebruikers verstrekken die daar geen recht op hebben.
Recordtempo
Ai is in recordtempo uitgegroeid tot een miljardenindustrie – maar dat betekent niet dat deze investeringen nodig zijn voor iedere organisatie. Zo is het voor organisaties dankzij open modellen als Databricks’ DBRX en Meta’s Llama 3 mogelijk om tegen lage kosten een eigen taalmodel te ontwikkelen, met soortgelijke functionaliteiten als de veel duurdere GPT-modellen.
Mocht het om wat voor reden dan ook niet mogelijk zijn een eigen model te trainen, dan is ook rag in te zetten – dan kun je bijvoorbeeld een bestaande dienst afnemen van een derde partij, waarnaast je je eigen rag-techniek inzet om een extra controle-laag in te bouwen. Hierdoor maak je gebruik van de kracht van een generiek taalmodel, zonder in te boeten op de kwaliteit en toepasbaarheid van de uitkomsten.
Ai-implementatie verlegt zich van snelheid naar strategie: betrouwbaarheid, betaalbaarheid, en beheersbaarheid staan nu centraal. Dankzij open modellen en toegankelijke diensten is innovatieve ai-implementatie nu binnen handbereik voor elke organisatie, waarbij technieken zoals rag de betrouwbaarheid voor bedrijfsspecifieke use-cases versterken. De toegevoegde waarde van ai binnen een organisatie staat of valt echter met de kwaliteit van governance. Een geïntegreerd data en governance-platform is het absolute fundament voor iedere organisatie die de kracht van ai beschikbaar wil maken binnen de gehele organisatie.
Kevin Jonkergouw is regional vp Benelux bij Databricks
Betaalbaarheid is door de wet van Moore geen issue meer want commoditization van AI zorgt voor toepassingen die voorbij de GEN-AI van een ‘chatbot on steroïds’ gaan. Zo gaat de AI van een statistische voorspelbaarheid van getallen om het meten is weten middels een netwerk van sensors. De 3 B’s van edge AI varieert van het besturen van auto’s tot pathologie in het ziekenhuis en alles er tussen in want er is meer dan het trainen van de modellen op taal.
Juridische betrouwbaarheid en beheersbaarheid in deze toepassingen gaan om te laat remmen of een verkeerde diagnose met impact op de fysieke realiteit. Want AI in de edge gaat uiteindelijk ook om de autonome wapensystemen zoals drones wat een relevant maatschappelijk vraagstuk is geworden omdat vooral de filosofie centraal is komen te staan in de governance van AI. Of zoals de GEN-AI zegt:
“Technologische singulariteit is een hypothetische toekomstvisie die voorspelt dat kunstmatige intelligentie zichzelf zal verbeteren en daardoor meer invloed krijgt op de richting waarin de maatschappij zich beweegt dan de mens zelf.”