Lokale AI-pilots kunnen stilvallen wanneer een aangevraagde 64GB-configuratie bij inkoop wordt teruggebracht naar 32 of 48 GB. Totaal RAM is bovendien niet hetzelfde als beschikbaar modelgeheugen. Test model, kwantisatie, contextlengte, responstijd en beheerlast met echte data voordat laptop, desktop, server of cloud wordt gekozen.
Lokale AI-projecten worden zelden officieel afgeblazen. Ze verdwijnen stiller. Een afdeling vraagt een workstation met 64 GB geheugen aan, de offerte valt hoger uit dan verwacht en de uiteindelijke bestelling krijgt 48 of 32 GB. Het apparaat wordt geleverd, het model start en niemand dient een klacht in.
Een paar maanden later gebruikt het team toch weer een clouddienst. Niet omdat lokaal draaien onmogelijk was, maar omdat de ervaring net te traag, te beperkt of te omslachtig bleek.
Dat verschil tussen aanvraag en order is relevanter dan het aantal verkochte workstations. Het laat zien waar een technisch project in een financieel compromis verandert.
In Ollama is Llama 3.1 8B circa 4,9 GB, de 70B-versie circa 43 GB en de 405B-versie circa 243 GB. Een pc met 32 GB totaal geheugen kan een klein gekwantiseerd model draaien, maar een 43GB-model past niet volledig naast Windows, beveiligingssoftware en context. De stap van 32 naar 64 GB kan daardoor technisch doorslaggevend zijn. Zie Ollama:
Totaal geheugen is niet hetzelfde als modelgeheugen
Een configuratie met 48 GB heeft niet in elke computer dezelfde bruikbare ruimte. Windows, beveiligingssoftware, browserprocessen en ontwikkeltools gebruiken eerst hun deel. Op systemen met gedeeld geheugen reserveert de GPU daarnaast een frame buffer. Wat overblijft, moet het model, de context en eventuele andere gebruikers dragen.
Daarom is een aanbeveling uit een forum of benchmark niet zonder meer overdraagbaar naar een andere architectuur. Een model dat op het ene platform precies past, kan op een Windows-workstation voortdurend delen naar langzamer geheugen of opslag. De applicatie werkt dan wel, maar de wachttijd maakt dagelijks gebruik onaantrekkelijk.
De juiste maatstaf is niet hoeveel RAM op de offerte staat. Meet hoeveel geheugen na het opstarten beschikbaar blijft, hoe groot het gekozen model werkelijk is en hoeveel context de toepassing vraagt.
Mobiliteit is duur bij een stilstaande workload
Een mobiel workstation combineert scherm, accu, toetsenbord en krachtige hardware in één behuizing. Dat is waardevol voor een engineer, onderzoeker of consultant die op locatie moet werken met data die het pand niet uit mag.
Voor een lokale AI-server die altijd aan een dock staat, is dezelfde mobiliteit een dure eigenschap. Een desktop kan meer koeling, uitbreidbaarheid en vermogen bieden zonder accu of dunne behuizing. Bovendien is centraal beheer vaak eenvoudiger wanneer de machine een vaste plek en duidelijke eigenaar heeft.
Dat betekent niet dat een desktop altijd goedkoper is. De vergelijking moet ook monitor, energie, garantie en beheer omvatten. Het betekent wel dat ‘mobiel workstation’ geen logische standaard is voor elke lokale AI-pilot.
Privacy is geen configuratie-eis
De motieven die wij horen zijn begrijpelijk: broncode, ontwerpen, persoonsgegevens of klantinformatie mogen niet naar een externe AI-dienst. Alleen vertaalt ‘datasoevereiniteit’ zich niet vanzelf naar een geheugengetal. Daardoor is 48 GB in een begrotingsgesprek makkelijk te verdedigen als bijna hetzelfde als 64 GB.
Technisch kan dat verschil het hele project bepalen. Daarom moet de aanvrager de configuratie koppelen aan een geteste workload. Noteer het model, de kwantisatie, de contextlengte, het aantal gelijktijdige gebruikers en de minimale snelheid. Pas dan kan inkoop beoordelen of een lagere configuratie nog aan het doel voldoet.
Cisco ondervroeg in 2026 meer dan 5.200 IT-, technologie- en securityprofessionals in twaalf markten. Van hen breidde 90% het privacyprogramma uit vanwege AI, verhoogde 43% de privacy-uitgaven en verwachtte 93% verdere groei van privacy- en governancebudgetten. Tegelijk had 23% nog geen aparte AI-governancecommissie en noemde slechts 12% de governance volwassen en proactief. Zie Cisco:
Lokaal betekent ook lokaal beheer
Wie data uit de cloud haalt, neemt er een beheertaak bij. Het apparaat moet in het assetregister staan, schijfversleuteling en toegangsbeheer moeten zijn ingericht en iemand moet verantwoordelijk zijn voor updates van drivers, runtime, modellen en de applicatielaag.
De Cyberbeveiligingswet noemt onder meer assetbeheer, toegangsbeheer, cryptografie, kwetsbaarhedenbeheer en het toetsen van maatregelen. Een lokale AI-machine kan goed binnen zo’n aanpak passen. Een krachtige pc onder het bureau van één ontwikkelaar, zonder logging of eigenaar, niet.
Dat is een bredere businesscase dan hardware. De doos is zichtbaar en eenvoudig te begroten. De tijd voor beheer, monitoring, herstel en beveiliging verschijnt vaak pas na de aanschaf.
Modelgrootte alleen zegt te weinig
Twee modellen met ongeveer hetzelfde aantal parameters kunnen een andere geheugenbehoefte en snelheid hebben. Quantisatie, contextvenster, gebruikte runtime en de verdeling tussen cpu, gpu en gedeeld geheugen maken veel verschil. Een tabel met alleen ‘7B’, ‘14B’ of ‘32B’ is daarom geen betrouwbare aanschafwijzer.
Test met dezelfde prompts, documenten en gelijktijdige gebruikers die later in productie worden verwacht. Meet niet alleen tokens per seconde, maar ook wachttijd bij de eerste reactie, piekgebruik van geheugen, energieverbruik en stabiliteit na langere belasting. Noteer bovendien welke modelversie en instellingen zijn gebruikt. Zonder die gegevens is een succesvolle demo moeilijk te herhalen en kan een software-update de uitkomst veranderen. De pilot wordt pas een inkooponderbouwing wanneer een andere beheerder hem kan reconstrueren.
Leg vóór de proef ook een stopcriterium vast. Niet ieder experiment hoeft door te groeien naar productie. Wanneer de kwaliteit te laag blijft, de responstijd niet acceptabel is of het beheer meer kost dan een afgeschermde clouddienst, is stoppen een valide uitkomst. Dat voorkomt dat dure hardware wordt gekocht om een technisch interessante demonstratie achteraf te rechtvaardigen.
Maak de pilot meetbaar
Een zinvolle proef duurt niet tot het model een antwoord geeft. Hij duurt tot de organisatie kan vaststellen of medewerkers het systeem werkelijk gebruiken en of het doel wordt gehaald.
Leg vooraf vier waarden vast: responstijd, geheugengebruik, kwaliteit van de output en gebruiksfrequentie. Meet die na twee en na acht weken opnieuw. Vraag ook welke taken toch nog in de cloud worden uitgevoerd. Een lokale oplossing die technisch draait maar nauwelijks wordt gebruikt, is geen succesvolle implementatie.
Daarna volgt pas de keuze tussen laptop, desktop, eigen server of een Europese clouddienst. Soms wint mobiliteit. Soms wint uitbreidbaarheid. Soms blijkt de cloud met passende contracten en beveiliging rationeler.
Lokale AI verliest zelden in een direct debat met de cloud. Het verliest in kleine stappen: iets minder geheugen, geen beheerbudget en geen meting na oplevering. Wie die drie momenten zichtbaar maakt, kan een bewust besluit nemen in plaats van een project langzaam te laten verdwijnen.
Meer lezen
