Lokale AI: wanneer je gegevens de doorslag geven

"Maar mag die data eigenlijk wel naar zo'n dienst toe?" Die vraag komt bijna altijd te laat — als het idee er al ligt en iemand het bijna af heeft. Terwijl juist het antwoord bepaalt hoe je het bouwt.

Een AI-model op je eigen machine draaien is de laatste jaren van hobbyproject naar serieuze optie gegroeid. Voor sommige toepassingen is het echt de betere keuze. Voor veel andere betaal je vooral voor het idee dat je iets in eigen hand houdt. Dit stuk gaat over hoe je dat verschil vooraf herkent, zonder dat er hardware of een abonnement aan te pas komt.

Er zijn geen twee smaken, maar drie

"Lokaal of cloud" is een valse tegenstelling. In de praktijk kies je uit drie niveaus, en het middelste wordt het vaakst overgeslagen:

Niveau	Wat het betekent
Publieke dienst	Je plakt tekst in een chatvenster. Snel, gratis of goedkoop, maar je hebt weinig grip op wat er met de invoer gebeurt.
Zakelijke dienst met afspraken	Dezelfde modellen, maar via een account of API met een verwerkersovereenkomst, een vastgelegde regio en de afspraak dat je invoer niet wordt gebruikt om modellen te trainen.
Volledig lokaal	Het model draait op jouw machine of server. De gegevens gaan niet het netwerk over, en er is geen leverancier die morgen iets kan veranderen.

Dat middelste niveau lost verrassend vaak het werkelijke bezwaar op. Wie "het mag niet naar de cloud" zegt, bedoelt meestal "het mag niet zomaar ergens terechtkomen en gebruikt worden voor iets anders" — en dat is een kwestie van contract en configuratie, niet van hardware.

Wanneer lokaal echt wint

Er blijven vier situaties over waarin lokaal draaien het beste antwoord is.

• Je mag de gegevens simpelweg niet delen. Niet omdat het spannend voelt, maar omdat een wet, een beroepsgeheim of een contract het verbiedt. Dat is geen afweging meer, dat is een randvoorwaarde.
• Je doet hetzelfde kunstje heel vaak. Duizenden documenten classificeren, jaren aan verslagen doorzoeken, elke nacht een stapel bestanden verwerken. Bij dit soort bulkwerk tikken kosten per verwerkte regel aan, terwijl een machine die je toch al hebt 's nachts niets extra's kost.
• De verbinding is niet vanzelfsprekend. Een werkplaats, een boot, een locatie zonder fatsoenlijk bereik. Iets dat alleen werkt als het internet werkt, is daar geen oplossing.
• Je wilt er niet aan vastzitten. Een model dat lokaal draait, verandert niet van gedrag omdat een leverancier een versie uitfaseert of de prijs aanpast. Voor iets dat jarenlang hetzelfde moet blijven doen, is dat een reëel voordeel.

Wanneer het vooral een duur idee is

En dan de andere kant, want die hoor je minder vaak. Lokaal draaien is zelden de goedkoopste of beste optie als een van deze dingen speelt:

• Je gebruikt het af en toe. Een paar honderd vragen per maand kost bij een zakelijke dienst hooguit een paar euro. Daar koop je geen machine voor terug, en al helemaal geen avonden onderhoud.
• Je hebt de scherpste kwaliteit nodig. Modellen die comfortabel op eigen hardware passen, zijn merkbaar zwakker in redeneren over lange, rommelige teksten dan de grootste modellen bij de grote aanbieders. Voor samenvatten, classificeren en herschrijven merk je dat nauwelijks. Voor werk waar de nuance telt, wel.
• Niemand beheert het. Een kastje in de meterkast dat niemand bijwerkt, is op termijn geen privacywinst maar een risico. Lokaal draaien verplaatst het beheer naar jou; iemand moet dat willen doen.
• De rest staat al in de cloud. Als de ledenadministratie, de mail en de boekhouding al bij externe partijen staan, verplaats je met een lokaal AI-model geen probleem — je verplaatst een gevoel. Dat mag, maar noem het dan geen privacymaatregel.

Niet lokaal omdat het kan, maar lokaal waar je gegevens, je volume of je onafhankelijkheid de doorslag geven.

De tussenweg die vaak het beste werkt

In de praktijk is de nuttigste opstelling meestal gemengd. Je zet een klein lokaal model vóór in de keten, precies op de plek waar de gevoelige gegevens langskomen: het haalt namen, adressen en dossiernummers eruit, of het bepaalt welke stukken überhaupt verder moeten. Wat daarna overblijft is geanonimiseerd of algemeen genoeg om door een grotere dienst te laten afhandelen.

Je krijgt dan het beste van twee kanten: het gevoelige deel verlaat je omgeving niet, en voor het denkwerk gebruik je een model dat je zelf nooit had kunnen draaien. Het vraagt wat meer ontwerp vooraf, maar het is bijna altijd goedkoper dan de keuze om alles lokaal te willen doen.

Wat het praktisch vraagt

Voor wie het wil proberen: geheugen is de bepalende factor, meer dan pure snelheid. Een model past wel of niet, en past het niet, dan wordt het traag op een manier die geen enkele processor goedmaakt. Een moderne laptop met ruim geheugen draait comfortabel de kleinere modellen — genoeg voor samenvatten, classificeren, opschonen en zoeken in je eigen documenten. Wil je een stap groter, dan groeit vooral de geheugeneis, en daarmee de prijs.

De software is gratis en de installatie is tegenwoordig een kwestie van een middag. De echte kosten zitten in de tijd: uitzoeken welk model voor jouw soort tekst goed genoeg is, en het geheel zo inrichten dat het over een half jaar nog draait zonder dat iemand er iedere week naar hoeft te kijken.

Vier vragen, in deze volgorde

Voordat je naar hardware kijkt, zijn dit de vragen die de keuze eigenlijk al maken:

1. Mag deze data eruit? Zo nee: lokaal, of alleen het ongevoelige deel uitbesteden. Zo ja: de vraag is verder alleen nog geld en gemak.
2. Hoe vaak gebeurt dit? Een handjevol keer per week is een abonnement. Duizenden keren per nacht is een machine.
3. Hoe erg is een fout? Bij werk dat iemand toch nakijkt, mag het model best wat minder scherp zijn. Bij iets dat ongezien doorgaat, niet.
4. Wie houdt het draaiend? Als daar geen naam bij hoort, kies dan de variant met het minste onderhoud — hoe verleidelijk het alternatief ook klinkt.

Pas als die vier beantwoord zijn, wordt de vraag "welke machine" interessant. In die volgorde kost het je een half uur nadenken. Andersom kost het een aanschaf.

Geschreven op persoonlijke titel, op basis van eigen experimenten. Dit is een algemene afweging en geen juridisch advies: of gegevens verwerkt mogen worden en onder welke voorwaarden, hangt af van je eigen situatie en afspraken.