Eind 2025 stuurde Anthropic een brief naar de Amerikaanse Senaat met een opvallende beschuldiging. Alibaba zou via 25.000 nepaccounts in slechts zes weken tijd zo’n 28,8 miljoen gesprekken met Claude hebben gevoerd. Niet om Claude te gebruiken, maar om Claude leeg te trekken. Het doel: een goedkoper Chinees AI-model laten leren wat Claude kan. De techniek die hiervoor gebruikt zou zijn, heet modeldestillatie. En het opmerkelijke is: modeldestillatie is óók volstrekt legaal, uiterst gangbaar, en draait op dit moment binnen vrijwel elk groot AI-lab. Het is namelijk de reden waarom je tegenwoordig snelle, betaalbare AI lokaal op je laptop of telefoon kan laten draaien.

Rondom modeldestillatie ontstaan momenteel juridische vechtpartijen, verhitte discussies op sociale media en dramatische krantenkoppen. Tegelijkertijd merk ik dat vrijwel niemand echt begrijpt wat modeldestillatie precies inhoudt. In deze aflevering van de reeks ‘AI nader uitgelegd’ duiken we daarom in de techniek erachter. Hoe kopieer je in de praktijk een AI-model dat honderden miljoenen dollars heeft gekost om te ontwikkelen? Wat is er precies mogelijk en wat niet? En waarom wringt het juridisch zo?

De basis: leraar en leerling

Als je de drama en het juridische geweld even wegdenkt, dan is modeldestillatie eigenlijk een zeer simpel proces. Je hebt een groot, duur en zeer capabel AI-model. Noem dit het ‘leraar-model’. Zo een leraar-model is duur om te ontwikkelen, omdat het zichzelf helemaal vanaf de basis vanuit de ruwe chaos op het internet taal, feiten en logica heeft moeten aanleren. De ontwikkelkosten van een dergelijk model lopen dan ook al gauw in de honderden miljoenen dollars.

Nu wil je een kleiner, goedkoper en sneller model produceren die je op goedkopere hardware kan draaien en misschien zelfs op je eigen laptop wil laten werken zonder internetverbinding. Dat is het ‘leerling-model’. In plaats van dit kleinere model op de hele chaos van het internet los te laten, doe je iets slims: je stuurt het niet naar het internet, maar naar de leraar. Je stelt de leraar miljoenen vragen, je slaat elk antwoord op, en vervolgens laat je de leerling deze combinaties van vraag en antwoord instuderen. De leerling ziet een vraag, doet een gok, vergelijkt zijn gok met het antwoord van de leraar en verschuift zijn interne neuronen een klein beetje dichter naar dat antwoord toe. Gokken, vergelijken, bijstellen. Herhaal dit een paar miljoen keer en de leerling begint verrassend goed te lijken op de leraar.

Wat zo een leerling-model dan wel mist is een detailniveau. Het is in feite ook een beetje alsof je gaat leren uit een encyclopedie. Ja, je gaat echt niet alles daarvan onthouden, maar wie heeft dan ook alles van een encyclopedie nodig? Maar op het moment dat je dan echt obscure vragen gaat stellen zoals: welke hitsong stond op nummer 15 in Canada in 1987, dan zal die dat logischerwijs niet weten (het was trouwens (I Just) Died in Your Arms van Cutting Crew). Misschien dat een Claude Opus dat weet, maar dat ga je echt niet uit een Gemini Flash krijgen zonder webzoekfunctionaliteit.

Het originele recept van Hinton

Er zit nog een extra laag onder deze techniek. In het oorspronkelijke wetenschappelijke artikel rond modeldestillatie, in 2015 gepubliceerd door Geoffrey Hinton, een van de grondleggers van moderne AI, wordt namelijk beschreven dat het meest waardevolle dat een leraar-model kan delen niet het uiteindelijke antwoord is, maar de mate van twijfel eromheen.

Wanneer een AI-model bijvoorbeeld naar een foto van een hond kijkt, dan concludeert het niet simpelweg ‘hond’ en klaar. Intern houdt het een spreiding aan mogelijkheden bij. Bijvoorbeeld 90% hond, 9% wolf, 0% auto. Die spreiding is een soort landkaart van hoe het model de wereld indeelt. Wolven liggen dichtbij honden in die kaart, auto’s liggen mijlenver van beide af. Hinton noemde dit ‘dark knowledge‘, ofwel verborgen kennis. Een leerling-model dat wordt getraind op deze volledige verdelingen van waarschijnlijkheden leert veel sneller en veel dieper dan een model dat alleen de eindconclusie te zien krijgt. De twijfels van de leraar leren de leerling namelijk meer dan de definitieve oordelen.

Het probleem voor buitenstaanders is echter dat die spreiding van waarschijnlijkheden diep in het model verstopt zit. Geen enkele grote AI-aanbieder deelt deze scores via zijn publieke chatvenster of API. Alles wat je via de reguliere kanalen krijgt is de uiteindelijke tekst. Dit betekent dat de operatie zoals Anthropic die beschrijft draaide op de zwakste vorm van destillatie die er is. Het is als het overschrijven van het huiswerk zonder ooit het rekenwerk te zien. Jarenlang was de wetenschappelijke consensus dan ook dat destilleren via alleen de uiteindelijke antwoorden nauwelijks werkt. Een bekend onderzoek van Berkeley uit 2023 noemde het zelfs een ‘false promise‘. Trainde je op de antwoorden van een topmodel, dan kreeg je hooguit de toon, de opmaak en de sfeer van dat model. De onderliggende intelligentie bleef achter.

Maar toen kwamen de zogenoemde ‘reasoning models‘ – of: nadenkende modellen – op de markt. Deze modellen schrijven voordat ze een antwoord geven hun redenering stap voor stap uit in gewone tekst. En op het moment dat modellen dat begonnen te doen, verscheen vrijwel al het rekenwerk, inclusief de twijfels en zijstapjes, gewoon in de uitgeschreven tekst. Ineens zaten de dark knowledge en de kostbare redeneervaardigheden niet meer diep verstopt in het model. Ze lagen letterlijk in de uitvoer.

In 2025 wist een team van Stanford met slechts duizend vragen, waarvan de stap-voor-stap redenering was afgetapt bij een van de modellen van Google, een competitief redeneermodel te trainen voor onder de vijftig dollar aan rekenkracht. Vaardigheden die honderden miljoenen dollars hadden gekost om te ontwikkelen, gleden nu via de gewone antwoorden naar buiten.

De techniek in de praktijk

Modeldestillatie is dan ook allang geen randfenomeen meer. Sterker nog, het is standaard industriepraktijk. Google verklaart openlijk dat elk Gemma-model getraind is via destillatie. Meta heeft zijn kleinste LLaMa-modellen ontwikkeld door zijn grotere varianten te destilleren. OpenAI biedt destillatie zelfs aan als officieel product; leg de antwoorden van GPT-4 vast en gebruik ze om de goedkopere mini-modellen op hetzelfde platform te trainen, factuur inbegrepen.

De zogenoemde ‘budget-tiers’ die je dagelijks tegenkomt, de GPT Mini’s, Gemini Flashes en Claude Haiku’s van deze wereld, zijn hoogstwaarschijnlijk allemaal gedestilleerde versies van hun grotere broers en zussen. Goedkope AI draait praktisch volledig op deze techniek. Zonder destillatie zou je geen AI kunnen draaien op je laptop hardware, en zou een gesprek met een AI-chatbot per prompt aanzienlijk duurder (en langzamer!!) zijn dan het nu is.

Waar zit dan het onderscheid tussen legitieme ontwikkeling en diefstal? Dat komt neer op één woord: toestemming. Destilleer je je eigen model, of doe je het met toestemming van de rechthebbende, dan noemt men het een productlancering. Destilleer je een concurrent zonder toestemming via diens API: dan overtreed je de gebruiksvoorwaarden waarop je hebt geklikt bij het aanmaken van je account en ben je heel erg stout.

Waarom is het zo lastig tegen te houden?

Dit klinkt in theorie duidelijk. Toch is het in de praktijk vrijwel onmogelijk om te voorkomen. Hoe voer je als ‘dief’ 28 miljoen gesprekken zonder dat er ergens een alarm afgaat? Het antwoord: langzaam en over ontzettend veel accounts uitgespreid. De vermeende operatie van Alibaba stelde gemiddeld ongeveer 25 vragen per account per dag. Ieder account lijkt daarmee op een totaal normaal persoon die met enig enthousiasme gebruik maakt van de dienst. En in totaal, alle 25.000 accounts die parallel draaien achter commerciële VPN’s, die zien er samen uit als een doorsnee dinsdag op het platform.

Het patroon wordt pas zichtbaar als je uitzoomt. Duizenden accounts die op eenzelfde manier vragen stellen, met name ook gericht op het verkrijgen van programmeercode en stapsgewijze redeneringen. Als je dat totaalbeeld kan verkrijgen, is pas duidelijk dat het echt gaat om het verkrijgen van patronen over het hele model zelf; en niet legitiem gebruik zoals het product bedoeld is.

Toen Anthropic dit voorjaar de deur strakker sloot en ineens een identiteitsbewijs na een live selfie ging vereisen bij het aanmaken van een account, kwam er binnen enkele weken een schaduwmarkt op gang. AI-gegenereerde identiteitsbewijzen, deepfake-camera’s die door de ‘ben jij een echt persoon’-filter heen glippen, en organisaties die met grote getallen mensen verificaties doorliepen (veelal vanuit Zuidoost-Azië) om accounts te maken die voor rond de dertig dollar per stuk werden aangeboden. Daaronder ligt bovendien een hele reseller-economie. In China, waar Claude officieel niet beschikbaar is, verkopen tussenpersonen toegang aan tegen kortingen tot 90%. Elke prompt en elk antwoord dat via die weg wordt uitgevoerd wordt vrolijk gelogd door de tussenpersoon. Verkoop de tokens, houd de logs, verkoop de logs als trainingsdata.

Een fundamenteel probleem

Onder al deze aanklachten en verontwaardiging zit een fundamenteel probleem waar geen enkele AI-aanbieder omheen kan. Het product van een AI-bedrijf zijn hoogwaardige antwoorden. Maar diezelfde hoogwaardige antwoorden zijn tegelijkertijd de perfecte trainingsdata voor een concurrent. Het zijn letterlijk dezelfde bytes. Het een verkopen betekent onvermijdelijk het ander verkopen. De enige manier om het kopiëren volledig te stoppen is stoppen met het verkopen van het product.

Elke verdediging die daartegen wordt ingezet is dan ook een halve maatregel die vooral de eerlijke gebruiker treft. ID-controles sluiten legitieme ontwikkelaars buiten. Het verbergen van de redenering van het model maakt het product ronduit slechter. Gebruikslimieten zorgen ervoor dat datadieven simpelweg meer accounts regelen om de vragen over uit te smeren. Daarom heeft Anthropic deze strijd inmiddels ook opgeschaald naar het politiek niveau: de technische strijd is nauwelijks te winnen. Dan maar proberen het te stoppen met de hulp van Ome Donald.

Een korte noot over de juridische kant

Daarbij is het goed op te merken waar Anthropic zijn zaak aanhangig heeft gemaakt: bij de Senaat; en vooral niet bij de rechter. Ik lees dit toch een beetje als een stilzwijgende bekentenis over de stand van het recht. De uitvoer van een AI-model is namelijk in beginsel niet auteursrechtelijk beschermd, of in ieder geval bijzonder lastig. Je kan iemand niet aanklagen voor het stelen van tekst waar niemand eigenaar van is. Wat er dan overblijft is de kleine letters van de gebruiksvoorwaarden. En daar wringt het.

Want dezelfde AI-bedrijven die nu luidkeels ‘diefstal’ roepen, hebben de afgelopen jaren zelf op enorme schaal het werk van miljoenen mensen ingelezen zonder toestemming en dat ‘fair use‘ genoemd. Anthropic heeft anderhalf miljard dollar moeten neerleggen om een schikking te treffen met auteurs over voor het illegaal inlezen van geschreven boekwerken. Eerst vooral makkelijk de producten van menselijk werk uitlezen zonder enige schaamte, en nu moord en brand schreeuwen omdat iemand anders dat ook met jouw werk doet. Ik kan er maar weinig om lachen.

Tot slot

Modeldestillatie is technisch gezien een elegante techniek. Je hoeft niet vanaf nul te beginnen als er al een leraar-model bestaat dat de wereld voor je heeft geleerd. Voor de grote AI-labs is het inmiddels een onmisbaar instrument om betaalbare modellen op de markt te brengen. Voor concurrenten is het een sluiproute die de kosten van de frontier–modellen bijna volledig omzeilt. En voor het recht is het eigenlijk allemaal niet zo spannend.

Wat je vooral moet onthouden is dat intelligentie die verkocht wordt als antwoord, per ontwerp besmettelijk is. Elke vraag leert namelijk niet alleen de vragensteller, maar leert ook iets over de leraar. En 28 miljoen vragen verderop kan diezelfde vragensteller zomaar zijn eigen school openen.