FlashProve: Anthropic wil herkomst van AI-antwoorden bewijzen
Met FlashProve wil Anthropic cryptografisch aantonen welk model een antwoord gaf. Het is nog onderzoek; uitrol staat niet gepland.
Je betaalt voor het duurste model van een AI-dienst, maar hoe weet je zeker dat je antwoord daar ook echt vandaan komt? Anthropic publiceerde dinsdag onderzoek naar een systeem dat precies dat moet kunnen aantonen. Het heet FlashProve en levert volgens de onderzoekers een wiskundig bewijs dat een bepaalde uitvoer door een bepaald model is gemaakt.
Een vingerafdruk per model
Het idee lijkt op een digitale handtekening onder een e-mail. Een AI-lab publiceert bij elk model een soort vingerafdruk. Een antwoord kan later tegen die vingerafdruk worden gecontroleerd. Volgens Anthropic verraadt die vingerafdruk niets over de gewichten van het model, de interne getallen die bedrijven als Anthropic en OpenAI geheim houden. Daardoor zou het ook werken voor gesloten, commerciële modellen. De controle is bovendien licht genoeg om op een eigen apparaat te draaien.
Opvallend: het systeem moet ook bestand zijn tegen bedrog door het lab zelf. De onderzoekers noemen als voorbeeld een AI-bedrijf dat stiekem een goedkoper model inzet om kosten te besparen, of juist een duurder model om testresultaten op te poetsen.
Claims van anderen controleren
Een tweede toepassing is het controleren van beweringen van derden. Denk aan een softwaremaker die zegt dat zijn code door een zwaar beveiligingsmodel op lekken is gescand. Met zo'n bewijs zou je dat kunnen nagaan in plaats van het op gezag aan te nemen.
Nog lang geen product
Anthropic is er duidelijk over dat dit tussentijds werk is. De technische specificatie en delen van de code staan als open source op GitHub, met de expliciete vraag aan anderen om erop voort te bouwen. Er zijn geen plannen om FlashProve bij Anthropic of een ander lab in gebruik te nemen. Het werkt ook alleen als AI-bedrijven meedoen en vingerafdrukken publiceren.
Voor Europa is het onderwerp niet abstract. De AI-verordening vraagt aanbieders van grote AI-modellen om transparantie over wat ze leveren, en organisaties die AI inkopen willen kunnen aantonen welk systeem een beslissing ondersteunde. Een controleerbaar bewijs van herkomst zou dat makkelijker maken, maar alleen als het breed wordt omarmd. Zolang alleen één lab erover publiceert, blijft het een interessant voorstel.
Bron: Anthropic is working on a system to prove AI models’ identity (TechCrunch). Met AI geschreven; zie ons redactiebeleid.