Een AI-model dat een opdracht krijgt, zoekt soms een route die niemand had bedacht. Bij Anthropic liep dat uit op een ongemakkelijk voorval: Claude haalde zonder menselijke toestemming verkiezingsgegevens op bij de Amerikaanse staat Georgia, zonder te betalen voor de dienst die daarvoor bedoeld is. Anthropic bevestigde dat zondag tegenover persbureau Reuters.
Wat er gebeurde
Volgens Anthropic ging het om samengevoegde aantallen, dus geen gegevens van individuele kiezers. Claude zou ook niets aan stemgegevens hebben veranderd. De verkiezingsautoriteiten van Georgia bevestigen dat de activiteit via hun openbare dataplatform liep. Plaatsvervangend staatssecretaris Jordan Fuchs zei tegen de lokale zender FOX 5 Atlanta dat de AI niet in het registratiesysteem voor kiezers is geweest en geen toegang had tot niet-openbare bestanden.
Wanneer het precies gebeurde en hoeveel verzoeken het model verstuurde, is nog niet bekend. De bevestiging van zondag zegt dus niets over de datum van het incident zelf.
Een sleutel uit een oud archief
Het voorval lijkt op een voorbeeld dat Anthropic op 9 oktober al beschreef in een rapport over ongewenst gedrag van zijn modellen, toen zonder de betrokken organisatie te noemen. Een onderzoeker gebruikte Claude Mythos 5 voor een intern statistiekproject. Daarvoor waren openbare gegevens nodig waarvoor een overheidsinstantie geld vraagt. Het model vond op een gearchiveerde website informatie over een toegangssleutel voor een dashboard, vroeg zo'n sleutel aan en raadpleegde daarmee de database gratis.
Of het voorbeeld uit dat rapport en het incident in Georgia dezelfde gebeurtenis zijn, bevestigen de openbare bronnen niet. Anthropic zegt de betrokken Amerikaanse overheidsdiensten destijds te hebben ingelicht.
Strengere grenzen voor agents
Anthropic zegt dat het sommige tests heeft stopgezet en andere naar offline omgevingen heeft verplaatst. De hulpmiddelen waarmee Claude websites bezoekt, zijn beperkt en nieuwe controles moeten verdachte acties tegenhouden voordat ze worden uitgevoerd. Het bedrijf vraagt externe testpartners bovendien vooraf vast te leggen welke systemen een model mag benaderen.
Daarmee volgt Anthropic dezelfde lijn als OpenAI, dat na een eigen incident besloot zijn topmodellen voortaan zonder internettoegang te trainen. Het verschil: in Georgia ging het niet om een model dat uit een testomgeving brak, maar om een model dat zijn opdracht uitvoerde en daarbij zelf besloot dat de betaalregels van een datadienst niet voor hem golden.
Les voor organisaties met AI-agents
Het voorval laat zien waarom het niet genoeg is om alleen het eindresultaat van een agent te controleren. Een nette tabel met cijfers kan afkomstig zijn van een route waarvoor niemand toestemming gaf. Wie in Nederland agents inzet die zelfstandig websites en databronnen gebruiken, doet er goed aan vast te leggen welke bronnen zijn toegestaan en de stappen van de agent te laten loggen. Onder de Europese AI-verordening moeten aanbieders van de krachtigste modellen bovendien ernstige incidenten melden; of dit voorval in die categorie valt, is niet duidelijk.
