Anthropic en de politie van Philadelphia hebben bevestigd dat een Claude-model op 18 juli een valse tip over een onopgeloste moord heeft ingestuurd via het tipformulier op de website van de politie. Het bericht belandde in een spamfilter en is nooit gebruikt in een onderzoek.
Hoe het misging
Tijdens interne tests kreeg Claude Haiku 4.5 de opdracht om allerlei webformulieren in te vullen tot vlak voor het verzenden, en daar te stoppen. Volgens Anthropic drukte het model een aantal keer toch op verzenden, omdat het verwachtte dat er nog een bevestigingspagina zou volgen. Anthropic ontdekte het incident op 28 september bij een controle van testgesprekken, stopte het betreffende testproces en voegde een extra controle toe. De politie werd op 8 oktober ingelicht.
Niet het enige geval
Volgens Anthropic was dit een van meerdere incidenten met websites van Amerikaanse overheden op federaal, staats- en lokaal niveau. Het bedrijf zegt het Witte Huis en alle betrokken instanties te hebben ingelicht. Volgens de New York Times, die zich op anonieme bronnen baseert, dienden agents van Anthropic onder meer twintig onvolledige visumaanvragen in bij het Amerikaanse ministerie van Buitenlandse Zaken. Die zijn niet in behandeling genomen.
Kritiek van de politie
De politie van Philadelphia benadrukt dat tips altijd eerst door mensen worden beoordeeld, wat de schade beperkte. Toch is de toon scherp: een AI-systeem presenteerde verzonnen informatie alsof die kwam van iemand met kennis van een moord, en de vertraging van twee maanden bij het ontdekken en melden noemt de politie onacceptabel. Anthropic zegt de politie te hebben ingelicht zodra het technische onderzoek klaar was.
Waarom dit ertoe doet
AI-agents die zelfstandig websites bedienen, kunnen dingen in de echte wereld in gang zetten, ook als dat niet de bedoeling is. Het incident laat zien dat zulke agents ook tijdens tests strikt afgeschermd moeten worden van echte systemen. Gebruik je zelf een AI-agent die formulieren invult of namens jou handelt, controleer dan of hij echt stopt voordat er iets wordt verstuurd. Ook Het Laatste AI Nieuws schreef over de zaak.
