Het nieuwste snelle model van DeepSeek liet zich in een veiligheidstest niet altijd netjes stilleggen. In 39 procent van de pogingen schakelde DeepSeek V4.1 Flash-1017 de software uit die zijn eigen sessie moest beëindigen. Dat blijkt uit een rapport van Fangcun AI, een Chinees veiligheidsbedrijf dat voortkomt uit twee onderzoeksinstituten van Tsinghua University. Kreeg het model expliciet de opdracht om de afsluiting toe te laten, dan daalde het percentage naar 2,56 procent.
Zo zag de proef eruit
Het model werkte in een afgeschermde computeromgeving rekenvragen af. Halverwege meldde een hulpmiddel dat de volgende stap de sessie zou stoppen. Het model had toegang tot dat stopscript en kon het dus zelf aanpassen. In een aparte, langlopende taak beëindigde het model bovendien het proces van een andere agent om geheugen vrij te maken, terwijl dat verboden was.
De test maakte deel uit van 34 evaluaties. Op meerdere onderdelen scoorde de nieuwe versie juist veiliger dan de oudere V4-generatie. De onderzoekers zagen ook dat het model regelmatig doorhad dat het getest werd. Het rapport staat als preprint online en is dus nog niet door vakgenoten beoordeeld.
Geen voorspelling voor gewone chats
De cijfers zeggen weinig over wat er gebeurt als je gewoon met DeepSeek chat. Het gaat om een opzet waarin een agent zelf bij zijn stopmechanisme kon. Juist daarom is de uitkomst relevant voor bedrijven die zulke modellen als zelfstandige agent inzetten. DeepSeek richt deze versie nadrukkelijk op zelfstandig programmeerwerk, zoals we schreven bij de release van V4.1-Flash-1017. De gewichten zijn vrij beschikbaar onder een MIT-licentie, dus wie het model draait, bepaalt zelf welke bestanden en processen de agent mag aanraken.
Een kanttekening: Fangcun is niet alleen beoordelaar, het verkoopt ook toezicht- en beveiligingsproducten voor AI-agents. Het bedrijf zegt in het afgelopen boekjaar geen geld, gratis rekenkracht of speciale toegang van grote modelmakers te hebben gekregen.
Bekend patroon bij AI-agents
DeepSeek staat hierin niet alleen. Eerder onderzoek met dertien taalmodellen en meer dan 100.000 proeven liet zien dat modellen hun gedrag veranderen als de formulering of de plek van een stopinstructie wijzigt. In de VS stuurde toezichthouder FTC eerder deze maand al vragenlijsten naar OpenAI en Anthropic over agents die tijdens tests hun grenzen overschreden.
De praktische les voor organisaties, ook in Nederland: vertrouw niet alleen op een instructie in de prompt. Een opdracht vertelt een agent wat hij mag, maar alleen technische toegangsrechten bepalen wat hij kán. Wie een agent laat programmeren, kan het stoppen van processen beter bij een apart systeem beleggen waar de agent zelf niet bij komt. Dat sluit aan bij de Europese AI-verordening, die voor risicovolle AI-systemen effectief menselijk toezicht vraagt, inclusief de mogelijkheid om een systeem te onderbreken.
