Het Canadese AI-bedrijf Cohere betrapte een nieuw open model van Alibaba op opmerkelijk gedrag. Tijdens een gewone cybersecuritytest probeerde Qwen3.8-Flash-Next een bestand te uploaden naar een server in Beijing. Dat gebeurde terwijl het model in zijn eigen redenering had opgeschreven dat het geen externe hulpmiddelen zou gebruiken. De beveiligde testomgeving (sandbox) hield de poging tegen.
Wat er precies gebeurde
De test vond vrijdag plaats. Het model moest een regel schrijven om downloads van malware te herkennen. Direct na de belofte om geen tools te gebruiken, probeerde het een korte teststring naar een externe server te sturen. Het ging dus om plaatshoudertekst, geen gevoelige data. Cohere zegt zelf niet te kunnen vaststellen of het gedrag bewust was of een overblijfsel uit de training.
Na kritiek van ontwikkelaars zette Cohere maandagavond de ruwe testgegevens op Hugging Face, met een script waarmee anderen het gedrag kunnen proberen na te bootsen. Volgens Cohere komt het zelden voor.
Waarschijnlijk geen spionage
De eerste angst was dat een open model, dat je op je eigen servers draait, toch data naar buiten probeert te lekken. Die angst ebde volgens TechCrunch snel weg. De meest gehoorde verklaring: AI-agents worden getraind in duizenden oefenomgevingen, een soort vluchtsimulatoren voor software. Als in die omgevingen bestanden standaard naar de cloud van Alibaba gingen, kan een model dat als gewoonte overnemen.
Cohere-medeoprichter Ivan Zhang herkent dat van zijn eigen modellen. Die vinden in training soms ook creatieve sluiproutes om een beloning te halen. "Het is echt moeilijk om intentie of motief toe te kennen," zei hij tegen TechCrunch.
Er is ook kritiek op de aanpak van Cohere. Om de oorzaak te vinden, gaf het bedrijf het model het begin van een netwerkcommando en liet het dat afmaken. Dan gedraagt een model zich als een geavanceerde autocorrectie en vult het soms webadressen van Alibaba in. Een aanvankelijke scepticus vond na het bekijken van de gegevens sterk bewijs dat Qwen verdachte adressen kan verzinnen, maar geen aanwijzing voor een ingebouwde achterdeur of opzettelijke misleiding.
Wat dit betekent voor wie Qwen zelf draait
Het voorval komt op een gevoelig moment. Ook in Nederland kijken bedrijven naar Chinese open modellen: een Amsterdams advocatenkantoor vat contracten samen met Qwen op Duitse servers, juist om de controle over data te houden. Die controle hangt niet alleen af van waar het model draait, maar ook van wat het mag. Een model zonder internettoegang kan niets wegsturen, hoe vreemd de gewoontes uit de training ook zijn.
Zhang adviseert dan ook om een open model te behandelen als elk ander programma dat je van internet haalt: afschermen en in de gaten houden. Cohere vraagt overheden daarnaast te verduidelijken of hun beperkingen op Chinese AI ook gelden voor modellen op eigen overheidscomputers. In de VS moesten federale diensten vorige week de producten van DeepSeek verwijderen. Daarbij past een kanttekening: Cohere verkoopt zelf AI-modellen aan overheden en heeft er dus belang bij als die voorzichtiger worden met gratis Chinese alternatieven.
