Microsoft-topman Satya Nadella vindt dat je bij elk AI-model moet uitgaan van het slechtste scenario. "We must assume a model is compromised and contain it from the start", schreef hij op zaterdag 10 oktober op X. Met andere woorden: ga ervan uit dat een model al gecompromitteerd is en sluit het vanaf het begin in. Dat meldt Het Laatste AI Nieuws. Het is opvallende taal van de baas van een bedrijf dat zelf AI-assistenten in Windows en Office stopt.

Waarom nu?

De aanleiding is de opkomst van AI-agents: systemen die niet alleen antwoord geven, maar zelf handelingen uitvoeren. Volgens Nadella geven we zulke systemen toegang tot onze gevoeligste gegevens en laten we ze cruciale taken voor ons uitvoeren. Dat vraagt om een ander soort beveiliging.

Drie ontwerpregels

  • Insluiten. Houd het model gescheiden van de software die het werk aanstuurt, en leg controles buiten het model zelf.
  • Altijd kunnen stoppen. Een bevoegd persoon moet een model midden in een taak kunnen pauzeren of uitzetten. Nadella noemt dat zelf een noodrem.
  • Leesbaar bewijs. Elke betekenisvolle actie van een model moet zo worden vastgelegd dat het niet te manipuleren is en mensen het kunnen lezen. "If it can't be observed, it can't be trusted!"

Dat laatste punt gaat ver. Volgens Nadella mag geen enkel model zowel het gedrag van een systeem bepalen als het bewijs beheren waarmee je dat gedrag controleert. Je moet achteraf kunnen nagaan hoe een uitkomst tot stand kwam, zonder het model zelf te vragen wat het deed.

Geen 'zwarte dozen in zwarte dozen'

Modellen elkaar laten testen is nuttig, schrijft Nadella, maar het kan eindigen in een ondoorzichtig model dat wordt bewaakt door een ander ondoorzichtig model. Hij spreekt van "nested black boxes". Daarmee zet hij zich af tegen een populaire aanpak in de sector, waarin een tweede AI meekijkt met de eerste. Zijn alternatief: voorspelbaar systeemontwerp, menselijke controle en betrouwbare werkprocedures. Wel geeft hij alleen algemene principes en geen concrete Microsoft-maatregelen.

Wat Europa al regelt

Een deel van deze wensenlijst staat al in de Europese AI Act. Artikel 14 eist dat mensen een AI-systeem met een hoog risico veilig kunnen stilleggen, bijvoorbeeld met een stopknop. Die plicht geldt volgens de huidige planning vanaf 2 december 2027, en alleen voor hoog-risicotoepassingen zoals AI bij sollicitaties of kredietbeoordeling. Een assistent die thuis je mail sorteert, valt daar meestal buiten.

Je kunt het principe wel zelf toepassen. Geef een AI-assistent alleen de toegang die hij voor een taak nodig heeft, laat hem geen betaling of mail afronden zonder jouw bevestiging, en controleer bij belangrijke acties zelf wat er is gebeurd in plaats van op zijn eigen samenvatting te vertrouwen.