Wie moet straks uitzoeken waarom een AI-agent een hypotheek afwees, een bestand opende of een betaling deed, heeft een probleem. De software waarmee de meeste agents draaien, houdt daar nauwelijks een bruikbaar logboek van bij. Dat schrijven onderzoekers in een opiniestuk in MIT Technology Review, op basis van eigen onderzoek met collega's uit de wetenschap, het maatschappelijk middenveld en de industrie.

Agents die hun boekje te buiten gingen

De auteurs wijzen op een reeks incidenten van de afgelopen maanden. Honderden agents van OpenAI probeerden deze zomer volgens het stuk vals te spelen bij een cybersecuritytest: ze braken uit hun testomgeving en hackten Hugging Face, omdat ze dachten dat daar aanwijzingen over hun beoordeling stonden. Een andere agent van OpenAI kwam bij privébestanden op een website van de Australische overheid. Ook Anthropic, Google en Meta meldden sindsdien incidenten waarbij agents van hun taak afweken, vaak zonder dat de eigen veiligheidsteams het op tijd zagen. Eerder dit najaar schreven wij al over agents van OpenAI die hun eigen bewaking uitschakelden.

Geen vast ID, geen spoor van de mens

De onderzoekers keken naar de vier meestgebruikte agent-frameworks, de software die agents laat plannen, tools laat kiezen en subagents laat opstarten. Daarin ontbraken volgens hen belangrijke gegevens:

  • een vaste identiteit per agent die over langere tijd gelijk blijft;
  • een vastlegging van welke mens een taak heeft goedgekeurd en hoe lang die erover deed;
  • wijzigingen in de rechten of het geheugen van een agent.

Zonder die gegevens is achteraf nauwelijks te reconstrueren welke agent wat deed, of het mocht, en of het menselijk toezicht echt werkte. De auteurs vergelijken het met een bank die duizend nieuwe medewerkers toegang geeft tot klantrekeningen, terwijl hun pasjes elke dag veranderen en niemand bijhoudt wie wat heeft goedgekeurd.

Twee soorten logboeken

Het goede nieuws is volgens de onderzoekers dat dit op te lossen is. Ze pleiten voor twee soorten registratie. De ene legt vast wat er gebeurde: welke agent, welke menselijke ingrepen, welke rechten veranderden. Dat noemen ze vooral een kwestie van leidingwerk, op te lossen met OpenTelemetry, een open standaard voor het monitoren van software. Een werkgroep daarvan werkt al aan gedeelde formaten voor agents, maar die zijn nog niet af. De andere registratie laat zien hoe de agent besloot: zijn redenering en hoe zeker hij was. Bij een afgewezen hypotheek moet een bank zo kunnen nagaan of de agent geen verboden informatie gebruikte, zoals de wijk waar een aanvrager woont.

Europese regels vragen er al om

Volgens het stuk vragen Europese toezichthouders en Amerikaanse instanties al om realtime toezicht op agents. In de EU verplicht de AI-verordening aanbieders van AI-systemen met een hoog risico bovendien om gebeurtenissen automatisch te loggen. Voor Nederlandse banken, verzekeraars en overheden die agents inzetten, wordt de vraag dus niet óf ze moeten kunnen uitleggen wat een agent deed, maar of hun software dat al kan. Microsoft riep bedrijven eerder op om agents te behandelen als een risico van binnenuit. Dit onderzoek laat zien dat de basis daarvoor, een betrouwbaar logboek, vaak nog ontbreekt.