In het Verenigd Koninkrijk overweegt de onafhankelijke inspecteur voor grenzen en immigratie (ICIBI) een onderzoek naar de AI-hulpmiddelen die het Home Office gebruikt bij asielaanvragen. Dat meldt WIRED. Aanleiding is een half jaar speurwerk van de digitale-rechtenorganisatie Open Rights Group (ORG), die vragen heeft over de nauwkeurigheid van de tools en over de geheimzinnigheid eromheen.

Twee tools die samenvatten en zoeken

Het gaat om twee systemen die gebouwd zijn op GPT-4 van OpenAI uit 2023 en Microsoft Foundry:

  • Asylum Case Summarisation (ACS) maakt samenvattingen van de uitgeschreven gesprekken waarin asielzoekers vertellen waarom ze vervolging vrezen.
  • Asylum Policy Search (APS) zoekt en vat informatie samen over de situatie in landen van herkomst. Die informatie weegt mee bij de vraag of iemand veilig terug kan.

Het ministerie begon eind 2024 met proeven, toen er een achterstand van zo'n 100.000 asielzaken lag. Samen zouden de tools volgens overheidsschattingen ongeveer een uur per zaak besparen.

Meer fouten dan opgegeven

In de officiële evaluatie van de proef stond dat 9 procent van de ACS-samenvattingen niet bruikbaar was. Volgens ORG ligt dat aandeel aanzienlijk hoger, vaak door feitelijke fouten of verdraaiingen. Voor de samenvattingen van APS bestaat volgens de organisatie helemaal geen kwaliteitscontrole. ORG kreeg zijn informatie los via onder meer elf Kamervragen en tien informatieverzoeken.

Er speelt ook een concreet voorval. In juli verweet een Britse rechter het Home Office dat het een door AI 'verzonnen' document had aangehaald om de asielaanvraag van een Marokkaanse vrouw en haar kind af te wijzen.

De inspecteur bevestigt nog niet dat het onderzoek doorgaat, maar laat weten de zorgen te kennen. Vorig jaar concludeerde de ICIBI al dat de effectiviteit en betrouwbaarheid van een van de tools 'wisselend' waren. Het Home Office benadrukt dat getrainde medewerkers beslissen en dat de AI alleen helpt bij het doorzoeken van gespreksverslagen en beleidsinformatie.

In de EU strengere regels

Voor Nederland is de zaak een nuttige spiegel. Onder de Europese AI-verordening vallen AI-systemen die overheden inzetten bij migratie, asiel en grenscontrole in de categorie hoog risico. Wie zulke systemen gebruikt, moet onder meer zorgen voor menselijk toezicht, goede documentatie en controle op de kwaliteit van de uitkomsten. Het Verenigd Koninkrijk valt daar sinds de Brexit niet meer onder. De Britse discussie laat zien waarom die eisen er zijn: een samenvatting die er netjes uitziet, kan een cruciaal detail uit iemands verhaal weglaten of verdraaien, en dat merkt een drukke behandelaar niet altijd.