# FairStress: AI-modellen laten zich ongelijk overhalen bij keuzes

- Rubriek: Veiligheid
- Gepubliceerd: 2026-10-20T18:09:19+02:00
- URL: https://aiweekblad.nl/artikel/fairstress-ai-modellen-laten-zich-ongelijk-ompraten-bij-keuzes-over-mensen
- Bron: Hugging Face Blog, [FairStress: A deeper evaluation of fairness in LLM decision-making](https://huggingface.co/blog/allenai/fairstress)

> Een nieuwe test van Ai2 laat zien dat taalmodellen een goede keuze sneller loslaten als dat een minderheidskandidaat bevoordeelt. De gelijke uitkomst verbergt dat.

Het Amerikaanse onderzoeksinstituut Ai2, bekend van de open Olmo-modellen, heeft **FairStress** uitgebracht: een nieuwe test die meet hoe eerlijk taalmodellen beslissen over mensen. Het verschil met bestaande tests is dat FairStress niet alleen naar het eindantwoord kijkt, maar ook naar hoe makkelijk een model zich van dat antwoord laat afbrengen.

## Hoe de test werkt

De benchmark bevat 300 realistische situaties in 29 domeinen, van sollicitaties en leningen tot zorg, onderwijs, huisvesting en strafrecht. Steeds moet een model kiezen tussen twee kandidaten. Soms is één kandidaat duidelijk beter, soms zijn ze allebei sterk op een andere manier.

Daarna variëren de onderzoekers twee dingen. Ten eerste hoe zichtbaar de achtergrond van de kandidaten is: helemaal niet, via een naam, indirect of met een expliciet label. Ten tweede krijgt het model een overtuigend klinkend zetje richting de andere kandidaat, bijvoorbeeld dat een leidinggevende die persoon al heeft aanbevolen, of dat zijn groep vaak over het hoofd wordt gezien. Elk zetje bestaat in een gespiegelde versie, zodat je kunt vergelijken. Zo groeien 300 situaties uit tot ruim 13 miljoen testgevallen. Voor snellere metingen is er een kleinere selectie van 50.000 vragen.

## Wat Ai2 vond

Zonder informatie over afkomst of identiteit gedroegen de geteste modellen zich vrijwel gelijk. Hoe explicieter de identiteit in de vraag stond, hoe schever het werd. Volgens Ai2 lieten modellen een terechte keuze voor de sterkste kandidaat eerder vallen als het zetje een kandidaat uit een minderheidsgroep bevoordeelde. De onderzoekers noemen dat **overcorrectie**.

- Over 15 modellen was het gemiddelde verschil in het loslaten van een juiste keuze 6,9 procentpunt bij een impliciete identiteit en 9,3 punt bij een expliciet label.
- Topmodellen als Claude Opus 5 en GPT-5.5 kozen bij twee even sterke kandidaten in ongeveer 60 tot 65 procent van de gevallen voor de minderheidskandidaat.
- Ook de uitleg verschilde: bij een minderheidskandidaat vielen vaker woorden als 'veerkracht' en 'diversiteit', bij andere kandidaten vaker procedurele termen als 'criteria' en 'bewijs'.

Ai2 wijst er zelf op dat dit de uitkomst is van één bepaalde definitie van eerlijkheid: gelijke behandeling, waarbij identiteit geen rol mag spelen als de kwalificaties vaststaan. Wie vindt dat historische achterstand wel mee mag wegen, zal sommige uitkomsten anders beoordelen. Het onderzoek naar wat er binnen in de modellen gebeurt, beperkte zich tot twee modellen en is dus minder stevig dan de gedragsmetingen.

### Bestaande tests meten iets anders

Opvallend is de vergelijking met BBQ, een veelgebruikte biastest. Die gaf bij dezelfde modellen juist een neiging richting stereotypen. Volgens Ai2 komt dat deels door de manier van meten: BBQ kijkt naar kansen op vaste antwoordopties, terwijl FairStress het model zelf laat antwoorden, zoals in een gewone chat. Met andere vraagstelling en een chatopmaak draaide de richting bij drie van de vier geteste modellen om. Ai2 concludeert dat je allebei moet meten om een volledig beeld te krijgen.

Van negen geteste reparatiemethoden werkte er volgens Ai2 maar één redelijk: het model vragen de beslissing opnieuw te bekijken met de identiteiten omgedraaid. Andere methoden maakten keuzes evenwichtiger, maar kostten flink aan nauwkeurigheid.

## Waarom dit voor Europa telt

Onder de Europese AI-verordening gelden AI-systemen die meebeslissen over werving, krediet, onderwijs of toegang tot zorg als hoog risico. Aanbieders van zulke systemen moeten straks onder meer laten zien dat ze hun data op mogelijke vooringenomenheid hebben onderzocht. Tests als FairStress maken duidelijk dat één meetmethode daarvoor niet genoeg is: een model dat bij een standaardtest netjes scoort, kan zich onder druk anders gedragen. Ai2 stelt de benchmark gratis beschikbaar en bouwt hem in zijn open evaluatieplatform.

Hoe zulke eisen precies getoetst worden, is nog grotendeels open. De EU erkende onlangs [EN 18286 als eerste officiële norm onder de AI Act](https://aiweekblad.nl/artikel/eu-erkent-en-18286-als-eerste-officiele-norm-onder-de-ai-act), maar die gaat over het kwaliteitssysteem van de maker, niet over de vraag of een model eerlijk beslist. Normen voor datakwaliteit en nauwkeurigheid moeten nog komen.

_Met AI geschreven door AIweekblad op basis van [FairStress: A deeper evaluation of fairness in LLM decision-making](https://huggingface.co/blog/allenai/fairstress) (Hugging Face Blog). Redactiebeleid: https://aiweekblad.nl/redactiebeleid_