Wat gebeurde er op 9/11 in Duitsland? Wie in Amerikaanse datums denkt, antwoordt met de aanslagen in New York. Een Duitser leest 9 november: de dag dat de Berlijnse Muur viel. Van 28 geteste AI-modellen had er precies één dat door. Het is een van de raadsels uit CulturalRiddles, een nieuwe test van onderzoekslab Cohere Labs die meet hoe goed chatbots cultuur buiten de Engelstalige hoofdstroom begrijpen.

Raadsels uit 62 culturen

Vrijwilligers uit tientallen landen schreven raadsels die geworteld zijn in hun eigen cultuur, met woordgrappen, gewoonten en verbanden die binnen een gemeenschap vanzelf spreken. De verzameling beslaat 62 culturen, 45 landen en 51 talen. Volgens Fast Company, dat over het onderzoek schreef, deden 166 vrijwilligers mee en beoordeelden zij samen ruim 68.000 antwoorden.

De uitkomst:

  • Het beste model loste 79 procent van de raadsels op. Volgens Fast Company was dat Gemini 3.1 Pro Preview, gevolgd door GPT-5.5 (76,3 procent) en Claude Opus 4.7 Thinking (66 procent).
  • Het kleinste model, Qwen 3.5 0.8B, kwam niet verder dan 0,4 procent.
  • Bij sommige gemeenschappen, zoals de Lumasaba in Oeganda en de Mongondow in Indonesië, scoorden zelfs de sterkste modellen hoogstens 22 procent.
  • Vertalen naar het Engels hielp beperkt: bij vijf van de lastigste gemeenschappen steeg de score gemiddeld van 22 naar 32 procent.

Dat laatste is veelzeggend. Het probleem zit niet alleen in de taal, maar in de kennis van de cultuur zelf.

Bijna nooit 'weet ik niet'

Opvallender dan de scores is hoe de modellen fout gingen. Ze mochten uitdrukkelijk zeggen dat ze het antwoord niet wisten, maar deden dat in slechts 0,7 procent van de gevallen. Van de antwoorden die mensen nakeken, was ongeveer 31 procent verzonnen. Onderzoeker Julia Kreutzer van Cohere Labs vertelde Fast Company dat de modellen met veel zelfvertrouwen antwoordden, wat soms tot hilarische resultaten leidde.

Dat sluit aan bij wat een MIT-historicus deze week betoogde: hallucinaties zitten diep in hoe AI is opgebouwd. Een vloeiend, stellig antwoord is dus geen garantie dat het klopt.

Kanttekeningen

Een paar dingen om in het achterhoofd te houden. De geteste modellen zijn niet de nieuwste versies; de huidige topmodellen kunnen beter of anders scoren. Raadsels zijn bovendien een bewust moeilijke vorm, met dubbele bodems en woordspel. Hoe goed een chatbot een gewone vraag over een land of gebruik beantwoordt, meet deze test niet. En het gaat om een preprint die nog niet door vakgenoten is beoordeeld.

Wat het voor Nederlandse gebruikers zegt

Nederlands is voor AI geen kleine taal: er staat relatief veel Nederlandse tekst online, en een aparte Nederlandse uitslag noemt het onderzoek niet. Maar zodra je vraagt naar een dialect, een streekgebruik of de tradities van je schoonfamilie in een ander land, zit je al snel in het gebied waar modellen gokken. Een praktische les uit het onderzoek: zeg in je vraag expliciet dat de chatbot mag aangeven dat hij iets niet weet, en controleer datums, lokale namen en gebruiken altijd bij een tweede bron. Het onderzoeksteam heeft de raadsels en de code openbaar gemaakt, zodat iedereen kan zien waar modellen per gemeenschap tekortschieten.