AI-bedrijven presenteren steeds vaker wetenschappelijke ontdekkingen die door hun modellen zouden zijn gedaan. Maar hoe weet je of een idee van een AI echt nieuw is, of vooral bestaand werk opnieuw verpakt? Vaak laat men dat beoordelen door een ander taalmodel. Onderzoekers van het Allen Institute for AI (Ai2) testten hoe betrouwbaar zo'n 'nieuwheidsrechter' is. Hun conclusie: niet erg.

Hoe ze het testten

Ai2 bouwde een testset op basis van de openbare peerreviews van de AI-conferentie ICLR 2026. Ze zochten 154 ideeën uit geaccepteerde topartikelen waarvan reviewers uitdrukkelijk zeiden dat ze origineel waren, en 145 ideeën uit afgewezen artikelen waarbij reviewers juist twijfelden aan de originaliteit. Daarnaast lieten ze een eenvoudig taalmodel 154 eigen ideeën verzinnen, zonder literatuuronderzoek. Die AI-ideeën werden naast de sterke menselijke ideeën gelegd. Een expert die 30 van die paren bekeek, koos in alle gevallen voor het menselijke idee.

Vervolgens moesten zes modellen van OpenAI en Anthropic, waaronder GPT-5.4 en Claude Opus 4.6, aangeven welk idee nieuwer was.

Wat er misging

  • De prompt bepaalt de uitkomst: bij GPT-5.4 zakte de score van 93,5 naar 40,9 procent goed, lager dan gokken, alleen doordat de vraag iets anders werd geformuleerd. Bij ruim de helft van dezelfde paren veranderde het model van oordeel.
  • AI-ideeën zijn het lastigst: bij puur menselijke ideeën was het effect van dezelfde promptwijziging veel kleiner, ongeveer zeven procentpunten. Een rechter die betrouwbaar lijkt op menselijk werk, kan dus flink ontsporen bij precies de AI-ideeën die hij moet beoordelen.
  • Meer zoeken helpt niet vanzelf: een model dat zelf op arXiv mocht zoeken en extra lang mocht nadenken, scoorde slechter dan een simpele prompt aan Claude Opus 4.6, en kostte ongeveer tien keer zoveel.
  • Speciale tools ook niet: twee systemen die speciaal voor dit doel zijn gebouwd, waaronder de nieuwheidscontrole van Sakana's AI Scientist, deden het slechter dan die eenvoudige prompt, tegen een veelvoud van de kosten.

Waarom dit nu speelt

Het onderzoek verschijnt in een week waarin OpenAI drie doorbraken claimde in wiskunde, informatica en natuurkunde. Daar laat OpenAI menselijke experts meekijken, en dat is volgens deze studie geen overbodige luxe. Wie automatisch onderzoeksideeën laat genereren én laat keuren door AI, kan zichzelf makkelijk voor de gek houden.

Ai2 stelt de testset, data en code openbaar, zodat andere onderzoekers hun eigen AI-beoordelaars kunnen controleren. Voor universiteiten en financiers, ook in Nederland, die AI inzetten om voorstellen te screenen, is de les helder: test zo'n systeem op het soort ideeën dat het echt gaat beoordelen, en vertrouw niet op één prompt.