Programmeren met AI gaat vaak goed in populaire talen als Python en JavaScript, maar veel minder in oudere talen waar weinig voorbeeldcode van bestaat. OpenAI zegt dat zijn nieuwste modellen dat gat grotendeels dichten. Het bedrijf publiceerde maandag twee eigen tests en de resultaten daarvan.

Waarom die oude talen ertoe doen

Talen als COBOL, Fortran en Visual Basic lijken uit een ander tijdperk, maar ze draaien nog steeds onder kritieke systemen. OpenAI noemt het betalingsverkeer van banken en creditcards, weersvoorspellingen en veiligheidsberekeningen voor kerncentrales. Van deze talen bestaat veel minder openbare code en documentatie dan van moderne talen, en daardoor hebben AI-modellen er minder van kunnen leren. Het overzetten van zulke software naar een moderne taal is bovendien een riskante klus: één klein verschil in gedrag kan grote gevolgen hebben.

Twee nieuwe tests

  • MultiLangBench laat een model vanaf nul een database-engine bouwen die zich gedraagt als SQLite, in twintig verschillende talen. Het resultaat wordt vergeleken met het echte SQLite, met tests uit de officiële testset van SQLite.
  • Een COBOL-migratietest meet of een model COBOL-programma's kan omzetten naar C++, Java, Kotlin, Python of Rust zonder dat de uitkomst verandert. Een migratie telt alleen als geslaagd als alle verborgen tests exact dezelfde uitvoer opleveren.

OpenAI zet de testopzet en de resultaten per taal op GitHub, zodat anderen ze kunnen nalopen.

De cijfers, volgens OpenAI

Alle scores komen van OpenAI zelf en zijn niet onafhankelijk gecontroleerd. Op MultiLangBench haalt GPT-6 Astra gemiddeld 87,4 procent, tegen 26,8 procent voor het oudere GPT-5.6 Sol. Bij COBOL, de lastigste taal voor Astra, steeg de score van 10,9 naar 72,1 procent. Bij Fortran ging het van 21,4 naar 83,5 procent en bij Visual Basic van 27,5 naar 89,4 procent. Het goedkopere GPT-6 Luna komt gemiddeld uit op 40,3 procent.

Bij de COBOL-migratie haalt GPT-6.1 Sol met weinig denkwerk 86,6 procent, tegen 5,4 procent voor GPT-5.6 Sol, en dat tegen lagere kosten. Laat je het model langer nadenken, dan komt het volgens OpenAI op 97,9 procent.

Geen reden om blind om te zetten

OpenAI waarschuwt zelf dat zo'n omzetting in de praktijk nog altijd moet worden nagekeken en getest door experts, met kennis van de bedrijfsregels en koppelingen van het systeem. Het bedrijf geeft een sprekend voorbeeld: COBOL rekent met geld vaak op een specifieke manier af. Een nieuwe versie die net anders afrondt, kan foutloos draaien en toch andere financiële uitkomsten geven. Een test die alleen kijkt of de software werkt, vangt dat niet.

Voor organisaties met verouderde systemen kan AI het moderniseren dus goedkoper en sneller maken, maar de verantwoordelijkheid voor de uitkomst verschuift niet naar het model. De modellen zijn nu via de API van OpenAI te gebruiken voor programmeerwerk. OpenAI vraagt ontwikkelaars om feedback over welke talen en werkzaamheden het als volgende moet aanpakken.