Wie facturen, contracten of wetenschappelijke artikelen automatisch wil laten uitlezen, heeft de keuze uit tientallen tools die tekst uit pdf's en scans halen. Welke het beste werkt, is lastig te zeggen. Het bedrijf Datalab bracht begin oktober daarom OmniParseBench uit: een open meetlat voor zulke documentparsers. Datalab publiceerde de benchmark op 8 oktober, MarkTechPost zette de cijfers deze week op een rij.

Wat er getest wordt

De benchmark bestaat uit 16.288 tests op 2.937 pagina's uit 2.343 documenten, in 92 talen. Elke test is een simpele ja/nee-vraag over één pagina: staat deze zin erin, staan de tekstblokken in de goede volgorde, klopt de waarde in deze tabelcel? De score van een tool is het percentage tests dat hij haalt.

  • De eindscore is het gemiddelde van drie onderdelen: tekst, tabellen en opmaak.
  • Getallen moeten cijfer voor cijfer kloppen. Formules worden vergeleken op hoe ze eruitzien.
  • Er beoordeelt geen AI-model de uitkomsten: de controle gebeurt met open code.
  • Met labels kun je de resultaten filteren, bijvoorbeeld op handschrift, een bepaalde taal of tabellen.

De eerste ranglijst

Bovenaan staat Gemini 3.8 Flash van Google met 92,9, direct gevolgd door de nauwkeurigste instelling van Datalabs eigen parser met 92,7. Daarna volgen onder meer Reducto, LlamaParse en Mistral OCR. Claude Sonnet 5.5 scoort het hoogst op tekst en tabellen, maar zakt door een zwakke opmaakscore naar 88,7. Het klassieke gratis programma Tesseract komt nauwelijks mee.

Twee kanttekeningen. Datalab verkoopt zelf een parser en staat op de tweede plek in zijn eigen test. En volgens Datalab zijn Gemini 3.8 Flash en Claude Sonnet 5.5 gebruikt bij het maken of controleren van een deel van de tests, wat hun scores kan beïnvloeden. De verschillen in de top zijn bovendien klein: de eerste drie liggen binnen 1,3 punt van elkaar.

Wat heb je eraan?

Het nuttigste aan OmniParseBench is niet de ranglijst, maar dat je zelf kunt kijken welke tool goed is in jouw soort documenten. Werk je veel met tabellen of gescande formulieren, dan kun je precies die tests selecteren. De code en de dataset staan openbaar op GitHub en Hugging Face. Het scoren werkt offline zonder API-sleutels, alleen voor het testen van betaalde diensten heb je hun sleutels nodig. Datalab raadt zelf ook aan om altijd op je eigen documenten te testen voordat je kiest.