Nvidia heeft Nemotron 3.5 Transcribe uitgebracht, een spraakmodel met open gewichten dat je zelf kunt downloaden en draaien. Het combineert vier taken die je nu vaak met losse diensten doet: opnames uitschrijven, sprekers uit elkaar houden, vertalen en vragen beantwoorden over wat er gezegd is. Tegelijk publiceert Nvidia een nieuwe versie van Granary, de dataset waarmee het model deels is getraind.

Eén model, vier klussen

Je stuurt het model met een gewone opdracht. Dezelfde opname van een vergadering levert zo een uitgeschreven tekst met sprekerslabels op, een Engelse vertaling of een antwoord op de vraag welke besluiten er zijn genomen. Volgens Nvidia gaat het om:

  • Uitschrijven in 40 talen;
  • Vertalen van en naar het Engels in 31 talen;
  • Sprekers herkennen in 13 talen, tot acht sprekers per opname;
  • Opnames tot een uur lang, met tijdcodes per woord.

Welke talen bij welke taak horen, verschilt. Nvidia verwijst daarvoor naar een tabel in de modelkaart. Vragen over audio stellen is alleen in het Engels getraind. Wil je het voor Nederlandse opnames gebruiken, kijk dan eerst in die tabel of Nederlands bij de taak die je nodig hebt wordt ondersteund.

Sterke scores, maar geen live gebruik

Op de Open ASR Leaderboard van Hugging Face staat het model bovenaan bij de open modellen voor Engels, met gemiddeld 5,33 procent woordfouten. Ook bij het herkennen van sprekers scoort het volgens Nvidia het best op twee ranglijsten. Dat zijn cijfers die Nvidia zelf presenteert, al komen ze deels van externe ranglijsten.

Het model heeft 30 miljard parameters, maar gebruikt er per stap maar ongeveer 4 miljard. Daardoor draait het op één Nvidia-chip, van een DGX Spark tot een datacenterkaart. De belangrijkste beperking noemt TechCrunch: het werkt alleen met opgenomen audio, niet met een livestream. Voor realtime ondertiteling of spraakassistenten blijf je dus aangewezen op andere modellen.

Bijsturen op vakjargon

Nvidia mikt nadrukkelijk op notulen- en medische toepassingen. Je kunt in de opdracht al termen meegeven, zoals medicijnnamen, en het model daarna verder trainen op je eigen vakgebied. In een proef met opnames van Indiase artsen daalde het aantal woordfouten bij nieuwe sprekers met bijna de helft na zo'n training. Het bedrijf waarschuwt zelf wel dat je namen en sprekerswisselingen altijd moet nakijken.

Interessant voor wie data in eigen huis wil houden

Omdat de gewichten open zijn, kun je het model op een eigen server zetten in plaats van audio naar een clouddienst te sturen. Voor Nederlandse zorginstellingen, gemeenten en bedrijven die gesprekken opnemen is dat relevant: opnames van vergaderingen en spreekuren bevatten vaak persoonsgegevens die onder de AVG vallen. Nvidia biedt het model ook aan via gehoste diensten van partijen als Baseten en DeepInfra, maar dan geef je die controle weer deels uit handen.

De lancering past in een drukke maand voor spraak-AI. Het Franse Mistral bracht onlangs Voxtral 3 uit, IBM kwam met Granite Speech 5.0, en Nvidia zelf lanceerde vorige week al Nemotron Bolt voor kleine lokale spraakagents.