Deze week lazen we dat AI-telefonisten nog vaak struikelen over namen en adressen. Dat wilden we zelf zien. We namen Whisper, het open-source spraakherkenningsmodel van OpenAI dat je gratis op je eigen computer kunt draaien, en lieten het precies dat soort zinnen uitschrijven. Er gaat dan niets naar de cloud.

Wat we testten

Twee formaten van Whisper: base (ongeveer 150 MB) en small (ongeveer 360 MB), allebei in de lichte int8-versie. We draaiden ze via het open-source pakket sherpa-onnx, op een eenvoudige virtuele computer met 2 processorkernen en zonder videokaart. De taal stond vast op Nederlands.

Zo pakten we het aan

We schreven acht zinnen zoals je die aan de telefoon zegt, bijvoorbeeld:

  • "Mijn naam is Femke van der Scheer en ik woon op de Kerkstraat 14 in Zwolle."
  • "Mijn postcode is 3512 AB en mijn huisnummer is 27 a."
  • "Mijn achternaam is Wijnbergen, met ij, w i j n bergen."
  • "Mijn e-mailadres is femke punt devries apenstaartje gmail punt com."

Belangrijke kanttekening: we hadden geen opnames van echte mensen. We lieten de zinnen daarom inspreken door twee Nederlandse computerstemmen van Piper (Pim en Ronnie). Elke zin testten we twee keer: in gewone kwaliteit en teruggebracht naar telefoonkwaliteit (8 kHz). Dat geeft 32 fragmenten per model. Een echte beller met accent, achtergrondgeluid of een slechte verbinding is moeilijker dan dit.

Wat er gebeurde

Cijfers, postcodes en datums: goed

Het model small schreef de postcode in alle vier de pogingen goed uit als "3512ab" en het huisnummer als "27a". "Dinsdag 3 november om kwart over twee" kwam bij small elke keer goed door. Het kleinere base maakte in drie van de vier pogingen "de instaard" of "de instig" van "dinsdag", en schreef de postcode als "3.512 ab".

Namen: wisselend tot slecht

Hier ging het mis. "Femke van der Scheer" werd bij small "Fenke van der Scher" of "Femke van Der Scher"; de dubbele e van Scheer kwam er in geen enkele poging uit. Base maakte er "vanke van der scher" en zelfs "van deur scher" van. "Joost Hoekstra" ging bij small elke keer goed, bij base werd het "joust hoekstra", "Jost Hoekstra" en één keer "de oosthoekstra". "Wijnbergen" werd "Weinbergen" of "Bijnbergen", ook als we de naam spelden. "Jan van Galenstraat" werd bij de ene stem keurig herkend, bij de andere stem werd het "Joon van Galenstraat" of "Joon van Gadelstraat".

E-mailadressen: onbruikbaar

Geen enkele poging leverde het juiste adres op. Voorbeelden: "vmk.tevriesapenstaartjegmail.com" (small) en "www.devriesaaperstartigmeel.com" (base). Het woord "apenstaartje" werd uitgeschreven in plaats van omgezet naar een @.

Telefoonkwaliteit en snelheid

Het verschil tussen gewone kwaliteit en telefoonkwaliteit was in onze test klein: soms iets beter, soms iets slechter. Bij fragmenten van gemiddeld 5,4 seconden had base gemiddeld 0,7 seconde nodig en small 2,3 seconden. Allebei dus sneller dan iemand praat, zelfs op een zwakke machine.

Omdat de stemmen zelf computerstemmen zijn, kan een deel van de fouten ook aan de uitspraak van Piper liggen. In onze Piper-test van vorige week hoorden we al dat die stemmen soms haperen.

Pluspunten en minpunten

  • Plus: gratis, open-source en volledig lokaal, dus geschikt voor gesprekken die je niet bij een clouddienst wilt neerleggen.
  • Plus: getallen, postcodes, huisnummers en datums kwamen met small vrijwel foutloos door.
  • Plus: snel genoeg op een gewone computer zonder videokaart.
  • Min: Nederlandse achternamen en straatnamen gaan regelmatig fout, en dat zie je niet zonder het origineel te kennen.
  • Min: e-mailadressen en gespelde namen zijn in deze test niet bruikbaar.
  • Min: het kleinste model (base) maakt ook fouten in gewone woorden; neem minstens small.

Voor wie is dit?

Wil je gesprekken, memo's of interviews zonder cloud laten uitschrijven, dan is Whisper small een prima begin, zolang je namen, adressen en e-mailadressen zelf nakijkt. Voor een systeem dat zonder controle klantgegevens moet noteren is het te onbetrouwbaar: zo'n systeem moet namen altijd laten spellen en ter controle herhalen. Volgens OpenAI zijn er ook grotere Whisper-modellen (medium en large) die nauwkeuriger zijn; die hebben we deze keer niet getest.