Bel je straks je energieleverancier of verzekeraar, dan is de kans groot dat er een AI-stem opneemt. Die klinkt steeds natuurlijker, maar luistert hij ook goed? Het Amerikaanse bedrijf Sierra, dat zelf AI-klantenservice bouwt, testte het en de uitkomst valt tegen: spraakassistenten hebben nog veel moeite met iets simpels als je naam, telefoonnummer of adres foutloos noteren.

De test

Sierra bedacht een benchmark met de naam τ-Entity (tau-entity). Die bestaat uit 200 eenvoudige opdrachten, verdeeld over tien soorten gegevens, zoals namen, e-mailadressen, telefoonnummers en adressen. De AI moet een ontbrekend gegeven opvragen en het precies goed in een systeem zetten. De beller werkt mee en spelt als daarom gevraagd wordt.

Elke opdracht komt drie keer langs: in een rustig gesprek, met veel achtergrondgeluid en met extra spraakgeluiden. Pas als het onder alle drie de omstandigheden lukt, telt een taak als betrouwbaar gedaan. De test liep in zes talen. Nederlands zat daar niet apart bij.

De uitslag

  • GPT Live 1 scoorde het best: 60,3 procent goed in een rustig gesprek, maar 34 procent als het in alle drie de situaties moest kloppen. Alleen in het Engels kwam het in een rustig gesprek op 74 procent.
  • Grok Voice Think Fast 2.0 haalde 44,2 en 24 procent.
  • Gemini 3.8 Live kwam op 43,8 en 19,5 procent.

Zo'n 34 procent betekent niet dat twee derde van alle echte klantgesprekken misgaat. Het is een strenge, gecontroleerde test waarin elk gegeven exact moet kloppen. Maar het laat wel zien hoe broos het is: een AI die het in een rustige kamer redelijk doet, struikelt zodra er een tram langsrijdt.

Opvallend is ook dat de assistenten niet altijd doorhebben dat ze iets verkeerd verstaan. Soms vragen ze netjes om bevestiging en verwerken ze de correctie alsnog fout. En hoe meer velden er ingevuld moeten worden, hoe groter de kans dat er ergens iets misgaat.

Spellen en herhalen helpt

Sierra probeerde ook een oplossing: een vaste controleprocedure waarbij de AI eerst vraagt, zo nodig laat spellen, het gegeven herhaalt en checkt of het klopt. Daarmee steeg de betrouwbaarheid onder alle drie de omstandigheden van 14 tot 41 procent naar 37 tot 54 procent, afhankelijk van model en opstelling. De prijs: gesprekken duurden gemiddeld 21 tot 28 seconden langer.

Voor bedrijven is dat een lastige afweging. Kortere gesprekken zijn goedkoper, maar een verkeerd genoteerd huisnummer of e-mailadres kost later veel meer tijd. Bij sommige handelingen kan een fout er zelfs voor zorgen dat een klant niet meer door een identiteitscontrole komt.

Wat je er als beller mee kunt

Krijg je een AI aan de lijn, spel dan namen en adressen ongevraagd en laat ze herhalen, zeker als je vanuit een drukke omgeving belt. Voor Nederlandse namen en straatnamen, die buiten de test vielen, is dat waarschijnlijk extra verstandig. Houd er ook rekening mee dat Sierra zelf AI-telefonisten verkoopt en dus belang heeft bij een test die laat zien waar het beter kan.

Het onderzoek past in een bredere zoektocht naar wat AI-klantenservice echt waard is. Eerder bleek bijvoorbeeld dat een IBM-agent met een ouder model een klantenservicetest won dankzij een slim geheugen. Goed luisteren blijkt minstens zo belangrijk als slim redeneren.