Het bedrijf Fish Audio heeft Drama 3 uitgebracht, een model dat tekst omzet in spraak en daarbij luistert naar regieaanwijzingen. De gewichten staan op Hugging Face, zodat ontwikkelaars het model zelf kunnen draaien. Daarnaast is het beschikbaar via de API van Fish Audio.

Regisseren met gewone woorden

Het bijzondere aan Drama 3 is de manier van aansturen. Je zet een aanwijzing tussen blokhaken voor een zin, bijvoorbeeld dat iemand zijn tranen nauwelijks kan bedwingen, en het model past de voordracht daarop aan. Met tags zoals <whisper> verander je alleen de woorden die ertussen staan. De aanwijzingen mogen in elke taal, los van de taal die wordt uitgesproken. Het model ondersteunt 83 talen en kan tot zestien sprekers in één verzoek verwerken, zodat een hele scène in één keer wordt ingesproken. Fish Audio mikt op hoorspelen, luisterboeken en nasynchronisatie.

Groot, maar zuinig per woord

Technisch is Drama 3 een zogeheten mixture-of-experts-model met ongeveer 35 miljard parameters, waarvan er per stap zo'n 3 miljard actief zijn. Wie het zelf wil draaien, heeft een NVIDIA-videokaart met minstens 48 GB geheugen nodig. Gewone processors, Apple-chips en AMD-kaarten worden niet ondersteund.

Hoe goed is het?

Op een uitspraaktest van onderzoeksbureau Artificial Analysis scoort Drama 3 volgens MarkTechPost het hoogst van alle geteste modellen: 93,2 procent. Namen van merken, plaatsen en vaktermen gaan het best; precieze reeksen zoals codes, bestandspaden en e-mailadressen het minst goed. Op de algemene kwaliteitsranglijst van hetzelfde bureau staat Drama 3 wel achter enkele gesloten diensten, waaronder ElevenLabs. Hoe goed het model emoties overbrengt, beschrijft Fish Audio alleen in woorden, zonder meetbare test.

Licentie met grens

Open betekent hier niet volledig vrij. Onderzoek en niet-commercieel gebruik zijn gratis, en commercieel gebruik ook, zolang je organisatie minder dan 500.000 dollar per jaar omzet. Producten moeten de vermelding 'Built with Fish Audio' tonen en het klonen van de stem van een echt persoon zonder toestemming is verboden. Via de API kost het model 50 dollar per miljoen tekens, met een lagere introductieprijs tot 12 november.

Voor kleine makers en ontwikkelaars is Drama 3 vooral interessant omdat je geacteerde spraak met meerdere stemmen kunt maken zonder je teksten naar een externe dienst te sturen, mits je de hardware hebt.