De meeste AI-bedrijven bouwen steeds grotere modellen die in datacenters draaien. De Amerikaanse startup Underdog gaat de andere kant op. Het bedrijf liet deze week Woof zien, een tekst-naar-spraakmodel van 31,7 megabyte dat volgens Underdog zo klein is dat het gewoon in je browser draait, zonder internetverbinding.

Een spelletje als demo

Om Woof te laten zien bouwde Underdog een klein browserspel in retrostijl, met een typemachine, een oude beeldbuismonitor en een radio-afstemknop. Wat je op de typemachine intypt, spreekt het spel hardop uit. Draai je aan de knop, dan maakt het model verschillende soorten muziek. Alle stemmen in het spel komen volgens het bedrijf van Woof. In de intro steekt het spel de draak met "opdringerige" cloudaanbieders, een duidelijke sneer naar AI-diensten die alles op hun eigen servers verwerken.

Het model heeft 31 miljoen parameters en is vrij te downloaden. Dat het ook muziek kan maken, is opvallend voor zo'n klein model.

Privé-AI op je eigen apparaat

Oprichter Sigil Wen vertelde TechCrunch dat hij begon omdat hij geen notuleerapp in de cloud wilde gebruiken, maar een eigen systeem dat op zijn apparaten draait zodat hij zelf eigenaar blijft van zijn gegevens. Hij verwacht dat de meeste modellen die nu als topmodel gelden binnen enkele maanden ook op gewone apparaten draaien. Dat is zijn verwachting, geen vastgestelde ontwikkeling.

Woof staat niet op zichzelf. Underdog bracht eerder al Bark uit, een spraakherkenningsmodel van 167 MB voor dicteren en transcriberen, en een taalmodel van 27 miljard parameters dat op een laptop past. Daarnaast werkt het bedrijf aan een app met wachtlijst die het positioneert als lokaal alternatief voor agents als Meta's Muse.

Klein is een trend

Underdog is niet de enige die op zuinige spraakmodellen inzet. Eerder deze week bracht het Franse Gradium Phonon uit, een voorleesstem van zo'n 65 MB die offline werkt. Zulke modellen zijn interessant voor wie gevoelige tekst niet naar een Amerikaanse server wil sturen, iets wat in Europa met de AVG vaak een rol speelt. Een groot model vervangen ze niet, maar voor een voorleesfunctie of een eenvoudige assistent op je telefoon kan het genoeg zijn.

Of Woof Nederlands spreekt, vermelden Underdog en TechCrunch niet. Wie Nederlandse tekst wil laten voorlezen, moet dat dus eerst zelf uitproberen.