Wie een AI-toepassing bouwt, gebruikt vaak drie losse modellen: een taalmodel om mee te praten, een model dat snelle ja-of-nee-beslissingen neemt en een model dat spraak omzet in tekst. IBM wil dat terugbrengen tot één. Met Granite Switch 4.1 brengt het bedrijf twee open modellen uit, van 8 en 30 miljard parameters, die alle drie de taken via één aanspreekpunt afhandelen.

Hoe het werkt

Onder de motorkap zit een gewoon Granite-basismodel. Daarbovenop plakt IBM kleine uitbreidingen, zogeheten adapters, die het model voor een specifieke taak bijsturen. In deze versie zitten er standaard drie bij:

  • een algemene beslisadapter die werkt via dezelfde aanroep als bestaande beslismodellen;
  • een Guardian-adapter voor veiligheidskeuzes, zoals het herkennen van schadelijke inhoud;
  • Granite-Speech-5.0-Turbo-CTC, een spraakherkenner die volgens IBM de snelste is op de openbare OpenASR-ranglijst.

Omdat de adapters het rekenwerk van het basismodel hergebruiken, neemt het geheel volgens IBM ongeveer evenveel videogeheugen in als het basismodel alleen. Dat betekent: meer functies zonder extra grafische kaarten. Ontwikkelaars kunnen ook zelf adapters uit IBM's bibliotheek combineren tot een eigen variant. Een hulpmiddel om eigen adapters te trainen is aangekondigd, maar nog niet uitgebracht.

IBM daagt de beslismodellen uit

De timing is opvallend. In korte tijd kwamen er meerdere zogeheten beslismodellen op de markt, die geen tekst schrijven maar kansen teruggeven op vaste antwoordopties. Denk aan Jev van TypeSafe, dat razendsnel populair werd, en Drex Max van Nace AI. Die draaien alleen via de servers van de makers. IBM zet daar een open model tegenover dat je zelf kunt draaien, via vLLM met een plug-in of via llama.cpp, en dat bestaande aanroepen naar zulke beslisdiensten kan overnemen.

IBM claimt dat de Guardian-adapter gemiddeld beter scoort op veiligheidsbeslissingen dan onder meer Jev 1.13, en dat de 30B-versie een RAG-taak in vijf stappen sneller afrondde dan een concurrerend model van 27 miljard parameters. Als demonstratie liet IBM een klein Granite-model van 3 miljard parameters het spel Doom spelen, met 60 tot 100 beslissingen per seconde. Al die cijfers komen van IBM zelf en zijn niet onafhankelijk gecontroleerd.

Voor wie is dit interessant?

Voor gewone gebruikers verandert er niets. Voor Europese bedrijven die AI liever op eigen servers draaien, bijvoorbeeld om klantgegevens binnen de EU te houden, is het wel relevant: één open model dat chat, moderatie en transcriptie combineert, scheelt hardware en afhankelijkheid van Amerikaanse API's. IBM Research werkte eerder ook aan een klantenservice-agent die zelf regels leert, wat laat zien dat het bedrijf vooral inzet op slimme bouwstenen in plaats van het allergrootste model.