Bij een betaling, een zoekopdracht of een fraudecheck heeft software vaak maar een paar tientallen milliseconden om te beslissen. Daarom draaien op die plekken meestal nog klassieke rekenmodellen, geen taalmodellen: een chatbot die een paar seconden nadenkt, is daar te traag. Liquid AI wil dat veranderen met RIPL, kort voor Real-time Inference Pipeline.

Wat RIPL doet

RIPL is software die de eigen, kleine taalmodellen van Liquid AI (de LFM2.5-familie, van 230 miljoen tot 2,6 miljard parameters) zo efficiënt mogelijk laat draaien. Volgens het bedrijf levert de engine een volledig antwoord binnen 50 milliseconden af, ook als er onafgebroken verzoeken binnenkomen op piekmomenten. Liquid noemt toepassingen als zoekresultaten rangschikken, productaanbevelingen, fraudebeslissingen en het goedkeuren van betalingen.

De engine draait op Nvidia-kaarten zoals de H100, H200, B200 en RTX PRO 6000. Hij is gesloten en alleen beschikbaar voor zakelijke klanten, die daarvoor contact moeten opnemen met Liquid. Een prijs of zelfbedieningsversie is er niet.

De cijfers, en de kanttekeningen

Liquid vergelijkt zijn modellen op RIPL met het open model Qwen3.5 op de veelgebruikte serversoftware vLLM, allemaal op één B200-kaart. De resultaten komen van Liquid zelf:

  • Bij korte verzoeken van 32 tokens in en 32 uit, met 1.000 verzoeken per seconde, haalde LFM2.5-1.2B 34,6 milliseconden in 95 procent van de gevallen. Qwen3.5-0.8B deed er 498 milliseconden over.
  • Bij langere verzoeken (256 tokens in, 128 uit) liep het verschil op tot een factor 28, maar kwam ook Liquids eigen model ruim boven de 50 milliseconden uit: 155,8 milliseconden.
  • Het grotere LFM2.5-2.6B had bij die langere verzoeken 449,1 milliseconden nodig. De belofte van 50 milliseconden geldt dus vooral voor korte taken.

MarkTechPost wijst erop dat de vergelijkingen modellen van verschillende omvang naast elkaar zetten en dat niemand de resultaten kan nadoen, omdat RIPL niet openbaar is. Om te laten zien dat de winst niet alleen uit het model komt, draaide Liquid zijn kleinste model ook op vLLM; RIPL was daar steeds sneller, maar exacte getallen staan niet in de aankondiging.

Shopify als eerste grote gebruiker

Volgens de aankondiging van Liquid zet Shopify de modellen al in voor zoekfuncties in webwinkels, met antwoorden binnen 20 milliseconden. Liquid zit daarmee in een groeiende niche: kleine, snelle modellen voor één afgebakende taak in plaats van één groot model dat alles kan. Eerder deze maand bracht het bedrijf daarvoor al beslismodel d1-ultra uit, en ook OpenAI zette deze week zijn snelle beslismodel open.

Voor Europese banken en betaalbedrijven is het interessant dat zulke kleine modellen ook op eigen hardware kunnen draaien, zodat klantgegevens niet naar een Amerikaanse cloud hoeven. Wie een taalmodel inzet voor kredietbeslissingen, valt in de EU wel onder de hoogrisicoregels van de AI-verordening. Sneller rekenen maakt de uitleg over hoe een beslissing tot stand kwam dus niet minder belangrijk.