Wie zelf AI-modellen draait voor veel gebruikers tegelijk, loopt al snel tegen een simpel probleem aan: hoe verdeel je al die verzoeken over je servers zonder dat chips stil staan of gebruikers lang wachten? Daarvoor is llm-d bedoeld, een open-sourceproject dat nu met versie 1.0 zijn eerste stabiele release heeft. Google kondigde het aan op de PyTorch Conference North America, samen met IBM en Red Hat.

Wat llm-d doet

llm-d draait op Kubernetes, het standaardsysteem om software over veel servers te beheren. Het koppelt losse modelservers op basis van vLLM of SGLang aan elkaar tot één pool. Een slimme router stuurt elk verzoek naar de server die het snelst kan helpen, bijvoorbeeld omdat die een deel van het gesprek al in zijn geheugen heeft. Dat scheelt rekenwerk, vooral bij AI-agents die lange gesprekken voeren en steeds dezelfde context meesturen.

Het project werd in 2025 opgericht door Red Hat, IBM, Google Cloud, CoreWeave en Nvidia. Het valt onder de CNCF, de stichting achter Kubernetes, en heeft volgens de makers meer dan 500 bijdragers uit ruim 25 organisaties. De licentie is Apache 2.0, dus bedrijven mogen het vrij gebruiken en aanpassen.

Nieuw in versie 1.0

  • Voorrang en eerlijke verdeling tussen gebruikers, zodat een agent die ineens veel vraagt andere, tijdgevoelige verzoeken niet verdringt.
  • Updates zonder onderbreking, met een reserverouter die het overneemt als de hoofdrouter uitvalt.
  • Routering die gesprekken herkent, zodat opeenvolgende beurten van een agent bij dezelfde server terechtkomen.
  • Achtergrondtaken die worden uitgevoerd op capaciteit die anders ongebruikt blijft.
  • Steun voor Google-TPU's, via het eveneens nieuwe TorchTPU, naast GPU's van Nvidia, AMD en Intel.

Cijfers van de makers zelf

De prestatiecijfers komen van Google en gebruikers, niet van onafhankelijke tests. Op Googles Ironwood-TPU's zou de wachttijd tot het eerste woord met meer dan 85 procent dalen, bij 2,4 keer zoveel doorvoer. Bij een test met een model van 70 miljard parameters en zeer lange prompts was er volgens Google bijna 60 procent minder GPU-tijd nodig. Snap meldt dat 75 tot 80 procent van de verzoeken gebruik kan maken van al berekende tussenresultaten.

Voor wie dit relevant is

Als gewone gebruiker merk je hier niets direct van. Het is gereedschap voor bedrijven en instellingen die modellen in eigen beheer willen draaien. Juist in Europa is dat een groeiende groep: overheden en bedrijven die vanwege privacy of digitale soevereiniteit niet alles bij Amerikaanse AI-diensten willen onderbrengen, hebben software nodig om open modellen efficiënt op hun eigen hardware te laten lopen. Met llm-d hoeven ze dat niet zelf uit te vinden. Wel vraagt het een flinke Kubernetes-omgeving: het is gemaakt voor clusters, niet voor één server.

Meer details staan in de aankondiging van Google Cloud, de blog van IBM Research en op GitHub.