Het Chinese AI-bedrijf DeepSeek heeft DeepInfer als open source uitgebracht. Dat is de software die volgens het bedrijf zijn eigen productiediensten aandrijft: het programma dat een getraind model op een server laat draaien en zo snel mogelijk antwoorden laat geven. DeepInfer werkt voorlopig met één model, DeepSeek-V4.1-Flash, en valt onder de vrije Apache 2.0-licentie.

Waarom dit opvalt

AI-bedrijven publiceren soms de gewichten van hun modellen, maar zelden de software waarmee ze die op grote schaal aanbieden. Juist daar zit veel kennis over kosten en snelheid. DeepSeek laat nu zien hoe het dat aanpakt. DeepInfer is oorspronkelijk gebouwd op het bekende open pakket vLLM, aangevuld met eigen rekenroutines en technieken die het bedrijf eerder los publiceerde.

Tegelijk bracht DeepSeek deepseek-recipe uit, een onderdeel dat tekst omzet in tokens en weer terug, onder de MIT-licentie.

De cijfers van DeepSeek

Alle prestaties zijn door DeepSeek zelf gemeten. Het bedrijf noemt onder meer:

  • meer dan 25.000 gegenereerde tokens per seconde per GPU bij een zware belasting van 64 videokaarten;
  • één cluster dat 155 biljoen tokens per dag verwerkt;
  • een omzet van 38 dollar per GPU-uur, gerekend tegen de goedkoopste daluren.

Vooral dat laatste getal is interessant, omdat AI-bedrijven zelden laten zien wat één videokaart per uur oplevert.

Niet compleet

Wie hoopt het volledige systeem van DeepSeek na te bouwen, komt bedrogen uit. Deze versie ondersteunt alleen offline gebruik. Een aantal onderdelen ontbreekt: de cache die tussenresultaten bewaart zodat herhaalde tekst niet opnieuw verwerkt hoeft te worden, het splitsen van het inlezen van een opdracht en het schrijven van het antwoord over aparte servers, en het verdelen van verkeer over meerdere kopieën. DeepSeek zegt dat die onderdelen te nauw verweven zijn met de eigen infrastructuur. Daarnaast is de hardware fors: de kleinste efficiënte opstelling telt 64 GPU's voor het inlezen en 64 voor het schrijven. De software draait op de nieuwste Nvidia Blackwell-kaarten en op Huawei's Ascend 950-chips.

Dat Huawei-chips naast Nvidia worden ondersteund, past bij de Chinese inzet om minder afhankelijk te worden van Amerikaanse hardware. Het komt bovendien op een gevoelig moment: de Amerikaanse overheid verbood DeepSeek deze week bij federale instanties. Voor gewone gebruikers verandert er niets; DeepInfer is bedoeld voor bedrijven en onderzoekers met eigen rekencentra. De code staat op GitHub.