Google heeft TorchTPU als open source vrijgegeven. Met deze software kun je AI-modellen die in PyTorch zijn geschreven direct laten draaien op de Tensor Processing Units (TPU's), de AI-chips die Google in zijn cloud verhuurt. Google ontwikkelde TorchTPU samen met het PyTorch-team van Meta en maakte het op 20 oktober bekend tijdens de PyTorch Conference 2026.

Eén regel code om van chip te wisselen

PyTorch is het gratis softwarepakket waarmee de meeste AI-modellen worden gebouwd en getraind. Tot nu toe was het vooral gericht op de videokaarten van Nvidia. Wie op een TPU wilde werken, moest via PyTorch/XLA, een tussenlaag waarvoor ontwikkelaars vaak hun code moesten aanpassen. TorchTPU maakt van de TPU een gewoon PyTorch-apparaat, naast de videokaart en de processor. In principe volstaat het om in je code tpu als apparaat op te geven.

Google noemt TorchTPU de opvolger van PyTorch/XLA en raadt het aan voor alle nieuwe projecten.

Wat er precies is uitgebracht

  • TorchTPU versie 0.2.0, te installeren via PyPI, onder de vrije Apache 2.0-licentie.
  • Aangepaste versies van de populaire serveerpakketten vLLM en SGLang, en van het trainingspakket TorchTitan.
  • Ondersteuning voor TPU's vanaf de v5e-generatie, en volgens Google opgeschaald tot 8.192 chips van de nieuwste generatie Ironwood.

Volgens TechCrunch werkte Google daarbij ook samen met onder meer Hugging Face en de makers van vLLM en SGLang. Daarnaast bracht het bedrijf een aparte TPU-agentsuite uit die ontwikkelaars helpt bestaande apps naar Googles chips over te zetten en fouten onderweg op te lossen.

Snelheid hangt af van afstellen

De prestatiecijfers komen van Google zelf. Volgens het bedrijf haalde een trainingsrun van het open model Qwen 3 8B ruim de helft van de theoretische rekenkracht van de chips. Een ander voorbeeld laat zien dat je niet alles cadeau krijgt: zonder optimalisatie duurde één trainingsstap ruim 11 seconden, volledig afgesteld nog geen 3 seconden. Wie TorchTPU zonder extra werk gebruikt, haalt dus lang niet het maximale eruit.

Strijd om de softwarelaag

De stap past in een bredere beweging. Een dag eerder kwam Amazon met een vergelijkbare tool voor zijn eigen Trainium-chips, TorchNeuron. Beide bedrijven willen het makkelijker maken om van Nvidia over te stappen. Nvidia's voorsprong zit voor een groot deel in software: veel AI-code is jarenlang alleen op Nvidia-kaarten getest. Hoe makkelijker PyTorch op andere chips werkt, hoe meer keuze bedrijven krijgen bij het huren van rekenkracht. Dat ontwikkelaars daardoor massaal van Nvidia weglopen, is overigens niet gezegd: overstappen kán nu makkelijker, maar het moet nog wel gebeuren.

Voor de meeste gebruikers van AI-diensten verandert er direct niets. Het gaat om gereedschap voor ontwikkelaars en bedrijven die zelf modellen trainen of draaien in Google Cloud. De code staat op GitHub, met een toelichting op de blog van Google Cloud.