Amazon Web Services (AWS) heeft maandag TorchNeuron uitgebracht. Met die tool moeten AI-bedrijven hun software makkelijker kunnen verhuizen naar Trainium, de AI-chip die Amazon zelf ontwerpt. Daarmee richt Amazon zich op het terrein waar Nvidia het sterkst staat: niet de chip zelf, maar de software eromheen.
Eén regel aanpassen
De meeste AI-toepassingen worden gebouwd met PyTorch, een gratis open-sourcepakket om AI-modellen te maken, te trainen en te draaien. Amazon schat dat het om ongeveer 85 procent van alle AI-apps gaat. PyTorch werd ooit door Facebook ontwikkeld en valt sinds 2022 onder de Linux Foundation.
Volgens Amazon draait een PyTorch-toepassing met TorchNeuron op Trainium als je één regel in de configuratie aanpast, zonder code te herschrijven. Dat is niet uniek: ook voor chips van AMD en Apple bestaan vergelijkbare overstapmogelijkheden. Wel is het een duidelijk signaal, omdat Nvidia jarenlang heeft gezorgd dat zijn eigen CUDA-software naadloos met PyTorch samenwerkt. Daardoor is een Nvidia-GPU in de praktijk de standaardkeuze geworden.
Amazon wil PyTorch zelf ook veranderen
Amazon gaat verder dan een eigen tool. Het bedrijf zegt in zijn aankondiging dat het wijzigingen terugstuurt naar het PyTorch-project zelf, om code te verwijderen die het pakket aan specifieke chips koppelt. Het doel is volgens Amazon een PyTorch dat voor alle ontwikkelaars minder afhankelijk is van één chipmaker, niet alleen voor Trainium-gebruikers.
TechCrunch plaatst daar een kanttekening bij: PyTorch is juist populair omdat het de lastige details van hardware verbergt. Of meer chipkeuze ook leidt tot goedkopere opties, of vooral tot extra configuratiewerk, moet nog blijken.
Claims over prijs en prestaties
AWS stelt dat Trainium voordelig is omdat dezelfde chip zowel modellen kan trainen als draaien, en omdat startups meteen de rest van Amazons cloud tot hun beschikking hebben. Colin Brace van Annapurna Labs, de chipafdeling van AWS, wijst op spraakbedrijf Deepgram. Dat zou na de overstap naar Trainium 70 procent meer audio per dollar verwerken. Dat cijfer komt van AWS zelf en is niet onafhankelijk getoetst.
AWS zet zich daarmee af tegen zogenoemde neoclouds: aanbieders die vooral rekenkracht verhuren en vaak sterk op Nvidia leunen. TechCrunch noemt CoreWeave, Nebius en Firmus als voorbeelden. Over CoreWeave schreven we onlangs nog, toen het aandeel flink onderuitging.
Waarom dit verder reikt dan Amazon
De strijd om AI-chips wordt steeds meer een strijd om software. Nvidia's voorsprong zit voor een groot deel in de gewoonte van ontwikkelaars om alles op CUDA te bouwen. Lukt het Amazon om PyTorch echt los te weken van Nvidia, dan profiteren daar ook andere uitdagers van, zoals AMD en het onlangs miljarden ophalende Tenstorrent. Voor Europese bedrijven die AI draaien in de cloud kan meer concurrentie op termijn betekenen dat ze minder vastzitten aan één leverancier. Op korte termijn verandert er voor wie bij Nvidia-hardware blijft niets.
