Werkgeheugen (DRAM) is schaars, en volgens OpenAI-topman Sam Altman zit een deel van het probleem op een onverwachte plek: in de computers van gewone gebruikers. Dat zei hij in de podcast Cheeky Pint, dezelfde aflevering waarin hij ook reageerde op kritiek van wiskundigen. Hij kreeg een vraag over tekorten in de toeleveringsketen, zoals het aanhoudende geheugentekort.
Lokale AI is volgens Altman een denkfout
Veel mensen willen AI-modellen op hun eigen computer draaien, met open modellen die je zelf kunt downloaden. Volgens Altman denken ze dat het probleem daarmee is opgelost en dat al die datacenters dan minder nodig zijn. Hij vindt dat vanuit wereldwijd perspectief juist "behoorlijk vreselijk": iedereen heeft een deel van het beperkte geheugen in zijn eigen apparaat, terwijl dat maar zo'n vijf procent van de tijd wordt gebruikt. In de cloud kun je hetzelfde geheugen maximaal benutten. "De intuïtie van veel mensen is precies omgekeerd", aldus Altman.
Een standpunt met eigenbelang
Het argument over benutting is op zich logisch: een server staat vaker te rekenen dan een laptop. Maar het is ook een standpunt dat goed uitkomt voor een bedrijf dat zijn geld verdient met AI in de cloud. Voor gebruikers spelen andere zaken mee dan efficiëntie alleen, zoals privacy, kosten en werken zonder internet.
Juist die argumenten maken lokale AI aantrekkelijk in Europa. Wie een model op eigen hardware draait, stuurt geen gegevens naar servers van een Amerikaans bedrijf. Er komt ook steeds meer aanbod: Opera wil AI-modellen lokaal in de browser laten draaien, en GitHub laat Copilot sinds kort kiezen tussen lokale en cloudmodellen. Zelf testten we onlangs nog Whisper op een gewone computer.
Altmans opmerking laat vooral zien hoe verschillend er over de toekomst van AI wordt gedacht. OpenAI zet in op grote centrale datacenters, terwijl een deel van de markt juist de andere kant op beweegt, naar kleinere modellen op je eigen apparaat.
