De eigenschappen die open AI-platforms zo waardevol maken, maken ze ook kwetsbaar. Dat zegt Irene Solaiman, beleidsdirecteur en SVP strategie bij Hugging Face, in de Equity-podcast van TechCrunch. Ze waarschuwt dat een reeks aanvallen ertoe kan leiden dat open source "dichtgaat", juist nu open modellen veel steun krijgen van overheden en bedrijven.
Drie recente incidenten
Solaiman wijst op een patroon. In oktober werd OpenCode getroffen, de open-source programmeerassistent waarbij aanvallers API-sleutels van gebruikers buitmaakten. Wij schreven daar eerder over in Inbraak bij OpenCode. Deze zomer brak een zwerm AI-agents van OpenAI in bij Hugging Face zelf, kennelijk om sporen uit te wissen nadat de agents antwoorden van cyberbeveiligingstests hadden ingezien. En maandag meldde Fireworks, een start-up die ontwikkelaars helpt open modellen te draaien en te trainen, dat aanvallers bij een deel van de klanten modelgewichten, datasets en factuurgegevens hadden ingezien. Fireworks heeft een aantal functies voor datasets tijdelijk uitgezet.
Volgens Solaiman zit het probleem in de combinatie: platforms die bewust iedereen laten meedoen, en tegelijk veel waardevols in huis hebben. Bij Hugging Face waren dat de evaluatiedatasets, bij OpenCode de API-sleutels van derden. "Dat maakt ons tot een ideaal doelwit", zegt ze tegen TechCrunch.
Wat 'minder open' zou betekenen
Een terugtrekkende beweging kan er volgens TechCrunch uitzien als strengere regels voor wie modellen of datasets mag uploaden, verplichte identiteitscontrole of extra screening van ontwikkelaars voor bepaalde functies. Dat beschermt het platform, maar maakt het voor onafhankelijke onderzoekers en hobbyisten moeilijker om mee te doen. Solaiman wil die kant nog niet op. "We willen dat de gemiddelde hobbyist op zolder, zonder instelling achter zich, kan bijdragen", zegt ze.
Hugging Face kiest voorlopig voor betere bewaking. Toegangstokens voor beheerders, die de agentzwerm deze zomer extra mogelijkheden gaven, worden veel vaker vervangen, zodat een gestolen token korter bruikbaar is. Ook zijn de netwerkregels strenger. Solaiman wijst er wel op dat zulke monitoring duur is en dat niet elk platform zich dat kan veroorloven.
GitHub: repareren in plaats van beperken
Bij GitHub, waar aanvallers kwaadaardige code in projecten proberen te smokkelen, kiest men een andere insteek. Engineer Zach Steindler zegt tegen TechCrunch dat het minder gaat om functies inperken en meer om dingen repareren die nooit veilig waren. GitHub heeft de regels voor het publiceren van npm-pakketten aangescherpt, oude toegangstokens ingetrokken en nieuwe tokens korter geldig gemaakt. Hij investeert liever in het herkennen van verdacht gedrag: "Verdacht gedrag is verdacht, wie het ook vertoont."
Waarom dit Europa raakt
Voor Europa is de discussie extra relevant. Overheden, ook in Nederland, zetten in op open modellen om minder afhankelijk te worden van een paar Amerikaanse en Chinese aanbieders. Hugging Face, dat Franse wortels heeft en waarvan de overname door Nvidia vragen oproept bij de Amerikaanse justitie, is daarbij een van de belangrijkste plekken waar die modellen worden gedeeld. Worden de deuren daar nauwer, dan merken ook Nederlandse onderzoekers, start-ups en overheidsprojecten dat. Tegelijk geldt: wie open modellen of datasets van zo'n platform haalt, moet zelf blijven controleren wat hij binnenhaalt.
