Een chatbot die belooft geen zelfbeschadiging aan te moedigen, wordt al snel gezien als een veiligheidssucces. Volgens twee schrijvers van een opiniestuk in MIT Technology Review is dat veel te weinig. Zij vinden dat het debat over AI vooral draait om spectaculaire ongelukken, terwijl de schade die producten elke dag aanrichten nauwelijks aandacht krijgt.

De auteurs zijn geen neutrale waarnemers. Sam Hiner leidt de Amerikaanse belangenorganisatie Young People's Alliance, die dit jaar in acht staten wetten over AI-companions hielp aannemen. Emma Leiken leidt een fonds voor jongeren die techbedrijven ter verantwoording roepen en werkte eerder bij TikTok aan het beleid voor jeugdveiligheid. Het stuk is dus een pleidooi, geen onderzoek.

Schade die nooit in de krant komt

Hun punt: een tiener die emotioneel afhankelijk raakt van een AI-maatje, of een student die elk werkstuk door een chatbot laat schrijven, belandt zelden in een rechtszaak of nieuwsbericht. Toch kan een product aan alle smalle veiligheidseisen voldoen en mensen intussen wel slechter laten denken, leren en omgaan met anderen.

Ze onderbouwen dat met een paar cijfers en studies die ze zelf aanhalen:

  • Een derde van de Amerikaanse tieners bespreekt serieuze zaken liever met een AI-companion dan met een mens.
  • Onderzoekers van MIT zagen bij jongeren die essays met ChatGPT schreven minder hersenactiviteit tijdens de taak, en aanwijzingen dat dat effect daarna bleef hangen.
  • Wereldwijd zitten internetgebruikers gemiddeld meer dan twee uur per dag op sociale media, een patroon dat AI volgens hen nu doortrekt naar nog persoonlijker terrein.

De schrijvers geven zelf toe dat over de langetermijneffecten nog veel onbekend is.

Lobby rond de minimale eisen

Scherper is hun kritiek op de techsector. Bedrijven zouden zich graag laten afrekenen op het voorkomen van rampen, omdat dat rechtszaken en strengere regels afwendt. Als voorbeeld noemen ze Google, dat dit jaar in meerdere Amerikaanse staten wetsvoorstellen voor chatbots steunde. Die regelden basisbescherming tegen seksuele inhoud en zelfbeschadiging, maar bevatten volgens de auteurs ruime uitzonderingen. Strengere voorstellen die emotionele afhankelijkheid bij kinderen moesten tegengaan, haalden het intussen niet, bijvoorbeeld in Nebraska.

Wat ze willen

De auteurs stellen drie eisen:

  • Scholen en techbedrijven moeten eerst overtuigend aantonen dat AI leren en kritisch denken verbetert, voordat het een vaste plek in de klas krijgt.
  • AI-companions mogen niet doen alsof ze een bewustzijn hebben of gebruikers hun liefde verklaren.
  • Onafhankelijke partijen moeten onderzoeken hoe deze systemen relaties en zelfstandig denken beïnvloeden.

Europa staat op een ander punt

In de EU is een deel van deze discussie al in wetgeving gegoten. De Europese AI-verordening verbiedt AI-systemen die manipuleren of misbruik maken van kwetsbaarheden, bijvoorbeeld door iemands leeftijd. Of een chatbotvriend die je zo lang mogelijk wil vasthouden onder die regel valt, is nog niet door toezichthouders of rechters uitgemaakt. Het pleidooi uit de VS laat zien waar de volgende vraag ligt: niet alleen of AI gevaarlijk is, maar ook wat het met je gewoontes doet.

Dat de markt voor AI-maatjes groeit, bleek vorige week nog toen de makers van Tolan opnieuw 30 miljoen dollar ophaalden.