Wie een website beheert en niet wil dat zijn teksten in AI-modellen belanden, moet nu nog per AI-bedrijf een aparte regel instellen. Daar komt verandering in. OpenAI, Google, Microsoft en Anthropic hebben toegezegd een gezamenlijk signaal te respecteren waarmee je in één keer aangeeft dat je content niet voor AI-training gebruikt mag worden.

Eén 'policy token' in robots.txt

Het gaat om een zogeheten policy token dat in het bestand robots.txt van een website komt te staan. Dat bestand bestaat al tientallen jaren en vertelt crawlers wat ze wel en niet mogen ophalen, bijvoorbeeld voor zoekmachines of webarchieven. Het nieuwe signaal is voorgesteld bij de Internet Engineering Task Force (IETF), de organisatie achter veel internetstandaarden, door Kevin Kelley, die bij Anthropic aan standaarden werkt.

Komen de crawlers van de vier bedrijven het signaal tegen, dan houden ze zich volgens de bedrijven weg bij die site. OpenAI bevestigt dat in een eigen aankondiging. Het nieuws werd eerder gemeld door Search Engine Roundtable.

Niet iedereen begint tegelijk

  • Anthropic ondersteunt het signaal al.
  • OpenAI zegt het "in de komende maanden" in te voeren.
  • Google en Microsoft willen het volgend jaar ondersteunen.

Microsoft gaat een stap verder dan de anderen. Uitgevers krijgen daar de keuze om apart nee te zeggen tegen AI-training en tegen grounding: het gebruik van een bron om AI-antwoorden te onderbouwen. Een site blijft volgens Microsoft hoe dan ook vindbaar in Bing.

Wat dit betekent voor Nederlandse sites

Voor Europese uitgevers is een machineleesbaar signaal extra relevant. De Europese auteursrechtregels staan tekst- en datamining toe, tenzij een rechthebbende dat op een machineleesbare manier heeft uitgesloten. Een gedeelde standaard maakt zo'n voorbehoud eenvoudiger en eenduidiger dan een lijst losse regels voor elke crawler. Of rechters zo'n token ook als geldig voorbehoud zien, moet nog blijken.

Het blijft wel een afspraak op vrijwillige basis. Crawlers van bedrijven die niet meedoen, hoeven er niets mee. Daarom kiezen platforms ook voor zwaardere middelen: Cloudflare blokkeert AI-crawlers standaard, de RSL-standaard laat uitgevers crawlers laten betalen, en Reddit gaat inloggen verplichten. Tegelijk loopt in de VS de discussie over wat AI-bedrijven wettelijk mogen, zoals in de auteursrechtzaken waarin Wikimedia zich nu mengt.

Wanneer je het token concreet kunt invoeren en hoe de exacte regel eruitziet, hangt af van de verdere uitwerking bij de IETF. Tot die tijd blijven de bestaande, per bedrijf ingestelde blokkades nodig.