AI-j giants ondersteunen nieuwe standaard tegen AI-scraping

Anthropic, Open AI, Google en Microsoft hebben zich achter een nieuwe standaard geschaard die het eenvoudiger moet maken voor websites om AI-bedrijven te verhinderen hun modellen te trainen op hun inhoud. De oplossing voegt een gezamenlijke signaal toe dat in het robots.txt-bestand van de website wordt geplaatst, dat gebruikt wordt om te bepalen welke geautomatiseerde zoekmachines een site mogen bezoeken en indexeren.

Websites moeten nu hun wensen voor elk afzonderlijk AI-bedrijf opgeven. De nieuwe standaard maakt het mogelijk om meerdere actoren tegelijk te weigeren. Anthropic heeft de ondersteuning al ingevoerd en Open AI is van plan dit in de komende maanden te doen. Google en Microsoft worden verwacht dit in 2027 ook te doen. Meta heeft ook steun voor de standaard geuit maar heeft nog niet beloofd deze te volgen.