A négy nagy technológiai vállalat elfogadta az Internet Engineering Task Force felületén benyújtott új javaslatot, amely leegyszerűsíti a webhelyek tartalomvédelmét. A weboldalak üzemeltetőinek ezentúl nem kell külön-külön letiltaniuk az egyes cégek adatgyűjtő robotjait. Elegendő egyetlen __usage_ai-training megnevezésű szabályzati tokent hozzáadniuk a webhelyük robots.txt fájljához a tiltáshoz.
Az új szabály kizárólag a generatív modellek betanítására vonatkozik, nem érinti a keresési indexelést és az oldalak feltérképezését sem. A cégek fokozatosan vezetik be a támogatást: az Anthropic már elindította, az OpenAI a következő hónapokban, míg a Google és a Microsoft 2027 elején élesíti a rendszert. A Microsoft emellett külön választja az MI-tanítást és a keresési válaszok generálásához használt adatgyűjtést.
A rendszer alkalmazása önkéntes alapú, és nem vonatkozik visszamenőleg a korábban már összegyűjtött adatokra. A Meta jelezte a javaslat támogatását, de a funkció bevezetését egyelőre nem vállalta.
Az eredeti szöveg (Perplexity Discover)
A legnagyobb MI-fejlesztők közül négy is tiszteletben tart majd egyetlen robots.txt-jelzést, amellyel a weboldalak megtilthatják, hogy tartalmaikat generatív MI tanítására használják. A kiadóknak így nem kell majd egyenként letiltaniuk az egyes cégek crawlereit. A Google, az OpenAI, az Anthropic és a Microsoft október 30-án, pénteken vállalta, hogy támogat egy közös, az Internet Engineering Task Force-nál javasolt „szabályzati tokent” (policy token) – írta a The Verge a Search Engine Roundtable korábbi beszámolójára hivatkozva.
A cégek eltérő időpontokban kapcsolják be a funkciót. Az Anthropic már elkezdte támogatni az irányelvet, a Microsoft 2027. február 1-jén kezd, a Google 2027 elején követi, az OpenAI pedig azt ígérte, hogy a következő hónapokban bevezeti – írja az Engadget.
A javaslat Kevin Kelleytől, az Anthropic szabványokért felelős műszaki vezetőjétől származik. A weboldalak üzemeltetői egy robots.txt-csoportot adnak hozzá, amelyben a felhasználói ügynök (user agent) neve „__usage_ai-training”, utána pedig Disallow szabályokat írnak. Az Allow sorokkal egyes mappákat, például a sajtóanyagokat, megnyithatják a modellek betanítása előtt. A token kizárólag a betanításra vonatkozik. Nem a feltérképezést szabályozza, és a keresési indexelést sem érinti.
Az OpenAI honlapján megjelent bejegyzésben a cég „önkéntes erőfeszítésnek” nevezte a kezdeményezést, és azt írta, hogy az új jelzés „nem váltja ki azokat a vezérlőket, amelyeket már most is biztosítunk a robots.txt-n keresztül”. A Google-től John Mueller úgy fogalmazott, hogy a weboldalak egy közös tokennel „átfogó beállításokat adhatnak meg az érintett MI-szolgáltatók számára”. Hozzátette: ha egy oldal ezzel a tokennel tiltja le a betanítást, a Google-Extended nevét pedig nem szerepelteti, a Google ezt Google-Extended blokkolásként kezeli – írja a Search Engine Land.
A Microsoft a másik háromnál is tovább ment. A Bing külön beállításokat kínál majd az MI-tanításra és az MI-alapozásra (grounding), vagyis arra, hogy az oldalakat felhasználhatják-e MI-válaszok előállításához. A „Korlátozott alapozás” (Limited Grounding) opció lehetővé teszi, hogy a webhelyek támogassák a Microsoft saját MI-termékeit, a harmadik felek alapozási szolgáltatásait viszont elutasítsák. A Microsoft emellett ütemtervet is megadott: az ideiglenes vezérlők 2026. december 15-től érhetők el, a régebbi NoArchive vagy NoCache címkéket még használó webhelyeknek pedig 2027. március 1-jéig kell váltaniuk. A Bing blogja szerint ezek a döntések egyike sem befolyásolja, hogy egy oldal megjelenhet-e a hagyományos keresési találatok között.
Az irányelv nem teheti meg nem történtté a korábbi adatgyűjtést, hiszen a már összegyűjtött tartalmak a cégeknél maradnak. Azt sem akadályozza meg, hogy a crawlerek letöltsék az oldalakat, a szabályok betartása pedig továbbra is önkéntes. A Meta közölte, hogy támogatja az elképzelést, de a bevezetését nem vállalta. Maga a tervezet is csak az IETF AI Preferences munkacsoportjának még készülő javaslata, nem pedig kész szabvány.
