Cloudflare dezvăluie o platformă prin care site-urile pot taxa roboții AI pentru extragerea de date
Cloudflare, un furnizor de infrastructură cloud care deservește 20% din internet, a anunțat lansarea unei noi piețe care reimaginează relația dintre proprietarii de site-uri și companiile de AI, oferind editorilor un control mai mare asupra conținutului lor.
În ultimul an, Cloudflare a lansat instrumente pentru editori în scopul de a răspunde creșterii rapide a roboților AI, inclusiv o soluție cu un singur clic pentru a bloca toți roboții AI, precum și un tablou de bord pentru a vizualiza cum aceștia vizitează site-urile. Într-un interviu din 2024, CEO-ul Cloudflare, Matthew Prince, a declarat că aceste produse reprezintă o fundație pentru un nou tip de piață în care editorii își pot distribui conținutul către companiile de AI și pot fi compensați pentru acesta.
Noul marketplace se numește Pay per Crawl și este lansat în beta privată. Proprietarii de site-uri care participă la experiment pot alege să permită roboților AI să extragă date de pe site-ul lor la o rată stabilită — un micropayment pentru fiecare „crawling”. Alternativ, aceștia pot permite roboților AI să extragă date gratuit sau îi pot bloca complet. Cloudflare susține că instrumentele sale vor permite proprietarilor de site-uri să vadă dacă roboții extrag date pentru antrenarea AI, pentru a apărea în răspunsurile AI la căutări sau pentru alte scopuri.
La scară, piața Cloudflare reprezintă o idee mare care ar putea oferi editorilor un model de afaceri potențial pentru era AI, plasând Cloudflare în centrul acesteia. Lansarea pieței are loc într-un moment în care editorii de știri se confruntă cu întrebări existențiale despre cum să ajungă la cititori, în contextul în care traficul din Google Search scade, iar chatbot-urile AI câștigă popularitate.
Nu există o soluție clară pentru cum vor supraviețui editorii de știri în era AI. Unii, cum ar fi New York Times, au intentat procese împotriva companiilor de tehnologie pentru antrenarea modelelor lor AI pe articolele de știri fără permisiune. În schimb, alți editori au încheiat contracte pe termen lung pentru a-și licenția conținutul pentru antrenarea modelelor AI și pentru a avea conținutul lor inclus în răspunsurile chatbot-urilor AI.
Cu toate acestea, doar editorii mari au încheiat astfel de acorduri de licențiere AI, iar nu este clar dacă acestea oferă surse semnificative de venit. Cloudflare își propune să creeze un sistem mai durabil în care editorii își pot stabili prețurile în propriile condiții.
Compania a anunțat, de asemenea, că site-urile noi configurate cu Cloudflare vor bloca, în mod implicit, toți roboții AI. Proprietarii de site-uri vor trebui să acorde permisiunea pentru anumite crawling-uri AI — o schimbare pe care Cloudflare o consideră că va oferi fiecărui domeniu nou „controlul implicit”.
Mai mulți editori mari, inclusiv Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK și Fortune, s-au alăturat Cloudflare pentru a bloca roboții AI în mod implicit, susținând astfel obiectivul mai larg al companiei de a adopta o abordare „bazată pe permisiune” pentru crawling.
Modelul de afaceri pe care mulți dintre acești editori s-au bazat timp de decenii devine treptat nesigur. Istoric, editorii online au permis Google să extragă date de pe site-urile lor în schimbul referințelor în căutările Google, ceea ce s-a tradus în trafic și, în cele din urmă, venituri din publicitate.
Cu toate acestea, datele recente de la Cloudflare sugerează că editorii ar putea obține o afacere mai proastă în era AI decât în era Google Search. În luna iunie, Cloudflare a descoperit că crawler-ul Google a extras date de pe site-uri de 14 ori pentru fiecare referință pe care le-a oferit. Între timp, crawler-ul OpenAI a extras date de 17.000 de ori pentru fiecare referință, iar cel al Anthropic a extras date de 73.000 de ori pentru fiecare referință.
În același timp, OpenAI și Google dezvoltă agenți AI care sunt proiectați să viziteze site-uri în numele utilizatorilor, să colecteze informații și să le livreze direct utilizatorilor. O viitoare utilizare mainstream a acestor instrumente are implicații uriașe pentru editorii care depind de vizitele cititorilor pe site-urile lor.
Cloudflare subliniază că „adevăratul potențial” al Pay per Crawl ar putea apărea într-o „viitoare agenție”. Cloudflare își imaginează un viitor în care un paywall agentic ar putea funcționa la marginea rețelei, complet programatic, permițând utilizatorilor să aloce un buget pentru a achiziționa cele mai bune și relevante conținuturi.
Pentru a participa la piața experimentală Cloudflare, companiile AI și editorii trebuie să fie amândouă configurate cu conturi Cloudflare. În conturile lor, ambele părți pot stabili tarifele la care doresc să cumpere și să vândă un „crawl” al conținutului editorului. Cloudflare acționează ca intermediar în aceste tranzacții, percepând taxe de la compania AI și distribuind câștigurile către editor.
Un purtător de cuvânt al Cloudflare a declarat că nu sunt implicate stablecoins sau criptomonede în Pay per Crawl, deși mulți sugerează că moneda digitală ar fi perfectă pentru un astfel de sistem.
Marketplace-ul Cloudflare reprezintă o viziune îndrăzneață pentru viitor, care necesită implicarea multor editori și companii AI. Totuși, nu există nicio garanție că editorii vor obține o afacere bună, iar convingerea firmelor AI de a participa ar putea fi dificilă, având în vedere că acestea extrag în prezent conținut gratuit.
Cu toate acestea, Cloudflare pare a fi una dintre puținele companii în măsură să facă o piață de acest tip să devină realitate.
