Acuzațiile Cloudflare
Cloudflare a acuzat motorul de căutare AI Perplexity că a accesat în mod clandestin website-uri, ignorând metodele specifice de blocare ale acestora. Aceasta nu a fost o situație clară de comportament necorespunzător al unui crawler AI.
Apărarea Perplexity
Mulți au venit în apărarea Perplexity, argumentând că accesarea site-urilor în defiance față de dorințele proprietarilor este controversată, dar acceptabilă. Aceasta este o controversă care va continua să crească pe măsură ce agenții AI se răspândesc pe internet. Întrebarea centrală este dacă un agent care accesează un site în numele utilizatorului său ar trebui să fie tratat ca un bot sau ca un om care face aceeași solicitare.
Metodologia Cloudflare
Cloudflare a creat un caz de testare prin configurarea unui nou site cu un domeniu nou, care nu fusese niciodată accesat de vreun bot, și prin stabilirea unui fișier robots.txt care bloca specific boturile AI cunoscute ale Perplexity. Când Perplexity a fost întrebat despre conținutul acestui site, a răspuns la întrebare. Cercetătorii Cloudflare au descoperit că motorul de căutare AI a folosit un browser generic destinat să imite Google Chrome pe macOS, când crawlerul său a fost blocat. CEO-ul Cloudflare, Matthew Prince, a declarat că unele companii AI „reputable” acționează mai degrabă ca hackeri nord-coreeni.
Controversa în jurul Perplexity
Criticii lui Prince au subliniat că ceea ce Cloudflare a documentat era AI-ul accesând un site public la solicitarea unui utilizator. Un utilizator pe Hacker News a menționat că, dacă un om poate solicita un site, atunci ar trebui să fie arătat conținutul, întrebând de ce accesarea website-ului de către un LLM ar trebui să fie tratată diferit față de un browser web obișnuit.
Răspunsul Perplexity
Un purtător de cuvânt al Perplexity a negat că boturile ar fi ale companiei și a numit postarea blogului Cloudflare o campanie de vânzări. Ulterior, Perplexity a publicat un blog în apărarea sa, afirmând că comportamentul contestat provenea de la un serviciu terț utilizat ocazional. Perplexity a subliniat că diferența între crawling-ul automatizat și fetch-ul condus de utilizator nu este doar tehnică, ci și despre cine are dreptul să acceseze informațiile de pe web.
Comportamentele altor companii AI
Cloudflare a folosit OpenAI ca exemplu de companie AI care respectă bunele practici, afirmând că aceasta nu încearcă să evite directivele robots.txt sau blocările la nivel de rețea. OpenAI utilizează un standard numit Web Bot Auth, care dezvoltă o metodă criptografică pentru identificarea cererilor web ale agenților AI.
Impactul activității boturilor asupra internetului
Activitatea boturilor a remodelat internetul, cu boturi care caută să extragă cantități mari de conținut pentru a antrena modele AI. Conform raportului Imperva, activitatea boturilor depășește acum activitatea umană, cu traficul AI reprezentând peste 50%. Această activitate include tot felul de acțiuni malițioase, cum ar fi scraping-ul persistent și încercările de autentificare neautorizată. Până la apariția LLM-urilor, internetul accepta că website-urile pot și trebuie să blocheze majoritatea activității boturilor.
Consecințele pentru site-uri
Pe măsură ce agenții AI devin din ce în ce mai populari, întrebarea se pune dacă site-urile își vor dăuna intereselor comerciale prin blocarea acestora. Această dilemă a fost evidentă în comentariile utilizatorilor, unii dorind ca Perplexity să acceseze orice conținut public în numele lor, în timp ce alții subliniau că proprietarii de site-uri doresc să primească vizitatori direcți și venituri din publicitate.
Concluzie
Controversa dintre Perplexity și Cloudflare subliniază complexitatea reglementării accesului AI la informațiile de pe web și impactul semnificativ pe care activitatea boturilor îl are asupra economiei online.
