În scurt : Cloudflare, un furnizor de infrastructură Internet, acuză Perplexity de practici de indexare discutabile, utilizând boți care se dau drept Google Chrome pentru a accesa conținuturi interzise crawler-urilor sale. În ciuda măsurilor de blocare, Perplexity a reușit să obțină informații detaliate despre site-uri nou create, determinând Cloudflare să își consolideze protecțiile și să elimine Perplexity din lista sa de boți verificați.
Cloudflare, furnizor de infrastructură Internet, susține că a identificat practici de indexare discutabile din partea Perplexity, pentru a alimenta ceea ce numește "motorul său de răspuns conversațional". Conform unui raport publicat pe blogul său oficial, start-up-ul ar utiliza boți care se dau drept Google Chrome pe macOS, pentru a accesa conținuturi interzise explicit crawler-urilor sale declarate.
Cloudflare spune că a primit plângeri de la clienți care, deși au blocat specific crawler-ele Perplexity prin fișiere robots.txt sau reguli de firewall (WAF), au constatat că firma avea în continuare acces la conținuturile lor.
A decis să efectueze o serie de teste și, în acest scop, a creat noi site-uri și a implementat aceleași măsuri de restricționare a accesului pentru boții oficiali ai Perplexity. Tocmai înregistrate, aceste site-uri nu erau indexate de niciun motor de căutare. Cu toate acestea, Perplexity a reușit să le furnizeze informații detaliate despre conținutul găzduit.
Cloudflare indică faptul că atunci când PerplexityBot și Perplexity-User erau blocați, platforma își adapta metodele: modificarea agentului utilizator (șir de identificare trimis pentru a indica site-ului web cine este), rotația adreselor IP și schimbarea ASN (număr de identificare a unui sistem autonom) pentru a eluda măsurile de blocare.
Compania precizează că adresele IP utilizate nu figurau în intervalul comunicat oficial de Perplexity, adăugând că "această activitate a fost observată pe zeci de mii de domenii și milioane de cereri pe zi".
Amintind că funcționarea web-ului se bazează pe încredere, a decis să elimine Perplexity din lista sa de boți verificați și să își consolideze protecțiile pentru a bloca crawler-ele ascunse.
Apărarea Perplexity
Aceasta din urmă neagă acuzațiile de colectare ascunsă sau de eludare a robots.txt, și afirmă că, spre deosebire de crawler-ele clasice, agenții săi operează doar la cererea utilizatorului, fără indexare sau stocare de date. Potrivit acesteia, analiza Cloudflare se bazează pe o confuzie tehnică între diferitele sale servicii și o neînțelegere profundă a modului de funcționare a agenților IA, punând la îndoială capacitatea sa de a judeca traficul legitim.