In kort : Cloudflare, een leverancier van internetinfrastructuur, beschuldigt Perplexity van dubieuze indexeringspraktijken, door gebruik te maken van bots die zich voordoen als Google Chrome om toegang te krijgen tot inhoud die verboden is voor hun crawlers. Ondanks blokkademaatregelen slaagde Perplexity erin gedetailleerde informatie te verkrijgen over nieuw gecreëerde sites, wat ertoe leidde dat Cloudflare zijn bescherming versterkte en Perplexity van zijn lijst met geverifieerde bots verwijderde.
Cloudflare, een leverancier van internetinfrastructuur, beweert dat Perplexity zich schuldig maakt aan dubieuze indexeringspraktijken om wat zij noemen "zijn conversatie-antwoordmotor" van brandstof te voorzien. Volgens een rapport gepubliceerd op hun officiële blog, zou de startup bots gebruiken die zich voordoen als Google Chrome op macOS, om toegang te krijgen tot inhoud die expliciet verboden is voor hun gedeclareerde crawlers.
Cloudflare zegt klachten te hebben ontvangen van klanten die, hoewel ze specifiek Perplexity's crawlers hadden geblokkeerd via robots.txt-bestanden of firewallregels (WAF), ontdekten dat het bedrijf nog steeds toegang had tot hun inhoud.
Het besloot een reeks tests uit te voeren en creëerde hiertoe nieuwe sites en implementeerde dezelfde toegangsbeperkingen voor de officiële bots van Perplexity. Deze net geregistreerde sites waren door geen enkele zoekmachine geïndexeerd. Desondanks kon Perplexity gedetailleerde informatie verstrekken over de gehoste inhoud.
Cloudflare geeft aan te hebben waargenomen dat wanneer PerplexityBot en Perplexity-User werden geblokkeerd, het platform zijn methoden aanpaste: wijziging van de user agent (identificatiestring die naar de website wordt gestuurd om aan te geven wie hij is), IP-adresrotatie en verandering van ASN (autonoom systeemnummer) om blokkades te omzeilen.
Het bedrijf merkt op dat de gebruikte IP-adressen niet binnen het officieel door Perplexity gecommuniceerde bereik vielen, eraan toevoegend dat "deze activiteit werd waargenomen op tienduizenden domeinen en miljoenen verzoeken per dag".
Herinnerend dat het functioneren van het web gebaseerd is op vertrouwen, heeft het daarom besloten Perplexity van zijn lijst van geverifieerde bots te verwijderen en zijn bescherming te versterken om stealth-crawlers te blokkeren.
De verdediging van Perplexity
Perplexity ontkent de beschuldigingen van stealth-verzameling of het omzeilen van robots.txt, en beweert dat, in tegenstelling tot traditionele crawlers, hun agents alleen op verzoek van de gebruiker opereren, zonder indexering of gegevensopslag. Volgens hen is Cloudflare's analyse gebaseerd op een technische verwarring tussen hun verschillende diensten en een diepgaande misvatting van de werking van AI-agents, wat hun vermogen om legitiem verkeer te beoordelen in twijfel trekt.