Kısa : Cloudflare, bir internet altyapı sağlayıcısı, Perplexity'yi şüpheli indeksleme uygulamalarıyla suçluyor; Google Chrome gibi davranan botlar kullanarak gezginlere yasaklanmış içeriklere erişiyor. Engelleme önlemlerine rağmen, Perplexity yeni oluşturulmuş siteler hakkında ayrıntılı bilgiler elde etmeyi başardı ve Cloudflare, korumalarını güçlendirip Perplexity'yi doğrulanmış botlar listesinden çıkardı.
Cloudflare, internet altyapı sağlayıcısı, Perplexity'nin 'söyleşi motorunu' beslemek için şüpheli indeksleme uygulamaları tespit ettiğini iddia ediyor. Resmi blogunda yayınladığı rapora göre, startup, ilan edilen gezginlerini engelleyen içeriklere erişmek için macOS üzerinde Google Chrome olarak görünen botlar kullanıyor.
Cloudflare, Perplexity'nin gezginlerini robots.txt dosyaları veya güvenlik duvarı kuralları (WAF) ile özellikle engellemiş olan müşterilerden şikayetler aldığını, ancak şirketin içeriklerine hala erişim sağladığını belirtti.
Bir dizi test yapmaya karar vererek, yeni siteler oluşturdu ve Perplexity'nin resmi botları için aynı erişim kısıtlama önlemlerini uyguladı. Henüz kaydedilmiş olan bu siteler herhangi bir arama motoru tarafından indekslenmemişti. Buna rağmen, Perplexity barındırılan içerikle ilgili ayrıntılı bilgiler sağlayabildi.
Cloudflare, PerplexityBot ve Perplexity-User engellendiğinde, platformun yöntemlerini uyarladığını; kullanıcı ajanını (web sitesine kim olduğunu bildirmek için gönderilen tanımlayıcı dizi), IP adreslerini döndürdüğünü ve engelleme önlemlerini aşmak için ASN'yi (bir otonom sistemin tanımlama numarası) değiştirdiğini gözlemlediğini belirtti.
Şirket ayrıca kullanılan IP adreslerinin Perplexity tarafından resmi olarak bildirilen aralıkta yer almadığını belirtti ve 'bu faaliyetin on binlerce alan adı ve günde milyonlarca istek üzerinde gözlemlendiğini' ekledi.
Web'in işleyişinin güvene dayandığını hatırlatarak, Perplexity'yi doğrulanan botlar listesinden çıkarmaya ve gizli gezginleri engellemek için korumalarını güçlendirmeye karar verdi.
Perplexity'nin savunması
Perplexity, gizli toplama veya robots.txt engellemelerini aşma suçlamalarını reddetti ve klasik gezginlerin aksine, ajanlarının yalnızca kullanıcı talebi üzerine çalıştığını, herhangi bir veri indekslemesi veya saklaması yapmadığını iddia etti. Cloudflare'in analizinin, farklı hizmetleri arasında teknik bir karışıklığa dayandığını ve AI ajanlarının çalışma şeklini derinden anlamadığını, meşru trafiği yargılama kapasitesini sorguladığını belirtti.