تدعي Cloudflare، وهي مزود للبنية التحتية للإنترنت، أنها حددت ممارسات فهرسة مشبوهة من قبل Perplexity، لدعم ما تسميه "محركها للإجابة التفاعلية". وفقاً لتقرير منشور نُشر على مدونتها الرسمية، تستخدم الشركة الناشئة bots تتنكر في شكل Google Chrome على macOS للوصول إلى محتويات محظورة صراحة على crawlers المعلنة.
تقول Cloudflare إنها تلقت شكاوى من عملاء، على الرغم من حظرهم crawlers الخاصة بـ Perplexity عبر ملفات robots.txt أو قواعد جدار الحماية (WAF)، إلا أنهم لاحظوا أن الشركة لا تزال تستطيع الوصول إلى محتوياتهم.
قررت الشركة إجراء سلسلة من الاختبارات، ولهذا الغرض، أنشأت مواقع جديدة وطبقت نفس القيود على bots الرسمية لـ Perplexity. على الرغم من أن هذه المواقع الجديدة لم تكن مفهرسة من قبل أي محرك بحث، تمكنت Perplexity من تقديم معلومات مفصلة حول المحتوى المستضاف.
تشير Cloudflare إلى أنها لاحظت أنه عندما يتم حظر PerplexityBot وPerplexity-User، تقوم المنصة بتكييف أساليبها: تعديل وكيل المستخدم (سلسلة التعريف المرسلة للإشارة إلى الموقع الإلكتروني بهويتها)، تدوير عناوين IP وتغيير ASN (رقم تعريف النظام المستقل) لتجاوز إجراءات الحظر.
تشير الشركة إلى أن عناوين IP المستخدمة لم تكن ضمن النطاق الذي تم الإعلان عنه رسمياً من قبل Perplexity، مضيفة أن "هذا النشاط تم ملاحظته على عشرات الآلاف من النطاقات وملايين الطلبات يومياً".
مذكرة بأن عمل الويب يعتمد على الثقة، قررت إزالة Perplexity من قائمتها لـbots الموثوقة وتعزيز حماية موقعها لحظر crawlers الخفية.
دفاع Perplexity
تنفي الشركة الأخيرة الاتهامات بجمع البيانات خفية أو تجاوز robots.txt، وتؤكد أن وكلائها، على عكس crawlers التقليدية، يعملون فقط عند طلب المستخدم، دون فهرسة أو تخزين للبيانات. وفقاً لها، يستند تحليل Cloudflare إلى خلط تقني بين خدماتها المختلفة وسوء فهم عميق لكيفية عمل وكلاء الذكاء الاصطناعي، مما يشكك في قدرتها على الحكم على حركة المرور الشرعية.