TLDR : Cloudflare는 Perplexity가 Google Chrome으로 위장한 봇을 사용해 금지된 콘텐츠에 접근하고 있다고 비난했습니다. Perplexity는 이를 부인하며, 사용자의 요청에 따른 작동 및 데이터 저장이 없음을 주장합니다. Cloudflare는 Perplexity를 검증된 봇 목록에서 제거하고 보호 조치를 강화했습니다.
인터넷 인프라 제공업체 Cloudflare는 Perplexity가 '대화형 응답 엔진'을 지원하기 위해 의심스러운 인덱싱 관행을 사용하고 있다고 주장합니다. Cloudflare의 공식 블로그에 게시된 보고서에 따르면 이 스타트업은 macOS에서 Google Chrome으로 위장한 봇을 사용하여 명시적으로 금지된 콘텐츠에 접근하고 있다고 합니다.
Cloudflare는 고객들로부터 Perplexity의 크롤러를 robots.txt 파일이나 방화벽 규칙(WAF)을 통해 차단했음에도 불구하고 회사가 여전히 그들의 콘텐츠에 접근하고 있다는 불만을 접수했다고 밝혔습니다.
Cloudflare는 일련의 테스트를 수행하기로 결정하고 이 목적을 위해 새로운 사이트를 생성하고 Perplexity의 공식 봇에 대한 동일한 접근 제한 조치를 취했습니다. 갓 등록된 이 사이트들은 어떤 검색 엔진에도 인덱싱되지 않았습니다. 그럼에도 불구하고 Perplexity는 호스팅된 콘텐츠에 대한 자세한 정보를 제공할 수 있었습니다.
Cloudflare는 PerplexityBot 및 Perplexity-User가 차단되었을 때 플랫폼이 사용자 에이전트(웹 사이트에 누군지 알리기 위해 보내는 식별 문자열)를 수정하고, IP 주소를 회전시키며, ASN(자율 시스템 번호)을 변경하여 차단 조치를 우회하는 것을 관찰했다고 밝혔습니다.
회사는 사용된 IP 주소가 Perplexity가 공식적으로 제공한 범위에 포함되지 않았다고 덧붙이며, '이 활동은 수만 개의 도메인과 하루에 수백만 건의 요청에서 관찰되었습니다.'라고 설명했습니다.
웹의 작동이 신뢰에 기반하고 있다는 점을 상기하며, Cloudflare는 Perplexity를 검증된 봇 목록에서 제거하고 은밀한 크롤러를 차단하기 위한 보호 조치를 강화하기로 결정했습니다.
Perplexity의 변호
Perplexity는 은밀한 수집이나 robots.txt 우회에 대한 비난을 부인하며, 전통적인 크롤러와 달리 사용자의 요청에 따라 작동하며 데이터 인덱싱이나 저장을 하지 않는다고 주장합니다. Perplexity는 Cloudflare의 분석이 자사의 다양한 서비스 간의 기술적 혼동에 기반하고 있으며, AI 에이전트의 작동 방식에 대한 깊은 오해로 인해 합법적인 트래픽을 판단할 능력을 의심한다고 밝혔습니다.