CloudflareがPerplexityの「ステルスクローラー」を告発、robots.txt無視でアクセス回避か

2025年8月4日、米Cloudflareは公式ブログで、AI検索サービスPerplexityがウェブサイトの「クロール禁止」指示を回避するために、未申告のクローラーと偽装したユーザーエージェントを使っていると発表しました。Cloudflareはこの行為を「ステルスクロール」と呼び、同社のボット管理システムで検知したと説明しています。

何が問題視されたのか

Cloudflareによると、Perplexityはまず自社が公表している「PerplexityBot」「Perplexity-User」といったクローラーでアクセスを試行し、遮断されると今度はGoogle Chromeを装った一般ブラウザーのユーザーエージェントに切り替え、さらにIPアドレスやASN（自律システム番号）もローテーションしてブロックを回避していたといいます。1日に数百万リクエストが確認され、数万ドメインに影響が及んでいるとされています。

実験で明らかになった回避行動

Cloudflareは新規取得したテストドメインにrobots.txtで全面クロール禁止を設定し、WAFでもPerplexityの公式IPレンジを遮断した上で検証しましたが、Perplexityは依然としてページ内容を取得し、回答を生成できたと報告しています。

Cloudflareの対策

同社はPerplexityを「Verified Bot」のリストから除外し、管理ルールにステルスクローラー向けの新シグネチャを追加。Bot Management利用者（無料プランを含む）は新ルールで自動的に遮断またはチャレンジを実施できるようになります。

Perplexity側の反応

米 The Verge の取材に対し、Perplexity広報は「Cloudflareの主張は宣伝目的のスタントだ」と反論し、ブログ記事には誤解が含まれているとコメントしました。

背景にある「AIスクレイピング」規制強化の流れ

Cloudflareは7月に「Content Independence Day」を宣言し、AIクローラーに対し有料化やブロックを容易にする機能を提供するなど、出版社やサイト運営者の権利保護を強化しています。今回の措置は、その延長線上で「好ましくないAIクローラー」への対抗策を具体化した形です。

今後の影響

サイト運営者: 既にCloudflare Bot Managementを導入していれば追加対応なしで防御可能ですが、未導入の場合はWAFルール設定やrobots.txt確認が推奨されます。

AI業界: クローラーの透明性確保とrobots.txt順守が一層求められ、OpenAIのようにIPレンジや目的を明示する姿勢が事実上の標準になる見通しです。

Perplexity: 信頼性確保のため、クローラー運用ポリシーの再評価と公開情報の拡充が急務となります。

CloudflareとPerplexityの主張には隔たりがあり、今後の技術的・法的議論の行方が注目されます。

参考情報：

Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives