管理ダッシュボードでは、クローラートラフィックの可能性が高いもの(実際のブラウザJavaScriptを使用するが人間ではない訪問者である自動化ボットやスクレーパー)を識別し、そうしたページビューを本来のトラフィック数から分離できるようになりました。
このトピックでは、こうしたトラフィックの識別にどのようなアプローチを採用したか、また今日からこの機能を有効にする方法についてご紹介します。
変更点
Discourseでは従来、標準的なボット用ユーザーエージェント(例:Googlebot)で自らを識別する Crawlers(クローラー)を、サイトトラフィックデータの別カテゴリーに分類してフィルタリングしてきました。しかし、最近の自動化トラフィックはより巧妙になっています。完全なブラウザを実行し、JavaScriptを実行し、あたかも実際の訪問であるかのようにページビューデータに紛れ込みます。管理者は Anonymous(匿名)ページビューの急増を確認することがありましたが、それは実際にはスクレーパーによるものであり、AIボットによって水増しされた訪問者数だったわけですが、そうしたものと真の匿名(つまりログインしていない)の人間によるトラフィックとの違いを判断する方法がありませんでした。
今回のアップデートでは、サイトトラフィックデータに Likely Crawlers(クローラーの可能性が高いもの)というカテゴリーが追加されました。改善されたクローラー検出が有効になると、当社のヒューリスティックが自動化されたものとフラグを立てるページビューは個別に分類され、人間によるトラフィックの集計がより正確になります。
検出の仕組み
このシステムは、一連の行動シグナルを使用し、各ブラウザページビューにスコアを付けます:
- 自動化ユーザーエージェント — UAがヘッドレスブラウザや自動化ツール(HeadlessChrome、Playwright、Puppeteer、Selenium、PhantomJS、jsdom)を明確に名指ししている
- データセンターASN — IPが主要なクラウドやホスティングプロバイダーのアドレス空間内にある
- 速度 — IPとユーザーエージェントの組み合わせが1時間あたり異常なほど多くのページビューを生成している
- 迅速なナビゲーション — ページビュー間の中央値の間隔が5秒未満である
- セッションの頻繁な入れ替わり — 同じIPとユーザーエージェントの組み合わせから、短いセッション(大半が1ページのみ)が多数発生している
- エンゲージメントの欠如 — セッションおよびその隣接セッションにおいて、人間らしいインタラクション(マウス移動、キーストローク、スクロール)が記録されていない。このシグナルは、ログイン済みトラフィックよりも匿名トラフィックにおいて重み付けが高くなっています。
- 不正なリファラ比率高い — 大半のページビューがリファラなし、または外部リファラで到着しており、サイト内をナビゲーションするのではなく、URLへの直接アクセスを示唆している
- 単一の直接リクエスト — リファラなしでエンゲージメントがない単一のページビュー。URLにロケールパラメータが含まれている場合、スコアが高くなります
- 古いChromium — エンゲージメントシグナルがなく、バージョンが古いChrome
- 分散トラフィック — 一部のクローラーはIPアドレスをローテーションし、ほぼすべてのページビューで新しいセッションを開始します。ユーザーエージェントを共有し、かつネットワークまたは外部リファラソースを共有する匿名訪問のパターンを検出するようにしました
複数のシグナルからのスコアは加算され、ページビューが上記のシグナルのうち一定の数を満たすと、likely crawler(クローラーの可能性が高いもの)として分類されます。
コミュニティでの改善クローラー検出の有効化
現時点では、これは実験的な変更とみなされています。 検出ヒューリスティックはまだ調整中であり、フィードバックをお待ちしています。
これを有効にするには、管理エリアの Upcoming changes(今後の変更)ページにアクセスし、Improved crawler detection(改善クローラー検出)項目を見つけてください。Enabled for…(有効化対象)フィールドを更新してサイトにこの機能を導入します。
有効にすると、管理ダッシュボードの「サイトトラフィック」セクションに、クローラーの可能性が高いものが別カテゴリーとして表示されます。
重要な注意事項:
- これは完全な科学ではなく、当社はヒューリスティックを引き続き時間とともに磨き上げていきます。ただし、計算を更新しても過去データの遡及補完(バックフィル)は行いません。
- ページビューをクローラーの可能性が高いものとして分類しても、リクエストを拒否したりレート制限を行ったりしません。
- クローラーの可能性が高いページビューは、リファラ、国、およびその他のトラフィック内訳から除外されます。これは既存の既知クローラーの処理方法と同じです。
- 検出ルールの変更により、すべての過去トラフィックが自動的に再処理されるわけではありません。
ご意見をお聞かせください
皆さまからのフィードバックをお待ちしています。特に、異常なトラフィックパターンや説明のつかない急増に気づいたコミュニティからのフィードバックを歓迎します。サイトにとって数値は正しく見えていますか? 実ユーザーと思われる訪問がフラグを立てられていませんか? 見ている内容をこのトピックで共有してください。

