管理ダッシュボードで、クローラー由来のトラフィックの可能性が高いアクセス（リアルブラウザのJavaScriptを使用するものの、人間ではない訪問者である自動化ボットやスクレイパー）を識別し、それらのページビューを通常のトラフィック数値から分離できるようになりました。
本トピックでは、このトラフィックの識別アプローチと、今日からこの機能を有効にする方法について共有します。
変更点
Discourseは従来、標準的なボット用ユーザーエージェント（例えばGooglebot）を名乗るCrawlers（クローラー）を、サイトトラフィックデータ内の別のカテゴリに分類してフィルタリングしていました。しかし、現代の自動化トラフィックはより巧妙になりました。フルブラウザを実行し、JavaScriptを実装し、まるで実際の訪問であるかのようにページビューデータに紛れ込みます。管理者は、Anonymous（匿名）ページビューのトラフィックスパイクを確認しても、それがスクレイパーであることを判別できなかったり、AIボットによって訪問者数が水増しされていたりする場合があり、それらを真の匿名（つまり未ログインの）人間トラフィックと区別する手段がありませんでした。
このアップデートにより、サイトトラフィックデータにLikely Crawlers（クローラーの可能性が高い）というカテゴリが追加されました。改善されたクローラー検出が有効な場合、当社のヒューリスティックが自動化の可能性が高いとフラグを立てたページビューは別枠で集計されるため、人間によるトラフィック数値がより正確になります。
検出の仕組み
システムは、一連の行動シグナルを用いて各ブラウザのページビューをスコアリングします。
- 自動化ユーザーエージェント — UAがヘッドレスブラウザや自動化ツール（HeadlessChrome、Playwright、Puppeteer、Selenium、PhantomJS、jsdom）を明示的に名乗っている
- 検証済みクローラーASN — IPの自律システム番号（ASN）が既知のクローラーネットワーク（Baidu、Ahrefs、Yandex、Internet Archiveなど）に属している
- データセンターASN — IPが主要なクラウドまたはホスティングプロバイダーのアドレス空間内にある
- 速度 — IP + ユーザーエージェントによる1時間あたりのページビュー数が異常に多い
- 高速ナビゲーション — ページビュー間の中央値のインターバルが5秒未満
- セッションチャーン — 同じIP + ユーザーエージェントから、多くの短いセッション（大部分が1ページのみ）が発生している
- エンゲージメントの欠如 — セッションおよびその隣接セッションにおいて、人間のようなインタラクション（マウス移動、キーストローク、スクロール）が記録されていない。このシグナルは、ログイン済みトラフィックよりも匿名トラフィックに対してより重み付けされます。
- 悪いリファラー比 — 大部分のページビューがリファラーなし、または外部からのリファラーで到来しており、サイト内ナビゲーションではなく直接URLアクセスであることを示唆している
- 単一のリクエスト — リファラーなしの単一のエンゲージメントのないページビュー。URLにロケールパラメータが含まれている場合、スコアは高くなります
- 高速IPローテーション — 単一のセッション内で複数のIPが使用され、人間の行動範囲を超えて高速に切り替わっている
- 古いChromium — エンゲージメントシグナルがない、古いバージョンのChrome
- 分散トラフィック — 一部のクローラーはIPアドレスをローテーションし、ほぼすべてのページビューで新しいセッションを開始します。現在では、ユーザーエージェントを共有し、ネットワークまたは外部リファラルソースを共有する匿名訪問パターンを検索しています
複数のシグナルからのスコアは積み重なり、ページビューに上記シグナルの一定数が含まれる場合、likely crawler（クローラーの可能性が高い）として分類されます。
コミュニティでの改善されたクローラー検出の有効化
現時点では、これは実験的な変更とみなされています。 検出ヒューリスティックの調整を継続しており、フィードバックを歓迎します。
有効にするには、管理エリアの**今後の変更**ページに移動し、改善されたクローラー検出項目を見つけてください。**有効化対象…**フィールドを更新して、サイトを選択してください。
有効化後、管理ダッシュボードの「サイトトラフィック」セクションでは、クローラーの可能性が高いアクセスが別カテゴリとして表示されます。
重要な注意事項:
- これは完璧な科学ではなく、時間の経過とともにヒューリスティックの改良を継続してまいります。ただし、これらの計算を更新する際に過去のデータを遡及して再計算することはありません。
- ページビューをクローラーの可能性が高いと分類することは、リクエストを拒否したり、レート制限を課したりするものではありません。
- クローラーの可能性が高いページビューは、既知のクローラーが今日扱われるのと同じ方法で、リファラー、国、その他のトラフィック内訳から除外されます。
- 検出ルールの変更により、すべての履歴トラフィックが自動的に再処理されるわけではありません。
ご意見をお聞かせください
フィードバックをお待ちしています — 特に、異常なトラフィックパターンや説明のつかないスパイクに気づいたコミュニティからの声を歓迎します。サイトの数値は正しく見えていますか？実在のユーザーと思われる訪問がフラグを立てられていませんか？このトピックで見ている状況を共有してください。
