トラフィックデータ内のクローラー検出とフラグ付け方法の改善

管理ダッシュボードでは、クローラートラフィックの可能性が高いもの(実際のブラウザJavaScriptを使用するが人間ではない訪問者である自動化ボットやスクレーパー)を識別し、そうしたページビューを本来のトラフィック数から分離できるようになりました。

このトピックでは、こうしたトラフィックの識別にどのようなアプローチを採用したか、また今日からこの機能を有効にする方法についてご紹介します。

:microscope: 変更点

Discourseでは従来、標準的なボット用ユーザーエージェント(例:Googlebot)で自らを識別する Crawlers(クローラー)を、サイトトラフィックデータの別カテゴリーに分類してフィルタリングしてきました。しかし、最近の自動化トラフィックはより巧妙になっています。完全なブラウザを実行し、JavaScriptを実行し、あたかも実際の訪問であるかのようにページビューデータに紛れ込みます。管理者は Anonymous(匿名)ページビューの急増を確認することがありましたが、それは実際にはスクレーパーによるものであり、AIボットによって水増しされた訪問者数だったわけですが、そうしたものと真の匿名(つまりログインしていない)の人間によるトラフィックとの違いを判断する方法がありませんでした。

今回のアップデートでは、サイトトラフィックデータに Likely Crawlers(クローラーの可能性が高いもの)というカテゴリーが追加されました。改善されたクローラー検出が有効になると、当社のヒューリスティックが自動化されたものとフラグを立てるページビューは個別に分類され、人間によるトラフィックの集計がより正確になります。

検出の仕組み

このシステムは、一連の行動シグナルを使用し、各ブラウザページビューにスコアを付けます:

  • 自動化ユーザーエージェント — UAがヘッドレスブラウザや自動化ツール(HeadlessChrome、Playwright、Puppeteer、Selenium、PhantomJS、jsdom)を明確に名指ししている
  • データセンターASN — IPが主要なクラウドやホスティングプロバイダーのアドレス空間内にある
  • 速度 — IPとユーザーエージェントの組み合わせが1時間あたり異常なほど多くのページビューを生成している
  • 迅速なナビゲーション — ページビュー間の中央値の間隔が5秒未満である
  • セッションの頻繁な入れ替わり — 同じIPとユーザーエージェントの組み合わせから、短いセッション(大半が1ページのみ)が多数発生している
  • エンゲージメントの欠如 — セッションおよびその隣接セッションにおいて、人間らしいインタラクション(マウス移動、キーストローク、スクロール)が記録されていない。このシグナルは、ログイン済みトラフィックよりも匿名トラフィックにおいて重み付けが高くなっています。
  • 不正なリファラ比率高い — 大半のページビューがリファラなし、または外部リファラで到着しており、サイト内をナビゲーションするのではなく、URLへの直接アクセスを示唆している
  • 単一の直接リクエスト — リファラなしでエンゲージメントがない単一のページビュー。URLにロケールパラメータが含まれている場合、スコアが高くなります
  • 古いChromium — エンゲージメントシグナルがなく、バージョンが古いChrome
  • 分散トラフィック — 一部のクローラーはIPアドレスをローテーションし、ほぼすべてのページビューで新しいセッションを開始します。ユーザーエージェントを共有し、かつネットワークまたは外部リファラソースを共有する匿名訪問のパターンを検出するようにしました

複数のシグナルからのスコアは加算され、ページビューが上記のシグナルのうち一定の数を満たすと、likely crawler(クローラーの可能性が高いもの)として分類されます。

:gear: コミュニティでの改善クローラー検出の有効化

現時点では、これは実験的な変更とみなされています。 検出ヒューリスティックはまだ調整中であり、フィードバックをお待ちしています。

これを有効にするには、管理エリアの Upcoming changes(今後の変更)ページにアクセスし、Improved crawler detection(改善クローラー検出)項目を見つけてください。Enabled for…(有効化対象)フィールドを更新してサイトにこの機能を導入します。

有効にすると、管理ダッシュボードの「サイトトラフィック」セクションに、クローラーの可能性が高いものが別カテゴリーとして表示されます。

:warning: 重要な注意事項:

  • これは完全な科学ではなく、当社はヒューリスティックを引き続き時間とともに磨き上げていきます。ただし、計算を更新しても過去データの遡及補完(バックフィル)は行いません。
  • ページビューをクローラーの可能性が高いものとして分類しても、リクエストを拒否したりレート制限を行ったりしません。
  • クローラーの可能性が高いページビューは、リファラ、国、およびその他のトラフィック内訳から除外されます。これは既存の既知クローラーの処理方法と同じです。
  • 検出ルールの変更により、すべての過去トラフィックが自動的に再処理されるわけではありません。

:mega: ご意見をお聞かせください

皆さまからのフィードバックをお待ちしています。特に、異常なトラフィックパターンや説明のつかない急増に気づいたコミュニティからのフィードバックを歓迎します。サイトにとって数値は正しく見えていますか? 実ユーザーと思われる訪問がフラグを立てられていませんか? 見ている内容をこのトピックで共有してください。

「いいね!」 21

いいですね。これらのシグナルについて、ログイン済みユーザーも対象になりますか?

「いいね!」 1

おそらく likely crawler は、毎月のページビュー制限にカウントされますか? :slightly_smiling_face:

「いいね!」 1

モデルを使用しながら何かを貼り付けた際、そのURLを編集し忘れていました。その結果、建設中のフォーラムで35,000%という急増が発生しました。

今後は、私が作業している内容への実際の参照をクリーンアップするために、小さなローカルモデルをインストールするという未処理タスクが残っています。

このオプションを第二のフィルターとして活用できるのは素晴らしいです。作成してくださってありがとうございます。

良いご質問ですね。まだ決定していませんが、クローラー検出モデルの微調整が必要になると予想しており、これはオプションの機能であるため、ページビュー上限にどのような影響があるのか(あるいは影響があるのか)は現時点ではわかりません。

社内でこの件について検討し、後ほどお知らせいたします!

「いいね!」 4

お取り組みありがとうございます。検出アルゴリズムに満足が得られた時点で、それらに対してアクションを実行する機能をロードマップに追加する予定はありますか?

「いいね!」 2

特定したユーザーエージェントの一覧、あるいはボット/クローラーと判断される可能性が高いユーザーエージェントの一覧が取得できれば、非常に助かります。

これにより、それらをブロック対象またはレート制限対象のグループに追加できます。

「いいね!」 3

はい、ログインユーザーによる自動化も検出するようにしています。Metaでは、信頼レベル0の「ユーザー」がサイトをスキャンしているのを数件発見しました。

「いいね!」 2

課題は、「クローラーの可能性が高い」とされるものの多くが、正当なユーザーエージェントを使用しているという点です。ブラウザのバージョンがかなり古いように見えることもありますが、それだけではボットと判断する十分なシグナルとは言えません。そのため、私たちは多くのメトリクスを収集し、それらを組み合わせることで可能性を評価しています。

クローラーが Bingbot や Googlebot のようなユーザーエージェントで正直に自己紹介した場合、それは直接「クローラー」のカテゴリに分類されます。

「いいね!」 2

確かに。チームディスカースがバックエンドから取得できる統計情報によると、アクセスパターンが一時的に増加する、より obscure なユーザーエージェント(ユーザーエージェントが特定しにくいもの)が対象となることが多く、ユーザーに影響を与えることなくリストからいくつか除外することができました。

これは厳密な科学ではありません。特定の地理的場所(ジオ)にマッピングできれば、それらの管理においてより高い解像度が得られる可能性があります。

「いいね!」 2