1月8日と18日にヤンデックス（ロシアのウェブクローラー）から2回アクセスが急増しました。どちらの場合も、試行されたクロールは2倍以上に増加しました。最も多くのアクセスを記録したのは、PetalSearch.com の petalbot です。ヤンデックスやその他のボットと比較して、4倍から6倍のスキャン数がありました。
「いいね！」 1
「いいね！」 1
彼らは自分たちが正当だと考えているようですが、明らかに間違っています。
「いいね！」 1
時には、それらのヒットは正当なボットによるものです。時には…何か別のものです。IPアドレスはしばしば真実を明らかにします。
いずれにせよ、それらは完全に役に立たず、基本的にコンテンツを盗むだけで、何も返しません。それらを止める唯一の方法は、リバースプロキシです。しかし、私の知る限り、それらはそれほど負荷を増加させなかったので、Discourseでは状況は良好です。WordPressの世界では、そのような状況はサイトをダウンさせる可能性があります。
「いいね！」 2
私の主張を裏付けてくれてありがとう！
「いいね！」 1
これはどう見えますか？
「いいね！」 1
それは標準レポートの1つに似ています。/admin/reports/web_crawlers でご自身のレポートを見つけられるはずです 
「いいね！」 3
AI要約：
この議論は、Discourseサイトにおけるウェブクローラーボットによるページビューの急増についてです。ページビューの大幅な増加を引き起こしたと特定されたボットには以下が含まれます：
- MegaIndexボット：1日で約4,000ページビューを記録
- MJ12bot：1日で5,000ページビュー以上を記録
- Seekportボット：複数回にわたり急増を引き起こした
- Yandexボット：2回にわたりページビューを倍以上に増加させた
- PetalBot（PetalSearch.comより）：他のボットよりも4〜6倍多くのページスキャンを実行した
- DataForSEOボット：1日で15,000ページビュー以上の急増を引き起こした
これらの急増は、パフォーマンスの問題を引き起こすことがあります。ボットトラフィックを制限する方法には、robots.txtの使用がありますが、すべてのボットがこれを尊重するわけではありません。その他のオプションとしては、サーバーレベルでのブロックやリバースプロキシの使用があります。これらのボットは、価値を提供せずに「コンテンツを盗んでいる」と見なされています。
「いいね！」 1
@Bas
あなたが私からのリクエストに応えて、AI生成の要約をここに投稿しましたが、それはもうありません。
削除しましたか？
はい、そうしました。元のリクエストも削除されたためです 
現在復元しました。
ありがとうございます。
トピックを読む上で、しばらくすると価値がなくなる返信は削除する傾向がありますが、トピックに穴を残すことはありません。簡単なリクエストであり、あなたが要約を作成したので、他の人がこのトピックを訪れるたびにリクエストを読む必要はありませんでした。
これは、StackExchangeサイトから身につけた習慣で、コメントを残してから後で削除していました。また、トピックに直接関係のない、Of interestで始まる、自分や他の人のために作成した、より有用なコメントもあります。StackExchangeサイトには、そのようなコメントが数百件あるかもしれません。Discourseでも本当にそのような機能が欲しかったのですが、提案は支持を得られませんでした。
「いいね！」 1
当社のサイトへのアクセスをチェックしたところ、ページビューが異常に多くなっていました。全体像を見ると
異常は2023年10月23日から始まり、おそらく匿名のユーザーが1人いたと思われます。
こちらを確認すると
増加したのは、すぐには認識できなかったいくつかのボットであることがわかります。
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
この情報は、皆様にとって価値があるかもしれないので、お伝えしておきます。
「いいね！」 2
私も同様の現象が起きています
「いいね！」 3
これに似たケースがいくつか見られたと思います。クローラーであることを明かさずにアクセスしてくるため、「匿名」ビューとしてカウントされているようです。
「いいね！」 1
（投稿者による編集 - この投稿は元々新しいスレッドでしたが、ここにマージされました。これは問題ありません。元のタイトルは「好奇心：11月初旬（2023年）からクローラーの訪問数が大幅に減少」でした）
現時点では、私の側で何も変更されたとは思いません。
他に同様の状況を見ている人はいますか？
AnonとCrawlerの間で大きな数字のやり取りはないため、カテゴリの変更ではありません。
「いいね！」 3
はい
Consolidated Pageviewsレポートを投稿されたということは、管理者権限をお持ちだと推測します。
/admin/reports/consolidated_page_views
また、以下の機能も活用してください。
/admin/reports/web_crawlers
どのウェブクローラーがページビューを行っているかを特定するために。
最近、これらのボットが出現し、高い数値の原因となっていることが私たちの一部によって発見されています。
- fidget-spinner-bot
- my-tiny-bot
- thesis-research-bot
「いいね！」 1
ああ、増加に関するそのトピックを見ましたが、確かに、それら3つすべてが高い数字の原因でした。8日以降、それらはすべてなくなり、ある種のベースラインに戻りました。これにより減少が説明されます。
（モデレーター：このスレッドをその一番下に貼り付けても構いません。）（編集：モデレーターありがとうございます！）
「いいね！」 3