Discourse Meta
用户代理:lfc-discourse-public-crawler
贡献
错误
Jagster
(Jakke Flemming)
2026年七月9日 05:20
4
robots.txt
仅仅是一种礼貌性的建议。它本身并不能阻止任何行为。但如果用户代理遵循这些规则,则表明该爬虫并非恶意严重。
我们应当在 Nginx 层面执行此类操作
2 個讚
在主題中顯示貼文
相關主題
話題
回覆
觀看
活動
What is the Discourse User Agent for Onebox?
Support
5
1235
2020年十一月11日
View IP address of guests / anonymous visitors?
Data & reporting
13
1576
2022年一月13日
Tracking LLM Crawler Activity: Can we identify which topics are being indexed/crawled most frequently?
Data & reporting
data-explorer
3
202
2026年四月21日
Dark Visitors
Plugin
6
670
2025年九月23日
Web crawler question
Support
1
451
2021年八月4日