Discourse Meta
用户代理:lfc-discourse-public-crawler
贡献
错误
Jagster
(Jakke Flemming)
2026 年7 月 9 日 05:20
4
robots.txt
仅仅是一种礼貌性的建议。它本身并不能阻止任何行为。但如果用户代理遵循这些规则,则表明该爬虫并非恶意严重。
我们应当在 Nginx 层面执行此类操作
2 个赞
在话题中显示帖子
相关话题
话题
回复
浏览量
活动
What is the Discourse User Agent for Onebox?
Support
5
1185
2020 年11 月 11 日
View IP address of guests / anonymous visitors?
Data & reporting
13
1505
2022 年1 月 13 日
Tracking LLM Crawler Activity: Can we identify which topics are being indexed/crawled most frequently?
Data & reporting
data-explorer
3
128
2026 年4 月 21 日
Dark Visitors
Plugin
6
585
2025 年9 月 23 日
Web crawler question
Support
1
433
2021 年8 月 4 日