用户代理:lfc-discourse-public-crawler

robots.txt 仅仅是一种礼貌性的建议。它本身并不能阻止任何行为。但如果用户代理遵循这些规则,则表明该爬虫并非恶意严重。

我们应当在 Nginx 层面执行此类操作 :man_shrugging:

2 个赞