faheem
(Faheem Mitha)
1
这是我在这个论坛上的第一篇帖子。
forum.valuepickr.com 是一个专注于印度股市投资的 Discourse 论坛。
请查看“股票机会”分类:Stock Opportunities - ValuePickr Forum
我希望能够获取该分类下的主题列表,最好附带一些元数据,如回复数、浏览量和活跃度。最好能导出为 CSV/TSV 文件或类似格式。目前我甚至找不到一种显而易见的方法来查看主题数量。
我只是 Valuepickr 论坛的用户,并非网站维护者,也没有任何管理员权限。
我最初以为使用 Discourse API 可能是一个可行的方法。然而,我发现理解该 API 相当复杂和令人困惑,我也不确定该网站是否支持 API 调用,而且无论如何,我不确定 API 是否支持这种用例。
欢迎提供任何建议、想法或技巧。提前感谢。
maiki
(maiki)
2
您可以使用 API 从公开类别中获取这些信息(无论如何,其中包含大量数据,我不确定“活动”是否带有时间戳,但信息量很大)。 以您的示例为例,请从 https://forum.valuepickr.com/c/stock-opportunities.json 开始。 然后使用您选择的工具将其转换为您需要的数据格式。 祝您好运,剩下的就看您了! 
faheem
(Faheem Mitha)
3
你好 @maiki,
感谢你的快速回复。听起来我想要的操作至少在理论上是可行的。
我刚刚查看了似乎是 JSON API 的文档
获取指定分类下的主题列表,这看起来大致方向是对的。在我看来,这应该对应 URL https://forum.valuepickr.com/c/stock-opportunities/11.json。
这给我的结果与你之前发布的 URL 表面上有些相似(我认为 11 是对应那个分类的 ID,不过我可能搞错了)。如果我理解有误,请见谅,因为我对此类事情毫无经验,而且文档本身也写得不够详尽。
显然,我不知道你之前发布的 URL 是从哪里来的。如果你能解释一下,那将非常有帮助。
不过,无论哪种情况,生成的 JSON 数据(每种情况下均为 54 KB)都不足以包含该分类下成百上千个列出的主题,尽管它显然包含其中一部分。那么,我到底漏掉了什么呢?
Monkey
(EEE EEE OOOOH AAAH)
4
这些链接应该能为您提供更多信息:
该主题中提供的教程:
在您列出的网站上按照该教程操作,并在打开网络开发者工具时,您将看到以下内容:
右键点击它时会出现许多选项,复制 > 复制链接地址(在 Firefox 中)会提供:
https://forum.valuepickr.com/c/stock-opportunities/11/l/latest.json?ascending=false&order=default&page=1
这是一个针对该类别中帖子的增量 JSON 链接。