从类别中获取主题列表

这是我在这个论坛上的第一篇帖子。

forum.valuepickr.com 是一个专注于印度股市投资的 Discourse 论坛。

请查看“股票机会”分类:Stock Opportunities - ValuePickr Forum

我希望能够获取该分类下的主题列表,最好附带一些元数据,如回复数、浏览量和活跃度。最好能导出为 CSV/TSV 文件或类似格式。目前我甚至找不到一种显而易见的方法来查看主题数量。

我只是 Valuepickr 论坛的用户,并非网站维护者,也没有任何管理员权限。

我最初以为使用 Discourse API 可能是一个可行的方法。然而,我发现理解该 API 相当复杂和令人困惑,我也不确定该网站是否支持 API 调用,而且无论如何,我不确定 API 是否支持这种用例。

欢迎提供任何建议、想法或技巧。提前感谢。

您可以使用 API 从公开类别中获取这些信息(无论如何,其中包含大量数据,我不确定“活动”是否带有时间戳,但信息量很大)。 以您的示例为例,请从 https://forum.valuepickr.com/c/stock-opportunities.json 开始。 然后使用您选择的工具将其转换为您需要的数据格式。 祝您好运,剩下的就看您了! :slight_smile:

你好 @maiki

感谢你的快速回复。听起来我想要的操作至少在理论上是可行的。

我刚刚查看了似乎是 JSON API 的文档
获取指定分类下的主题列表,这看起来大致方向是对的。在我看来,这应该对应 URL https://forum.valuepickr.com/c/stock-opportunities/11.json。

这给我的结果与你之前发布的 URL 表面上有些相似(我认为 11 是对应那个分类的 ID,不过我可能搞错了)。如果我理解有误,请见谅,因为我对此类事情毫无经验,而且文档本身也写得不够详尽。

显然,我不知道你之前发布的 URL 是从哪里来的。如果你能解释一下,那将非常有帮助。

不过,无论哪种情况,生成的 JSON 数据(每种情况下均为 54 KB)都不足以包含该分类下成百上千个列出的主题,尽管它显然包含其中一部分。那么,我到底漏掉了什么呢?

这些链接应该能为您提供更多信息:

该主题中提供的教程:

在您列出的网站上按照该教程操作,并在打开网络开发者工具时,您将看到以下内容:

右键点击它时会出现许多选项,复制 > 复制链接地址(在 Firefox 中)会提供:
https://forum.valuepickr.com/c/stock-opportunities/11/l/latest.json?ascending=false&order=default&page=1

这是一个针对该类别中帖子的增量 JSON 链接。