Category API 요청 시 모든 주제가 다운로드됩니다

개발
1

저희 포럼의 사용 현황에 대한 분석을 생성하고 있으며, 각 카테고리의 주제에 대한 정보를 다운로드하고 있습니다.

그러나 요청이 항상 모든 주제를 가져오지 않습니다. 이전에는 몇몇 주제를 가져왔는데, 최신 보고서에서 사라져서 이 문제를 알게 되었습니다.

예시:

브라우저에서 카테고리 페이지를 열면 해당 주제는 존재합니다.

사용 중인 코드:

from dotenv import load_dotenv
import os
import requests

load_dotenv()

headers = {
    "Content-Type": "application/json",
    "Api-Username": os.environ["USERNAME"],
    "Api-Key": os.environ["API_KEY"],
}

method = "GET"
url = "https://forum.aragon.org/c/proposals-for-main-dao/50.json"

response = requests.request(method, url, headers=headers)
topics = response.json()["topic_list"]["topics"]

found_topics = list()
for topic in topics:
    found_topics.append(topic["id"])

print(sorted(found_topics))

{topic: topic in found_topics for topic in [3519, 3528]}
>>>
[3075, 3224, 3299, 3312, 3449, 3472, 3474, 3526, 3554, 3555, 3557, 3583, 3586, 3592, 3613, 3624, 3626, 3659, 3674, 3677, 3680, 3694, 3695, 3699, 3702, 3710, 3716, 3720, 3725, 3737]

{3519: False, 3528: False}

이러한 현상이 발생하는 이유는 무엇이며, 어떻게 수정할 수 있을까요?

2

그렇다면 데이터 탐색기 플러그인을 사용해야 합니다.

Discourse Data Explorer와 Discourse API를 사용하여 Data Explorer 쿼리 실행 방법을 참고하세요.

3

감사합니다. 다만, 현재 해당 플러그인을 설치할 수 없습니다. API를 수정할 수 있는 방법이 있을까요?

4

이것은 공식적이고 안정적이며 잘 유지 관리되는 플러그인인데, 설치를 막고 있는 것이 무엇인가요?

UI는 페이지네이션 시스템을 사용하여 각 주제 집합을 가져옵니다. 아마도 이것이 전체 주제를 볼 수 없는 이유일 것입니다.

브라우저가 각 호출에 대해 전송하는 쿼리를 확인해 보세요(네트워크 탭 참조).

그러나 @pfaffman이 정당하게 지적하듯, 분석용 데이터를 가져오는 가장 적절한 방법은 아닙니다. 이는 UI에 최적화되어 있기 때문입니다.