Отметить сообщения в теме как «прочитанные»

[kittenwater]

Я попытался провести реверс-инжиниринг сайта, отправляя POST-запросы к «https://{hostUrl}/topics/timings» с заголовками content-type, CSRF-токеном и user-agent.

Вот как выглядит тело запроса (JSON):

payload = {
  "topic_id": topic_id,
  "topic_time": post_count * 60000,
  "timings": timings
}

Сервер возвращает статус-код 200, но история прочтения никогда не обновляется по адресу https://{hostUrl}/u/USERNAME/activity/read.

Я попытался изучить эту тему, но она не очень помогла:

Mark specific posts as "read" through the API?

Hello, I’m pulling posts through the discourse API. I’m using python for that. The request calls the following code (which makes a GET request essentially) and returns the .json similar to this post def topic_by_id(self, topic_id, **kwargs): return self._get("/t/{0}.json".format(topic_id), **kwargs) The posts returned have a 'read' flag. The posts I send are read=True, but for the posts I receive they are all marked as read=False, unless I actively log in to Discourse and read the…

Вот значительная часть кода:

def get_csrf(session):
    r = session.get(f"https://{hostUrl}/session/csrf.json")

    if r.status_code != 200:
        raise RuntimeError("Не удалось получить CSRF")

    data = r.json()

    if "csrf" not in data:
        raise RuntimeError("В ответе нет CSRF")

    return data["csrf"]

def load_topics(session, page):
    print(f"[Темы] Страница {page}")

    r = session.get(
        f"https://{hostUrl}/latest.json?page={page}"
    )

    if r.status_code != 200:
        return []

    data = r.json()

    return [
        {
            "id": t["id"],
            "posts_count": t["posts_count"]
        }
        for t in data["topic_list"]["topics"]
    ]

def mark_post_as_read(session, topic_id, post_count):
    url = f"https://{hostUrl}/topics/timings"

    timings = {
        str(i): 60000
        for i in range(1, post_count + 1)
    }

    payload = {
        "topic_id": topic_id,
        "topic_time": post_count * 60000,
        "timings": timings
    }

    csrf = get_csrf(session)

    r = session.post(
        url,
        json=payload,
        headers={
            "X-CSRF-Token": csrf,
            "User-Agent": "Mozilla/5.0",
            "Content-Type": "application/json"
        }
    )

    print(f"[Прочитано] {topic_id} → {r.status_code}")

    if r.status_code != 200:
        print(r.text[:300])


def tab_worker(session):
    page = 1

    while True:
        topics = load_topics(session, page)

        if not topics:
            break

        for t in topics:
            mark_post_as_read(
                session,
                t["id"],
                t["posts_count"]
            )

            time.sleep(0.4)

        page += 1

[kittenwater]

Я поднимаю этот вопрос, так как мне всё ещё нужен ответ.

Спасибо

[Canapin (Coin-coin le Canapin)]

@kittenwater

"timings": timings

А что, если отправить это в виде плоского объекта "timings[post_number]": duration? Будет ли это работать?

Если я отправлю запрос с таким payload:

{
  "timings[1]": 10000,
  "topic_time": 10000,
  "topic_id": 6,
}

то таблицы временных меток обновятся, пост будет помечен как прочитанный, и /activity/read также обновится.

Зачем вы пытаетесь это сделать? В чём цель?

[kittenwater]

@Canapin

А что, если отправить это в виде плоского объекта "timings[post_number]": duration? Будет ли это работать?

Кажется, это работает не совсем так.

Вот фрагмент кода, который я изменил.

def mark_post_as_read(session, topic_id, post_count):
    url = f"https://{hostUrl}/topics/timings"

    payload = {
        "topic_id": topic_id,
        "topic_time": post_count * 60000
    }

    for i in range(1, post_count):
        payload[f"timings[{i}]"] = 60000

    csrf = get_csrf(session)

    r = session.post(
        url,
        json=payload,
        headers={
            "X-CSRF-Token": csrf,
            "User-Agent": "Mozilla/5.0",
            "Content-Type": "application/json"
        }
    )

    print(f"[Прочитано] {topic_id} → {r.status_code}")

    if r.status_code != 200:
        print(r.text[:300])

По-прежнему возвращается код 200, но данные не обновляются.

Спасибо.

[Canapin (Coin-coin le Canapin)]

Код выглядит в порядке, не уверен, в чём проблема.
Интуиция подсказывает, что мы просто упустили что-то очевидное где-то

[Canapin (Coin-coin le Canapin)]

Это работает:

def load_topics(session, page):
    print(f"[Topics] Загрузка страницы {page}")
    r = session.get(f"https://{hostUrl}/latest.json?page={page}")
    if r.status_code != 200:
        return []
    return [{"id": t["id"], "posts_count": t["posts_count"]} for t in r.json()["topic_list"]["topics"]]

    timings = {
        str(i): 60000
        for i in range(1, post_count + 1)
    }
    payload = {
        "topic_id": topic_id,
        "topic_time": post_count * 60000,
        "timings": timings 
    }    

    # Используйте json=payload для отправки в формате application/json
    r = session.post(url, json=payload, headers = {
        "X-CSRF-Token": csrf,
        "User-Agent": "Mozilla/5.0",
        "X-Requested-With": "XMLHttpRequest",
        "Content-Type": "application/json"
      }
    )

[kittenwater]

Огромное спасибо!!!

Наконец-то это работает.

[kittenwater]

На самом деле, ещё один момент.

Это довольно интересно!

1. История прочитанных постов действительно обновляется
2. Счётчик прочитанных постов увеличивается

НО:

3. Счётчик прочитанных тем не увеличивается

Именно об этих двух вещах я и говорю!

Действительно интересно.

[Canapin (Coin-coin le Canapin)]

Я бы не удивился, если бы эти данные обновлялись в рамках обычной работы помощника, ради производительности.

Какой у вас сценарий использования для обновления временных меток с помощью скрипта?

[kittenwater]

@Canapin

Меня бы не удивило, если бы эти статистические данные обновлялись через обычную фоновую задачу, по соображениям производительности.

Я могу со 100% уверенностью сказать, что это утверждение верно!

Счётчик прочитанных постов обновлялся несколько раз, а счётчик прочитанных тем — нет. У них разные интервалы обновления? Прошло уже ~20 часов, счётчик прочитанных постов продолжает расти, а счётчик прочитанных тем остаётся прежним.

Я просто хочу попробовать реверс-инжинирить эти эндпоинты! Это круто.

Думаю, мне стоит немного подождать, прежде чем возвращаться и проверять, изменились ли значения.

[Canapin (Coin-coin le Canapin)]

@kittenwater

Я думаю, мне стоит немного подождать, прежде чем вернуться и проверить, изменились ли значения.

Вы можете вручную запустить задачу Sidekiq в /sidekiq/scheduler, если найдете нужную

[Canapin (Coin-coin le Canapin)]

Возможно, это Jobs::DirectoryRefreshDaily.

[Moin]

@kittenwater

Вот те 2, о которых я говорю!

Вы видите то же самое в каталоге пользователей по адресу /u?period=daily или еженедельно? Там вверху указано, когда были обновлены цифры.

Полагаю, цифры за «сегодня» обновляются раз в час, а за другие периоды — только раз в день.

[kittenwater]

@Canapin, я не владелец этого сайта. Если я всё ещё могу это сделать, просто будучи обычным зарегистрированным пользователем, сообщите мне, как это сделать.

@Moin

На сайте, который я использую, эта функция отключена, и он всегда возвращает сообщение: «Здесь будет отображаться список участников сообщества с их активностью. На данный момент список пуст, потому что ваше сообщество ещё совсем новое!»

[Canapin (Coin-coin le Canapin)]

@kittenwater

Я не являюсь владельцем веб-сайта. Если я всё ещё могу активировать это, просто войдя в систему как обычный пользователь, сообщите мне, как это сделать.

В его случае это невозможно. Быть обычным пользователем не идеально для реверс-инжиниринга API.
Если есть возможность, попробуйте локальную установку для разработки или установку в продакшн на дешёвом VPS (подойдёт сервер за 3–4 доллара), так как Discourse больше не требует указания хостнейма или SMTP.

[kittenwater]

Привет, @Canapin, спасибо за постоянную помощь.

Как мне это сделать? Сейчас там написано 22 темы прочитано и 2,6 млн сообщений прочитано