Marcar publicaciones en el tema como "leídas"

[kittenwater]

Intenté hacer ingeniería inversa del sitio enviando solicitudes POST a “https://{hostUrl}/topics/timings” con content-type, token csrf y user-agent.

Aquí se ve el cuerpo (json):

payload = {
  "topic_id": topic_id,
  "topic_time": post_count * 60000,
  "timings": timings
}

Devuelve un código de estado 200, pero el historial de lectura nunca cambia en https://{hostUrl}/u/USERNAME/activity/read

Intenté buscar en esta publicación, pero no ayudó mucho:

Mark specific posts as "read" through the API?

Hello, I’m pulling posts through the discourse API. I’m using python for that. The request calls the following code (which makes a GET request essentially) and returns the .json similar to this post def topic_by_id(self, topic_id, **kwargs): return self._get("/t/{0}.json".format(topic_id), **kwargs) The posts returned have a 'read' flag. The posts I send are read=True, but for the posts I receive they are all marked as read=False, unless I actively log in to Discourse and read the…

Aquí hay una buena parte del código:

def get_csrf(session):
    r = session.get(f"https://{hostUrl}/session/csrf.json")

    if r.status_code != 200:
        raise RuntimeError("Fallo al obtener CSRF")

    data = r.json()

    if "csrf" not in data:
        raise RuntimeError("No hay CSRF en la respuesta")

    return data["csrf"]

def load_topics(session, page):
    print(f"[Temas] Página {page}")

    r = session.get(
        f"https://{hostUrl}/latest.json?page={page}"
    )

    if r.status_code != 200:
        return []

    data = r.json()

    return [
        {
            "id": t["id"],
            "posts_count": t["posts_count"]
        }
        for t in data["topic_list"]["topics"]
    ]

def mark_post_as_read(session, topic_id, post_count):
    url = f"https://{hostUrl}/topics/timings"

    timings = {
        str(i): 60000
        for i in range(1, post_count + 1)
    }

    payload = {
        "topic_id": topic_id,
        "topic_time": post_count * 60000,
        "timings": timings
    }

    csrf = get_csrf(session)

    r = session.post(
        url,
        json=payload,
        headers={
            "X-CSRF-Token": csrf,
            "User-Agent": "Mozilla/5.0",
            "Content-Type": "application/json"
        }
    )

    print(f"[Leído] {topic_id} → {r.status_code}")

    if r.status_code != 200:
        print(r.text[:300])

def tab_worker(session):
    page = 1

    while True:
        topics = load_topics(session, page)

        if not topics:
            break

        for t in topics:
            mark_post_as_read(
                session,
                t["id"],
                t["posts_count"]
            )

            time.sleep(0.4)

        page += 1

[kittenwater]

Estoy reviviendo esto porque todavía necesito la respuesta.

Gracias

[Canapin (Coin-coin le Canapin)]

@kittenwater

"timings": timings

¿Qué pasa si envías esto como un \"timings[post_number]\": [duration_in_ms] plano? ¿Funciona?

[kittenwater]

@Canapin

¿Qué pasa si envías esto como un \"timings[post_number]\": duration plano? ¿Funciona?

No parece funcionar exactamente.

Aquí está el fragmento de código que modifiqué.

def mark_post_as_read(session, topic_id, post_count):
    url = f"https://{hostUrl}/topics/timings"

    payload = {
        "topic_id": topic_id,
        "topic_time": post_count * 60000
    }

    for i in range(1, post_count):
        payload[f"timings[{i}]"] = 60000

    csrf = get_csrf(session)

    r = session.post(
        url,
        json=payload,
        headers={
            "X-CSRF-Token": csrf,
            "User-Agent": "Mozilla/5.0",
            "Content-Type": "application/json"
        }
    )

    print(f"[Read] {topic_id} → {r.status_code}")

    if r.status_code != 200:
        print(r.text[:300])

Aún devuelve 200 pero no se actualiza.

Gracias

[Canapin (Coin-coin le Canapin)]

El código parece estar bien, no estoy seguro de dónde viene el problema.
Mi instinto me dice que simplemente nos estamos perdiendo algo obvio en alguna parte

[Canapin (Coin-coin le Canapin)]

Esto funciona:

def load_topics(session, page):
    print(f"[Temas] Cargando página {page}")
    r = session.get(f"https://{hostUrl}/latest.json?page={page}")
    if r.status_code != 200:
        return []
    return [{"id": t["id"], "posts_count": t["posts_count"]} for t in r.json()["topic_list"]["topics"]]

    timings = {
        str(i): 60000
        for i in range(1, post_count + 1)
    }
    payload = {
        "topic_id": topic_id,
        "topic_time": post_count * 60000,
        "timings": timings 
    }    

    # Usar json=payload para enviar como application/json
    r = session.post(url, json=payload, headers = {
        "X-CSRF-Token": csrf,
        "User-Agent": "Mozilla/5.0",
        "X-Requested-With": "XMLHttpRequest",
        "Content-Type": "application/json"
      }
    )

[kittenwater]

¡¡¡Muchísimas gracias!!!

Esto finalmente funciona.

[kittenwater]

De hecho, una cosa más.

¡Esto es bastante interesante!

1. SÍ actualiza el historial de lectura de publicaciones
2. El recuento de publicaciones leídas aumenta

PERO:

3. El recuento de temas leídos no aumenta

¡Estos son los 2 de los que estoy hablando!

Bastante interesante.

[Canapin (Coin-coin le Canapin)]

No me sorprendería que esas estadísticas se actualizaran mediante un trabajo secundario normal, por razones de rendimiento.

¿Cuál es su caso de uso para actualizar los tiempos con un script?

[kittenwater]

@Canapin

No me sorprendería si esas estadísticas se actualizaran mediante un trabajo secundario regular, por razones de rendimiento.

¡Puedo decir con un 100% de certeza que esta afirmación es verdadera!
La lectura de las publicaciones se ha actualizado varias veces, pero la lectura de los temas no. ¿Están en intervalos diferentes? Han pasado aproximadamente 20 horas desde entonces y el contador de publicaciones leídas sigue aumentando, pero el de temas leídos no.

¡Solo quiero intentar hacer ingeniería inversa de los endpoints! Es genial.

Creo que debería esperar un poco antes de volver y ver si los valores han cambiado.

[Canapin (Coin-coin le Canapin)]

@kittenwater

Creo que debería esperar un poco antes de volver y ver si los valores han cambiado

Puedes activar el trabajo de sidekiq manualmente en /sidekiq/scheduler si descubres cuál es

[Canapin (Coin-coin le Canapin)]

Quizás sea Jobs::DirectoryRefreshDaily.

[Moin]

@kittenwater

¡Estos son los 2 de los que estoy hablando!

¿Ves lo mismo en el directorio de usuarios en /u?period=daily o semanalmente? Allí puedes ver cuándo se actualizaron los números en la parte superior.

Creo que los números para “hoy” se actualizan una vez por hora, mientras que los otros períodos de tiempo se actualizan solo una vez al día.

[kittenwater]

@Canapin, no soy el propietario del sitio web. Si aún puedo activarlo simplemente con haber iniciado sesión como un usuario normal, házmelo saber el método para hacerlo.

@Moin
El sitio que estoy usando tiene eso deshabilitado y siempre devolverá “¡Aquí se mostrará una lista de miembros de la comunidad mostrando su actividad! Por ahora, la lista está vacía porque tu comunidad es muy nueva!”.

[Canapin (Coin-coin le Canapin)]

@kittenwater

No soy el propietario del sitio web. Si aún puedo activarlo con solo iniciar sesión como un usuario normal, házmelo saber el método para hacerlo.

En su caso no se puede. Ser un usuario normal no es ideal para la ingeniería inversa de la API.
Si puedes, prueba una instalación de desarrollo local o una instalación de producción en un VPS barato (un servidor de 3-4$ está bien), ya que Discourse ya no requiere un nombre de host ni SMTP.

[kittenwater]

Hola @Canapin, gracias por tu continua ayuda.

¿Cómo haría eso? Actualmente dice 22 temas leídos y 2.6M publicaciones leídas