¿Cuál es tu flujo de trabajo para el cumplimiento anual de la EU DSA?

Hola a todos,

Recientemente he estado trabajando con un cliente en la preparación de sus informes anuales para el cumplimiento de la DSA de la UE, y me di cuenta de que esta es probablemente una tarea recurrente para muchos moderadores y administradores que gestionan comunidades de Discourse dentro de la UE.

Dado que este proceso de elaboración de informes es repetitivo y requiere mucha atención al detalle, tengo curiosidad por saber cómo lo están abordando otros aquí.

  • ¿Qué flujos de trabajo han desarrollado para preparar informes anuales precisos?
  • ¿Se están basando en plugins específicos, scripts personalizados, consultas del explorador de datos o herramientas externas?
  • ¿Han implementado alguna automatización para agilizar la recopilación de datos o la elaboración de informes?
  • Y ¿Discourse ofrece alguna función integrada que simplifique o automatice significativamente partes del proceso de elaboración de informes de la DSA?

Me encantaría saber cómo están abordando esto las diferentes comunidades.

Espero aprender de la experiencia colectiva aquí.

¡Gracias de antemano!

3 Me gusta

Creé ese informe la semana pasada por primera vez. Fue muy rápido y fácil de hacer con el explorador de datos. Aquí están las consultas que utilizo (crédito a @SaraDev por escribirlas):

Informes de la DSA

-- [params]
-- date :start_date = 2020-01-01
-- date :end_date = 2026-01-01

WITH flag_data AS (
    SELECT
        r.id AS flag_id,
        p.id AS post_id,
        p.topic_id,
        p.raw AS flagged_item_text,
        p.user_id AS post_author_id,
        fu.username AS flagged_by_username,
        r.created_at AS flagged_date,
        r.type AS flag_type,
        r.reviewable_by_moderator AS flag_source,
        r.payload AS flag_reason,
        r.status AS review_status,
        rs.reviewed_by_id,
        rs.reviewed_at,
        rs.score AS review_score,
        ru.username AS reviewed_by_username,
        p.deleted_at AS post_deleted_at,
        u.silenced_till AS user_silenced_till,
        u.suspended_till AS user_suspended_till,
        p.hidden_at AS post_hidden_at,
        pa.post_action_type_id
    FROM
        reviewables r
    LEFT JOIN posts p ON r.target_id = p.id AND r.target_type = 'Post'
    LEFT JOIN users fu ON r.created_by_id = fu.id
    LEFT JOIN reviewable_scores rs ON rs.reviewable_id = r.id
    LEFT JOIN users ru ON rs.reviewed_by_id = ru.id
    LEFT JOIN users u ON p.user_id = u.id
    LEFT JOIN post_actions pa ON pa.post_id = p.id
    WHERE
        r.created_at BETWEEN :start_date AND :end_date
        AND r.status = 1 -- Incluir solo las marcas a las que se dio la razón y se tomó una medida
),
flag_types AS (
    SELECT
        3 AS post_action_type_id, 'Off-topic' AS flag_type_name
    UNION ALL
    SELECT
        4 AS post_action_type_id, 'Inappropriate' AS flag_type_name
    UNION ALL
    SELECT
        6 AS post_action_type_id, 'Notify_user' AS flag_type_name
    UNION ALL
    SELECT
        7 AS post_action_type_id, 'Notify_moderators' AS flag_type_name
    UNION ALL
    SELECT
        8 AS post_action_type_id, 'Spam' AS flag_type_name
    UNION ALL
    SELECT
        10 AS post_action_type_id, 'Illegal' AS flag_type_name
),
median_time_to_act AS (
    SELECT
        CASE
            WHEN ft.flag_type_name IS NOT NULL THEN ft.flag_type_name
            WHEN fd.flag_type IN (
                'ReviewableAkismetPost',
                'ReviewableFlaggedPost',
                'ReviewableChatMessage',
                'ReviewablePost',
                'ReviewableQueuedPost'
            ) THEN 'something_else'
            ELSE fd.flag_type
        END AS flag_type,
        ROUND(PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY EXTRACT(EPOCH FROM (fd.reviewed_at - fd.flagged_date))) / 60) AS median_time_minutes
    FROM
        flag_data fd
    LEFT JOIN flag_types ft 
        ON fd.post_action_type_id = ft.post_action_type_id
    WHERE
        fd.reviewed_at IS NOT NULL
        AND (
            ft.flag_type_name IS NOT NULL -- Incluir tipos de marca mapeados
            OR fd.flag_type IN (
                'ReviewableAkismetPost',
                'ReviewableUser',
                'ReviewableFlaggedPost',
                'ReviewableChatMessage',
                'ReviewablePost',
                'ReviewableQueuedPost'
            ) -- Incluir tipos de marca específicos para resultados NULL
        )
    GROUP BY
        CASE
            WHEN ft.flag_type_name IS NOT NULL THEN ft.flag_type_name
            WHEN fd.flag_type IN (
                'ReviewableAkismetPost',
                'ReviewableFlaggedPost',
                'ReviewableChatMessage',
                'ReviewablePost',
                'ReviewableQueuedPost'
            ) THEN 'something_else'
            ELSE fd.flag_type
        END
)
SELECT
    CASE
        WHEN ft.flag_type_name IS NOT NULL THEN ft.flag_type_name
        WHEN fd.flag_type IN (
            'ReviewableAkismetPost',
            'ReviewableFlaggedPost',
            'ReviewableChatMessage',
            'ReviewablePost',
            'ReviewableQueuedPost'
        ) THEN 'something_else'
        ELSE fd.flag_type
    END AS Type,
    COUNT(CASE WHEN fd.flagged_by_username NOT IN ('spam_scanner_bot', 'system') THEN 1 END) AS Reported,
    COUNT(CASE WHEN fd.flagged_by_username IN ('spam_scanner_bot', 'system') THEN 1 END) AS Automated,
    COUNT(*) AS Total,
    COALESCE(mta.median_time_minutes, 0) AS "Tiempo medio de actuación (minutos)",
    COUNT(CASE WHEN fd.user_silenced_till IS NOT NULL THEN 1 END) AS "Usuario silenciado",
    COUNT(CASE WHEN fd.user_suspended_till IS NOT NULL THEN 1 END) AS "Usuario eliminado",
    COUNT(CASE WHEN fd.post_deleted_at IS NOT NULL THEN 1 END) AS "Publicación eliminada",
    COUNT(CASE WHEN fd.post_hidden_at IS NOT NULL THEN 1 END) AS "Publicación oculta"

FROM
    flag_data fd
LEFT JOIN flag_types ft 
    ON fd.post_action_type_id = ft.post_action_type_id
LEFT JOIN median_time_to_act mta 
    ON CASE
        WHEN ft.flag_type_name IS NOT NULL THEN ft.flag_type_name
        WHEN fd.flag_type IN (
            'ReviewableAkismetPost',
            'ReviewableFlaggedPost',
            'ReviewableChatMessage',
            'ReviewablePost',
            'ReviewableQueuedPost'
        ) THEN 'something_else'
        ELSE fd.flag_type
    END = mta.flag_type
WHERE
    ft.flag_type_name IS NOT NULL -- Incluir tipos de marca mapeados
    OR fd.flag_type IN (
        'ReviewableAkismetPost',
        'ReviewableUser',
        'ReviewableFlaggedPost',
        'ReviewableChatMessage',
        'ReviewablePost',
        'ReviewableQueuedPost'
    ) -- Incluir tipos de marca específicos para resultados NULL
GROUP BY
    CASE
        WHEN ft.flag_type_name IS NOT NULL THEN ft.flag_type_name
        WHEN fd.flag_type IN (
            'ReviewableAkismetPost',
            'ReviewableFlaggedPost',
            'ReviewableChatMessage',
            'ReviewablePost',
            'ReviewableQueuedPost'
        ) THEN 'something_else'
        ELSE fd.flag_type
    END,
    mta.median_time_minutes
ORDER BY
    Total DESC

Acciones de moderación tomadas

-- [params]
-- date :start_date = 2024-01-01
-- date :end_date = 2025-01-01
-- null int :action_type

SELECT 
    uh.acting_user_id,
    uh.action AS action_type,
    CASE uh.action
        WHEN 1 THEN 'delete_user'
        WHEN 10 THEN 'suspend_user'
        WHEN 11 THEN 'unsuspend_user'
        WHEN 17 THEN 'delete_post'
        WHEN 18 THEN 'delete_topic'
        WHEN 25 THEN 'reviewed_post'
        WHEN 30 THEN 'silence_user'
        WHEN 31 THEN 'unsilence_user'
        WHEN 39 THEN 'deactivate_user'
        WHEN 41 THEN 'lock_trust_level'
        WHEN 42 THEN 'unlock_trust_level'
        WHEN 47 THEN 'notified_about_get_a_room'
        WHEN 49 THEN 'post_locked'
        WHEN 50 THEN 'post_unlocked'
        WHEN 56 THEN 'post_approved'
        WHEN 60 THEN 'removed_silence_user'
        WHEN 61 THEN 'removed_suspend_user'
        WHEN 62 THEN 'removed_unsilence_user'
        WHEN 63 THEN 'removed_unsuspend_user'
        WHEN 64 THEN 'post_rejected'
        WHEN 69 THEN 'approve_user'
        WHEN 95 THEN 'post_staff_note_create'
        WHEN 96 THEN 'post_staff_note_destroy'
        ELSE 'unknown_action'
    END AS action_name,
    uh.target_user_id AS user_id,
    uh.subject AS "Asunto",     -- Asunto de la acción
    uh.created_at AS "Cuándo",     -- Marca de tiempo de la acción
    uh.details AS "Detalles",     -- Detalles adicionales sobre la acción
    uh.context AS "Contexto",     -- Contexto de la acción
    uh.previous_value,
    uh.new_value,
    u.suspended_till,
    u.silenced_till,
    uh.topic_id AS topic_id,
    uh.post_id AS post_id,
    uh.category_id AS category_id,
    uh.custom_type
FROM 
    user_histories uh
LEFT JOIN 
    users u ON uh.target_user_id = u.id
WHERE 
    uh.created_at BETWEEN :start_date AND :end_date
    AND uh.action IN (
        1,   -- delete_user
        10,  -- suspend_user
        11,  -- unsuspend_user
        17,  -- delete_post
        18,  -- delete_topic
        25,  -- reviewed_post
        30,  -- silence_user
        31,  -- unsilence_user
        39,  -- deactivate_user
        41,  -- lock_trust_level
        42,  -- unlock_trust_level
        47,  -- notified_about_get_a_room
        49,  -- post_locked
        50,  -- post_unlocked
        56,  -- post_approved
        60,  -- removed_silence_user
        61,  -- removed_suspend_user
        62,  -- removed_unsilence_user
        63,  -- removed_unsuspend_user
        64,  -- post_rejected
        69,  -- approve_user
        95,  -- post_staff_note_create
        96   -- post_staff_note_destroy
    )
    AND (:action_type IS NULL OR uh.action = :action_type)
ORDER BY 
    uh.created_at DESC

Y para las advertencias emitidas: https://meta.discourse.org/admin/reports/moderator_warning_private_messages?end_date=2024-12-31&mode=table&start_date=2024-01-01

6 Me gusta

Hola @HAWK

Esto es súper útil. Gracias por compartir.

Tengo un par de preguntas de seguimiento aquí.
  1. En la consulta de informes de DSA, la fecha de inicio tiene el año 2020, mientras que el informe de DSA publicado enumera un período del 1 de enero al 31 de diciembre de 2025. ¿Tiene esto que ver con la forma en que funciona esta consulta o Discourse?
  1. ¿La consulta de acciones de moderación también tiene en cuenta los temas no listados? Tenemos Discourse AI - AI triage habilitado en nuestra instancia, y una de sus acciones es deslistar automáticamente los temas fuera de alcance.
1 me gusta

Cuando la ejecutes en DE habrá campos para establecer los parámetros. Esos son solo valores predeterminados.

Sí, también registra las acciones realizadas por el usuario @system.

1 me gusta

Genial. Deberías añadir esas a las consultas de stock con alguna DSA obvia en el título.

3 Me gusta