Las métricas de Discourse ya son bastante buenas; sin embargo, para comprender eficazmente la salud de tu comunidad o quizás de ciertos temas, sería genial contar con algún tipo de métrica integrada para esto o tal vez un plugin que monitoree ciertos foros o discusiones dentro de una instancia de Discourse.
El cálculo del sentimiento es fácil de realizar con una fórmula de hoja de cálculo de Excel o quizás con una API de código abierto.
Sí, tenemos un plugin que utiliza la API Perspective de Google, la cual analiza publicaciones y usuarios individuales.
Sin embargo, el análisis de sentimiento a nivel de tema parece un enfoque interesante, o incluso a nivel de categoría o etiqueta. Esto podría ayudar a alguien a asignar mejor los recursos de moderación en un foro muy grande (por ejemplo, si la categoría feature tuviera un sentimiento general negativo, se podrían asignar más moderadores allí).
Has dado en el clavo con lo que quería expresar. Estoy considerando la misma perspectiva: una herramienta para moderadores o personal que permita evaluar de un vistazo el nivel de sentimiento de un tema y tomar medidas preventivas orientando la discusión de modo que el sentimiento de la conversación se vuelva positivo.
También voy a examinar el complemento de la API Perspective de Google.
Además, podría ser útil que un plugin de análisis de sentimiento de temas tuviera la opción de tomar una acción automática si el sentimiento comenzara a disminuir… por ejemplo, cerrar el tema durante 24 horas para que todos se calmen (solo advertiría que el peso del sentimiento debería distribuirse entre los participantes, de modo que un individuo no pueda manipular el sistema para forzar el cierre automático de un tema).
Me interesa más esto cuanto más lo pienso. Una de las debilidades que encontramos al analizar el sentimiento de publicaciones individuales fue que la API de Perspective no sabía cuándo alguien estaba bromeando o siendo sarcástico… si el sentimiento de las respuestas se mide al mismo tiempo, eso podría ser una señal más fuerte (¡porque si alguien realmente está siendo abusivo, el sentimiento en las respuestas también será más probable que sea negativo!).
Sospecho firmemente que obtendrías el 95% del mismo beneficio mediante la limitación de velocidad en temas donde las personas publican muy rápido, según la discusión anterior.
También me pregunto si los beneficios superan los costos potenciales. En otro tema de esta semana, vimos que la API de traducción generó una factura de 1000 dólares para un solo sitio solo mediante la detección de idiomas.
Si tu sitio es tan grande que dependes de un indicador temático para determinar el sentimiento, los costos potenciales de generar ese pequeño semáforo podrían ser considerables.
Google estructura los precios de manera bastante diferente a la de Translate. El análisis de sentimientos en la NLAPI cuesta 1 dólar por 1000 unidades de hasta 1000 caracteres, por lo que cada respuesta será como mínimo una unidad. Dado que cada respuesta debe evaluarse por separado, cada respuesta representa como mínimo una unidad. En una estimación muy aproximada, podría ser alrededor de una octava parte del costo de la API de traducción, pero aún así es una cifra bastante grande para sustituir al personal que interactúa con las publicaciones escritas.