Discourse API Google Perspective

:discourse2: Resumo Google Perspective API é o plugin oficial do Google Perspective API para Discourse
:hammer_and_wrench: Link do Repositório https://github.com/discourse/discourse-perspective-api
:open_book: Guia de Instalação Como instalar plugins no Discourse

Recursos

O que é a Perspective API?

De acordo com o site oficial, “Perspective é uma API que facilita a hospedagem de conversas melhores. A API usa modelos de aprendizado de máquina para pontuar o impacto percebido que um comentário pode ter em uma conversa. Este modelo foi treinado pedindo às pessoas para classificar comentários da internet em uma escala de muito tóxico a contribuição muito saudável. Tóxico é definido como… um comentário rude, desrespeitoso ou irracional que provavelmente fará você abandonar uma discussão.”

O que o plugin discourse-perspective-api pode fazer?

  • Solicitar aos usuários se eles têm certeza ao enviar um post potencialmente tóxico, antes do envio.
  • Marcar automaticamente posts tóxicos para revisão por moderadores e administradores.
  • Opcionalmente, analisar categorias privadas e MP’s (mensagens privadas) em busca de conteúdo tóxico.

Configuração

Onde obtenho uma chave da API Perspective?

Siga estas instruções para criar uma conta no Google Cloud e obter acesso a uma chave de API.

A API pode ser usada gratuitamente. Aqui estão os documentos de referência da API.

Passo a passo das Configurações do Site

(Admin → Digite ‘perspective’ no campo de texto Filtro)

A API está atualmente disponível apenas para o idioma inglês.
Os limiares padrão estão definidos como razoavelmente altos, mas essas configurações oferecem alguma personalizabilidade para ajustar o funcionamento deste plugin. Brinque com a demonstração ao vivo nos documentos oficiais vinculados acima para ter uma noção de como os limiares se comportarão.

  • perspective_enabled:
    Ativar o plugin para filtrar posts potencialmente tóxicos.

  • perspective_toxicity_model:
    Escolher o modelo de toxicidade para a API Perspective do Google. Leia mais sobre como esses modelos são desenvolvidos lendo os documentos de referência da API.

    • padrão
      ​classifica comentários rudes, desrespeitosos ou irracionais que provavelmente farão as pessoas abandonarem uma discussão. É mais fácil ultrapassar o limiar no modelo padrão se palavras de baixo calão e insultos forem usados de forma amigável e os posts forem marcados facilmente. Se você escolher um limiar alto de 0,9, o modelo padrão marcará menos posts e tomará menos ações incorretas.

    • toxicidade severa (experimental)
      ​Este modelo usa o mesmo algoritmo do modelo padrão, mas é treinado para reconhecer exemplos que foram considerados ‘muito tóxicos’. Isso o torna muito menos sensível a comentários que incluem usos positivos de palavras de baixo calão, por exemplo. Posts são marcados apenas quando casos extremos de toxicidade são detectados e o limiar para este modelo pode ser reduzido até 0,7 como um valor razoável.

    Por exemplo, um post contendo "I f*****g love you man" seria marcado no modelo padrão (usando os limiares padrão), mas não no modelo toxicidade severa.

  • perspective_notify_posting_min_toxicity_enable:
    Ativar a verificação de conteúdo potencialmente tóxico enquanto um usuário tenta enviar um post e enviar uma notificação no editor quando um usuário escreve algo tóxico.

    • perspective_notify_posting_min_toxicity:
      Se a API retornar uma pontuação superior a este limiar, notificamos o usuário para perguntar se ele tem certeza de que deseja postar conteúdo potencialmente tóxico. O nível de confiança da toxicidade do post entre 0 e 1 é usado para verificar a toxicidade enquanto um usuário está compondo um post, onde uma pontuação de 1 significa extremamente tóxico. Um valor acima de 0,9 deve marcar apenas posts altamente tóxicos, dependendo do modelo usado. Como o usuário será notificado antes de postar, podemos usar um limiar ligeiramente mais baixo aqui, como 0,85, para avisar os usuários com antecedência.
  • perspective_flag_post_min_toxicity_enable:
    Marcar possíveis posts tóxicos que já foram enviados e enviar mensagens para notificar moderadores sobre posts que foram submetidos. Administradores/Moderadores são notificados sobre os posts marcados.

    • perspective_flag_post_min_toxicity:
      Se a API retornar uma pontuação superior a este limiar, marcamos o post para que administradores/moderadores o revisem. O nível de confiança da toxicidade do post entre 0 e 1 é usado para verificar a toxicidade após um usuário ter postado, onde uma pontuação de 1 significa extremamente tóxico. Um valor acima de 0,9 deve marcar apenas posts altamente tóxicos, variando conforme o modelo usado.
  • perspective_google_api_key:
    Chave de API da Perspective API que você recebeu após concluir o processo de registro mencionado acima.

  • perspective_check_private_message:
    Verificar e marcar mensagens privadas se forem tóxicas.
    Nota: O conteúdo da MP será enviado para moderadores/administradores.
    Também se aplica ao modo de preenchimento histórico (backfill).

  • perspective_check_secured_categories:
    Adicionalmente, verificar categorias privadas em busca de conteúdo tóxico ativando esta configuração.

  • perspective_backfill_posts:
    Consultar a toxicidade de posts existentes e registrar os resultados nos campos personalizados do post.
    Ativar este modo desativa a verificação online para posts.

  • perspective_historical_inspection_period:
    O período em dias para iniciar uma nova iteração de consulta após terminar a última iteração. Usado apenas se perspective_backfill_posts estiver habilitado.

Capturas de tela

O que um usuário vê ao tentar enviar um post tóxico:

O que administradores/moderadores veem quando um post tóxico é enviado:

REGISTRO DE ALTERAÇÕES

PENDÊNCIAS


Grandes agradecimentos ao @fantasticfears por criar este plugin!

49 curtidas