Discourse API Google Perspective

:discourse2: Resumo Google Perspective API é o plugin oficial do Google Perspective API para Discourse
:hammer_and_wrench: Link do Repositório https://github.com/discourse/discourse-perspective-api
:open_book: Guia de Instalação Como instalar plugins no Discourse

Recursos

O que é a Perspective API?

De acordo com o site oficial, “Perspective é uma API que facilita a hospedagem de conversas melhores. A API usa modelos de aprendizado de máquina para pontuar o impacto percebido que um comentário pode ter em uma conversa. Este modelo foi treinado pedindo às pessoas para classificar comentários da internet em uma escala de muito tóxico a contribuição muito saudável. Tóxico é definido como… um comentário rude, desrespeitoso ou irracional que provavelmente fará você abandonar uma discussão.”

O que o plugin discourse-perspective-api pode fazer?

  • Solicitar aos usuários se eles têm certeza ao enviar um post potencialmente tóxico, antes do envio.
  • Marcar automaticamente posts tóxicos para revisão por moderadores e administradores.
  • Opcionalmente, analisar categorias privadas e MP’s (mensagens privadas) em busca de conteúdo tóxico.

Configuração

Onde obtenho uma chave da API Perspective?

Siga estas instruções para criar uma conta no Google Cloud e obter acesso a uma chave de API.

A API pode ser usada gratuitamente. Aqui estão os documentos de referência da API.

Passo a passo das Configurações do Site

(Admin → Digite ‘perspective’ no campo de texto Filtro)

A API está atualmente disponível apenas para o idioma inglês.
Os limiares padrão estão definidos como razoavelmente altos, mas essas configurações oferecem alguma personalizabilidade para ajustar o funcionamento deste plugin. Brinque com a demonstração ao vivo nos documentos oficiais vinculados acima para ter uma noção de como os limiares se comportarão.

  • perspective_enabled:
    Ativar o plugin para filtrar posts potencialmente tóxicos.

  • perspective_toxicity_model:
    Escolher o modelo de toxicidade para a API Perspective do Google. Leia mais sobre como esses modelos são desenvolvidos lendo os documentos de referência da API.

    • padrão
      ​classifica comentários rudes, desrespeitosos ou irracionais que provavelmente farão as pessoas abandonarem uma discussão. É mais fácil ultrapassar o limiar no modelo padrão se palavras de baixo calão e insultos forem usados de forma amigável e os posts forem marcados facilmente. Se você escolher um limiar alto de 0,9, o modelo padrão marcará menos posts e tomará menos ações incorretas.

    • toxicidade severa (experimental)
      ​Este modelo usa o mesmo algoritmo do modelo padrão, mas é treinado para reconhecer exemplos que foram considerados ‘muito tóxicos’. Isso o torna muito menos sensível a comentários que incluem usos positivos de palavras de baixo calão, por exemplo. Posts são marcados apenas quando casos extremos de toxicidade são detectados e o limiar para este modelo pode ser reduzido até 0,7 como um valor razoável.

    Por exemplo, um post contendo "I f*****g love you man" seria marcado no modelo padrão (usando os limiares padrão), mas não no modelo toxicidade severa.

  • perspective_notify_posting_min_toxicity_enable:
    Ativar a verificação de conteúdo potencialmente tóxico enquanto um usuário tenta enviar um post e enviar uma notificação no editor quando um usuário escreve algo tóxico.

    • perspective_notify_posting_min_toxicity:
      Se a API retornar uma pontuação superior a este limiar, notificamos o usuário para perguntar se ele tem certeza de que deseja postar conteúdo potencialmente tóxico. O nível de confiança da toxicidade do post entre 0 e 1 é usado para verificar a toxicidade enquanto um usuário está compondo um post, onde uma pontuação de 1 significa extremamente tóxico. Um valor acima de 0,9 deve marcar apenas posts altamente tóxicos, dependendo do modelo usado. Como o usuário será notificado antes de postar, podemos usar um limiar ligeiramente mais baixo aqui, como 0,85, para avisar os usuários com antecedência.
  • perspective_flag_post_min_toxicity_enable:
    Marcar possíveis posts tóxicos que já foram enviados e enviar mensagens para notificar moderadores sobre posts que foram submetidos. Administradores/Moderadores são notificados sobre os posts marcados.

    • perspective_flag_post_min_toxicity:
      Se a API retornar uma pontuação superior a este limiar, marcamos o post para que administradores/moderadores o revisem. O nível de confiança da toxicidade do post entre 0 e 1 é usado para verificar a toxicidade após um usuário ter postado, onde uma pontuação de 1 significa extremamente tóxico. Um valor acima de 0,9 deve marcar apenas posts altamente tóxicos, variando conforme o modelo usado.
  • perspective_google_api_key:
    Chave de API da Perspective API que você recebeu após concluir o processo de registro mencionado acima.

  • perspective_check_private_message:
    Verificar e marcar mensagens privadas se forem tóxicas.
    Nota: O conteúdo da MP será enviado para moderadores/administradores.
    Também se aplica ao modo de preenchimento histórico (backfill).

  • perspective_check_secured_categories:
    Adicionalmente, verificar categorias privadas em busca de conteúdo tóxico ativando esta configuração.

  • perspective_backfill_posts:
    Consultar a toxicidade de posts existentes e registrar os resultados nos campos personalizados do post.
    Ativar este modo desativa a verificação online para posts.

  • perspective_historical_inspection_period:
    O período em dias para iniciar uma nova iteração de consulta após terminar a última iteração. Usado apenas se perspective_backfill_posts estiver habilitado.

Capturas de tela

O que um usuário vê ao tentar enviar um post tóxico:

O que administradores/moderadores veem quando um post tóxico é enviado:

REGISTRO DE ALTERAÇÕES

PENDÊNCIAS


Grandes agradecimentos ao @fantasticfears por criar este plugin!

49 curtidas

Parece que a API foi atualizada e agora suporta mais idiomas, como o russo. Quando haverá uma atualização para estender o suporte no plugin?

2 curtidas

mesma pergunta. Pode funcionar para o idioma português, pois ele é suportado pela API atualmente?

EDIT: Testei e funcionou perfeitamente em português.

Estou adorando.

5 curtidas

Algo novo sobre esta API? Sinceramente, gostaria de saber se mais alguém ainda a está usando e se tem algo a dizer

Nossos clientes estão usando o recurso “Triagem por Persona” no plugin Discourse AI, que pode fazer tudo isso, mas permite flexibilidade para as especificidades de cada comunidade.

4 curtidas

Gemini Flash 2.0 não é mais suficiente para minha comunidade, basicamente eu não tenho uma ferramenta de toxicidade exceto esta API, mas tudo bem, eu pensarei nisso mais tarde.

O Gemini Flash 2.0 está várias versões desatualizado, tente usar a versão atual do Gemini Flash.

2 curtidas

Aviso Importante: A Perspective API está sendo descontinuada e o serviço será oficialmente encerrado após 2026.

Suponho que possamos mudar para soluções de LLM (Large Language Model) gerais? Assim como fizemos com a filtragem de spam? Existe um roteiro ao qual eu possa me inscrever?

1 curtida

Sim, use IA + Automação como dito acima

4 curtidas