API Perspective do Google Discourse

:discourse2: Resumo Google Perspective API é o plugin oficial da API Google Perspective para Discourse
:hammer_and_wrench: Link do Repositório https://github.com/discourse/discourse-perspective-api
:open_book: Guia de Instalação Como instalar plugins no Discourse

Recursos

O que é a API Perspective?

De o site oficial, “Perspective é uma API que facilita a hospedagem de conversas melhores. A API usa modelos de aprendizado de máquina para pontuar o impacto percebido que um comentário pode ter em uma conversa. Este modelo foi treinado pedindo a pessoas que avaliassem comentários na internet em uma escala de muito tóxico a muito saudável. Tóxico é definido como… um comentário rude, desrespeitoso ou irracional que provavelmente fará você sair de uma discussão.”

O que o plugin discourse-perspective-api pode fazer?

  • Alertar os usuários se eles têm certeza sobre enviar um post potencialmente tóxico, antes de enviar.
  • Marcar automaticamente posts tóxicos para revisão por moderadores e administradores.
  • Opcionalmente, escanear categorias privadas e mensagens privadas (PMs) por conteúdo tóxico

Configuração

Onde obtenho uma chave da API Perspective?

Siga estas instruções para criar uma conta no Google Cloud e obter acesso a uma chave de API.

A API pode ser usada gratuitamente; aqui estão os documentos de referência da API.

Passo a passo das Configurações do Site

(Admin → Digite ‘perspective’ no campo de filtro de texto)

A API está atualmente disponível apenas para o idioma inglês.
Os limites padrão são definidos para serem razoavelmente altos, mas essas configurações oferecem alguma personalização para ajustar como este plugin funciona. Experimente a demonstração ao vivo na documentação oficial vinculada acima para ter uma ideia de como os limites se comportarão.

  • perspective_enabled:
    Ativa o plugin para filtrar posts potencialmente tóxicos.

  • perspective_toxicity_model:
    Escolha o modelo de toxicidade para a API Perspective do Google. Leia mais sobre como esses modelos são desenvolvidos lendo os documentos de referência da API.

    • padrão
      Classifica comentários rudes, desrespeitosos ou irracional que provavelmente farão as pessoas saírem de uma discussão. É mais fácil ultrapassar o limite no modelo padrão se palavrões e insultos forem usados de forma amigável e os posts forem marcados facilmente. Se você escolher um limite alto de 0,9, o modelo padrão marcará menos posts e tomará menos ações incorretas.

    • toxicidade severa (experimental)
      Este modelo usa o mesmo algoritmo que o modelo padrão, mas foi treinado para reconhecer exemplos considerados ‘muito tóxicos’. Isso o torna muito menos sensível a comentários que incluem usos positivos de palavrões, por exemplo. Os posts são marcados apenas quando casos extremos de toxicidade são detectados e o limite para este modelo pode ser reduzido até 0,7 como um valor razoável.

    Por exemplo, um post contendo "Eu te amo, caralho, cara" seria marcado sob o modelo padrão (usando os limites padrão), mas não com o modelo toxicidade severa.

  • perspective_notify_posting_min_toxicity_enable:
    Ativa a verificação de conteúdo potencialmente tóxico enquanto um usuário está tentando enviar um post e envia uma notificação no compositor quando um usuário escreve algo tóxico.

    • perspective_notify_posting_min_toxicity:
      Se a API retornar uma pontuação maior que este limite, notificamos o usuário perguntando se ele tem certeza de que deseja postar conteúdo potencialmente tóxico. O nível de confiança da toxicidade do post entre 0 e 1 usado para verificar a toxicidade enquanto um usuário está compondo um post, onde uma pontuação de 1 significa extremamente tóxico. Um valor acima de 0,9 deve marcar apenas posts altamente tóxicos, dependendo do modelo usado. Como o usuário será notificado antes de postar, podemos usar um limite ligeiramente menor aqui, como 0,85, para alertar os usuários antes.
  • perspective_flag_post_min_toxicity_enable:
    Marca possíveis posts tóxicos que já foram enviados e envia mensagens para notificar moderadores sobre posts que foram submetidos. Administradores/Moderadores são notificados sobre os posts marcados.

    • perspective_flag_post_min_toxicity:
      Se a API retornar uma pontuação maior que este limite, marcamos o post para revisão por administradores/moderadores. O nível de confiança da toxicidade do post entre 0 e 1 usado para verificar a toxicidade após um usuário ter postado, onde uma pontuação de 1 significa extremamente tóxico. Um valor acima de 0,9 deve marcar apenas posts altamente tóxicos, variando conforme o modelo usado.
  • perspective_google_api_key:
    Chave de API para a API Perspective que você recebeu após concluir o processo de registro mencionado acima.

  • perspective_check_private_message:
    Verifica e marca mensagens privadas se forem tóxicas.
    Nota: O conteúdo da PM será enviado para moderadores/administradores.
    Aplica-se também ao modo de preenchimento posterior (backfill).

  • perspective_check_secured_categories:
    Verifica adicionalmente categorias privadas por conteúdo tóxico ativando esta configuração.

  • perspective_backfill_posts:
    Consulta a toxicidade de posts existentes e registra os resultados em campos personalizados de post.
    Ativar este modo desativa a verificação online de posts.

  • perspective_historical_inspection_period:
    O período em dias para iniciar uma nova iteração de consulta após terminar a última iteração. Usado apenas se perspective_backfill_posts estiver ativado.

Capturas de Tela

O que um usuário vê ao tentar enviar um post tóxico:

O que administradores/moderadores veem quando um post tóxico é enviado:

LOG DE ALTERAÇÕES

A FAZER


Muito obrigado a @fantasticfears por criar este plugin!

49 curtidas

Parece que a API foi atualizada e agora suporta mais idiomas, como o russo. Quando haverá uma atualização para estender o suporte no plugin?

2 curtidas

mesma pergunta. Pode funcionar para o idioma português, pois ele é suportado pela API atualmente?

EDIT: Testei e funcionou perfeitamente em português.

Estou adorando.

5 curtidas

Algo novo sobre esta API? Sinceramente, gostaria de saber se mais alguém ainda a está usando e se tem algo a dizer

Nossos clientes estão usando o recurso “Triagem por Persona” no plugin Discourse AI, que pode fazer tudo isso, mas permite flexibilidade para as especificidades de cada comunidade.

4 curtidas

Gemini Flash 2.0 não é mais suficiente para minha comunidade, basicamente eu não tenho uma ferramenta de toxicidade exceto esta API, mas tudo bem, eu pensarei nisso mais tarde.

O Gemini Flash 2.0 está várias versões desatualizado, tente usar a versão atual do Gemini Flash.

2 curtidas

Aviso Importante: A Perspective API está sendo descontinuada e o serviço será oficialmente encerrado após 2026.

Suponho que possamos mudar para soluções de LLM (Large Language Model) gerais? Assim como fizemos com a filtragem de spam? Existe um roteiro ao qual eu possa me inscrever?

1 curtida

Sim, use IA + Automação como dito acima

4 curtidas