Discourse AI - Uso de IA

[Saif (Saif Murtaza)]

Este guia abrange a página de uso de IA, que faz parte do plugin Discourse AI.

Nível de usuário necessário: Administrador

A página de uso de IA foi projetada para administradores entenderem como a comunidade está usando os recursos do Discourse AI ao longo do tempo. Isso pode ser útil em Estimating costs of using LLMs for Discourse AI.

Funcionalidades

• Horizonte de tempo: últimas 24 horas, última semana, último mês e intervalo de datas personalizado
• Selecionável por funcionalidade do Discourse AI
• Selecionável por LLMs ativados
• Prévia de resumo
  • Solicitações totais: Todas as solicitações feitas a LLMs através do Discourse
  • Tokens totais: Todos os tokens usados ao solicitar um LLM
  • Tokens de solicitação: Tokens usados quando o LLM tenta entender o que você está dizendo
  • Tokens de resposta: Tokens usados quando o LLM responde à sua solicitação
  • Tokens de leitura de cache: Tokens de solicitação processados anteriormente que o LLM reutiliza do cache para otimizar o desempenho e o custo
  • Tokens de gravação de cache: Tokens de solicitação que foram gravados no cache para possível reutilização futura
  • Custo estimado: Custo cumulativo de todos os tokens usados pelos LLMs com base nas métricas de custo especificadas adicionadas às configurações do LLM
• Gráfico de barras interativo mostrando o uso de tokens
• Token, contagem de uso e custo estimado por funcionalidade do Discourse AI
• Token, contagem de uso e custo estimado por LLM
• Token, contagem de uso e custo estimado por usuário

Ativando o uso de IA

Pré-requisitos

Para que os dados sejam preenchidos, você deve configurar pelo menos um Modelo de Linguagem Grande (LLM) de um provedor e ter membros usando os recursos do Discourse AI.

Para começar, você pode configurar LLMs através da página de configurações Discourse AI - Large Language Model (LLM).

• OpenAI
• Anthropic
• Azure OpenAI
• AWS Bedrock
• Google Gemini
• Mistral
• Groq
• SambaNova
• Open Router
• Cohere
• HuggingFace
• vLLM / Auto-hospedagem de um LLM de código aberto

Configuração

1. Vá para as configurações Admin → Plugins → AI → aba Settings e certifique-se de que está ativado (discourse ai enabled)
2. Dentro do plugin de IA, navegue até a aba Usage

FAQ Técnico

O que são tokens e como eles funcionam?

• Tokens são as unidades básicas que os LLMs usam para entender e gerar texto; dados de uso podem afetar os custos. Consulte Estimando custos de uso de LLMs para Discourse AI para saber mais.