Sou novo em IA de discurso. Estou usando “sentence-transformers/all-mpnet-base-v2” como meu modelo de embedding. Isso é suficiente para fazer pesquisa semântica?
Ou devo adicionar um modelo Hyde para isso?
Por favor, me guie nisso.
Você também precisa de um LLM para pesquisa semântica. Se você quiser auto-hospedar, veja Auto-hospedando um LLM OpenSource para DiscourseAI.
Muito obrigado.
Você poderia me dar uma ideia sobre os requisitos para hospedar um modelo como “mistralai/Mistral-7B-Instruct-v0.2” on-premise e na nuvem para um site de nível empresarial, por favor?
E também não consigo encontrar nenhum tokenizador para este modelo no painel de administração.
Não há nada específico do Discourse aqui, então as regras padrão se aplicam. Um modelo de 7B, se executado usando fp16, consumirá ~14GB de VRAM mais o espaço para o contexto. Você pode usar quantização fp8 para reduzir isso pela metade, mas esse modelo antigo não é o melhor para isso.
Como não é viável enviar todos os tokenizadores possíveis, você deve escolher o mais próximo entre os tokenizadores disponíveis.
1 curtida
Você pode nos sugerir alguns modelos de LLM para esse cenário? Podemos hospedar nosso modelo localmente, então gostaríamos de saber o fator de compatibilidade dos modelos com Discourse.
Obrigado.
Depende do seu orçamento, do idioma de destino que você quer dar suporte e de quais recursos do Discourse AI você deseja.
Hoje, Qwen 2.5 Instruct em 32B ou 72B são fortes concorrentes.
Existe alguma maneira de usarmos um modelo menor para o recurso de sumarização? Porque os LLMs exigem um orçamento maior, e talvez precisemos optar por algo mais compacto por enquanto…
Sim, você pode usar qualquer modelo que desejar.
1 curtida
Podemos alterar o payload para o modelo para sumarização ou qualquer outra função?
Especialmente, quero mudar o conteúdo do sistema.
{‘role’: ‘system’, ‘content’: ‘Você é um bot de sumarização avançado que gera resumos concisos e coerentes do texto fornecido.\\n\\n- Inclua apenas o resumo, sem comentários adicionais.\\n- Você entende e gera Markdown do fórum Discourse; incluindo links, itálicos, negrito.\\n- Mantenha o idioma original do texto que está sendo resumido.\\n- Procure resumos com 400 palavras ou menos.\\n- Cada postagem é formatada como “\u003cPOST_NUMBER\u003e) ”\\n- Cite postagens específicas notáveis usando o formato DESCRIÇÃO\\n - Exemplo: links para a 3ª e 6ª postagens de sam: sam (#3, #6)\\n - Exemplo: link para a 6ª postagem de jane: concordou com\\n - Exemplo: link para a 13ª postagem de joe: joe\\n- Ao formatar nomes de usuário, use @NOMEDEUSUÁRIO OU NOME DE USUÁRIO’}
Se possível, como fazer isso?
1 curtida
No momento, isso não é possível, mas já começamos a trabalhar para viabilizar. Deve estar disponível nas próximas semanas.
2 curtidas