Discusión aleatoria sobre la configuración de LLM en Discourse

[Saif (Saif Murtaza)]

@AquaL1te

¿Hay también un tema que ofrezca un resumen general del mejor equilibrio costo/calidad? ¿O incluso qué LLM se puede usar de forma gratuita para una comunidad pequeña y funcionalidad básica? Puedo profundizar en los detalles y experimentar. Pero tengo un poco de prisa.

Tenemos este tema, que podría ser lo que buscas.

¿Qué LLM usar para Discourse AI?

Es importante comprender las necesidades tanto del administrador de la comunidad como de sus miembros al elegir un Modelo de Lenguaje Grande (LLM) para potenciar las funciones de IA de Discourse. Varios factores pueden influir en sus decisiones: Rendimiento para el caso de uso: ¿Busca el modelo con el mejor rendimiento? El rendimiento puede variar según la tarea (por ejemplo, resumen, búsqueda, razonamiento complejo, detección de spam). La evaluación se basa en la capacidad del modelo para ge…