Es importante comprender las necesidades de usted como administrador de la comunidad y de sus miembros al elegir un Modelo de Lenguaje Grande (LLM) para potenciar las funciones de Discourse AI.
Varios factores pueden influir en sus decisiones:
- Rendimiento para el caso de uso: ¿Busca el modelo con mejor rendimiento? El rendimiento puede variar según la tarea (por ejemplo, resumen, búsqueda, razonamiento complejo, detección de spam). La evaluación se basa en la capacidad del modelo para generar respuestas correctas, relevantes y coherentes.
- Longitud del contexto: La ventana de contexto es la cantidad de texto que un modelo puede “ver” y considerar a la vez. Las ventanas de contexto más grandes permiten procesar más información (por ejemplo, temas más largos para resumir) y mantener la coherencia en interacciones más largas.
- Compatibilidad: ¿El modelo es compatible de fábrica con el plugin Discourse AI? ¿Requerirá puntos de conexión API o configuración específicos? Consulte la documentación del plugin para conocer los proveedores y modelos compatibles.
- Soporte de idiomas: Si bien muchos LLM de primer nivel manejan bien varios idiomas, el rendimiento puede variar. Si su comunidad utiliza principalmente un idioma que no sea el inglés, se recomienda probar modelos específicos para ese idioma.
- Capacidades multimodales: Algunas funciones, como la Clasificación de IA (detección de NSFW), requieren modelos que puedan procesar imágenes (visión). Asegúrese de que el modelo elegido admita las modalidades requeridas.
- Velocidad y modos: Los modelos más grandes y potentes pueden ser más lentos. Para funciones en tiempo real como el Asistente de IA o la Búsqueda, los modelos más rápidos pueden ofrecer una mejor experiencia de usuario. Algunos modelos (como Claude 3.7 Sonnet) ofrecen diferentes modos, lo que permite un compromiso entre velocidad y razonamiento más profundo.
- Costo: El presupuesto suele ser un factor clave. Los costos de los modelos varían significativamente según el proveedor y el nivel del modelo. Los costos generalmente se miden por token (entrada y salida). Los modelos más rápidos/pequeños son generalmente más baratos que los modelos grandes/de alto rendimiento. Los modelos de código abierto a menudo se pueden ejecutar de manera más rentable según el alojamiento.
- Preocupaciones de privacidad: Diferentes proveedores de LLM tienen políticas variables de uso de datos y privacidad. Revise los términos de servicio, especialmente en lo que respecta a si sus datos pueden utilizarse con fines de entrenamiento. Algunos proveedores ofrecen opciones de retención de datos cero.
- Código abierto vs. cerrado: Los modelos de código abierto ofrecen transparencia y la posibilidad de autoalojamiento o ajuste fino, aunque pueden requerir más esfuerzo técnico. Los modelos de código cerrado suelen ser más fáciles de usar a través de API, pero ofrecen menos control y transparencia.
Elección de un LLM para las funciones de Discourse AI
El panorama de los LLM evoluciona rápidamente. La siguiente tabla proporciona una visión general de los modelos populares y capaces actualmente adecuados para diversas funciones de Discourse AI, categorizados por sus fortalezas y perfiles de costo típicos. Los modelos dentro de cada categoría se enumeran en orden alfabético.
Estas son pautas generales. Consulte siempre la documentación oficial del plugin Discourse AI para obtener la lista más actualizada de modelos compatibles y las configuraciones requeridas. El rendimiento y el costo cambian con frecuencia; consulte la documentación del proveedor de LLM para obtener los últimos detalles. La disponibilidad y el rendimiento de los modelos de código abierto pueden depender del proveedor específico o de la configuración de alojamiento.
Una opción alternativa para los clientes alojados es utilizar los LLM de peso abierto preconfigurados alojados por Discourse. Estos a menudo se pueden habilitar a través de Administrador → Configuración → IA →
ai_llm_enabled_modelso configuraciones de funciones específicas.
| Categoría | Modelo | Proveedor | Fortalezas clave / Casos de uso | Notas |
|---|---|---|---|---|
| Rendimiento/Razonamiento Superior | Claude 3.7 Sonnet (Thinking) | Anthropic | Máxima capacidad de razonamiento, tareas complejas, análisis, generación | Utiliza más recursos/tiempo que el modo normal, excelente visión |
| DeepSeek-R1 | DeepSeek | Fuerte razonamiento, competitivo con los mejores, codificación, matemáticas | Opción de código abierto, potencialmente menor costo que equivalentes propietarios | |
| Gemini 2.5 Pro | Alto rendimiento, ventana de contexto muy grande, multimodal fuerte | Excelente todoterreno, se integra bien con el ecosistema de Google | ||
| OpenAI o1 / o1-pro | OpenAI | Razonamiento de vanguardia, tareas complejas, generación | Mayor costo, o1-pro probablemente necesario para la máxima capacidad a través de API |
|
| Equilibrado (Multiuso) | Claude 3.7 Sonnet (Regular) | Anthropic | Alto rendimiento, buen razonamiento, contexto amplio, visión, modo más rápido | Excelente opción predeterminada, equilibra velocidad y capacidad |
| DeepSeek-V3 | DeepSeek | Fuerte rendimiento general, buena relación calidad-precio | Opción de código abierto, rentable para uso general | |
| GPT-4o | OpenAI | Todoterreno muy fuerte, multimodal bueno, ampliamente compatible | Gran equilibrio de rendimiento, velocidad y costo | |
| OpenAI o3-mini | OpenAI | Buen rendimiento y razonamiento por el costo | Un modelo de razonamiento flexible e inteligente adecuado para muchas tareas | |
| Rentable/Velocidad | Claude 3.5 Haiku | Anthropic | Extremadamente rápido y de bajo costo, adecuado para tareas más simples | Mejor para necesidades de alto volumen y baja latencia como búsqueda, resúmenes básicos |
| Gemini 2.0 Flash | Muy rápido y rentable, buenas capacidades generales | Bueno para resúmenes, búsqueda, tareas de ayuda | ||
| GPT-4o mini | OpenAI | Versión rápida y asequible de GPT-4o, buena para muchas tareas | Buen equilibrio de costo/rendimiento para funciones más simples | |
| Llama 3.3 (por ejemplo, 70B) | Meta | Fuerte modelo de código abierto, a menudo opción multiusos rentable | El rendimiento varía según el proveedor/alojamiento, requiere verificar la compatibilidad | |
| Capaz de Visión | Claude 3.7 Sonnet | Anthropic | Fuertes capacidades de visión (ambos modos) | Requerido para Clasificación de IA/Detección de NSFW |
| Gemini 2.5 Pro / 2.0 Flash | Fuertes capacidades de visión | Requerido para Clasificación de IA/Detección de NSFW | ||
| GPT-4o / GPT-4o mini | OpenAI | Texto y visión integrados | Requerido para Clasificación de IA/Detección de NSFW | |
| Llama 3.2 | Meta | Capacidades de visión de código abierto | Requiere verificar la compatibilidad/alojamiento/soporte del proveedor | |
| LLM Alojado por Discourse | Discourse | Modelo de visión preconfigurado para sitios alojados | Consulte la configuración específica de la función (por ejemplo, Detección de NSFW) | |
| Qwen-VL / otros | Varios | Consulte el plugin Discourse AI para modelos de visión compatibles específicos | La configuración puede variar |
Recomendaciones generales de mapeo (Simplificado):
- Bot de IA (Preguntas y Respuestas complejas, Persona): Modelos de Rendimiento/Razonamiento Superior (Claude 3.7 Sonnet - Thinking, R1, Gemini 2.5 Pro, o1-pro) o modelos Equilibrados fuertes (GPT-4o, Claude 3.7 Sonnet - Regular, o3-mini).
- Búsqueda de IA: Modelos Rentables/Velocidad (Haiku 3.5, Gemini 2.0 Flash, GPT-4o mini, Llama 3.3) o modelos Equilibrados para una mejor comprensión (GPT-4o, DeepSeek-V3).
- Asistente de IA (Sugerencias de Títulos, Corrección): Modelos Rentables/Velocidad o modelos Equilibrados. La velocidad a menudo es preferible. Claude 3.7 Sonnet (Regular) o GPT-4o mini son buenas opciones. Llama 3.3 también puede funcionar bien aquí.
- Resumir: Modelos Equilibrados (Claude 3.7 Sonnet - Regular, GPT-4o, o3-mini, DeepSeek-V3) o modelos Rentables (Gemini 2.0 Flash, Llama 3.3). Las ventanas de contexto más largas (Gemini 2.5 Pro, Sonnet 3.7) son beneficiosas para temas largos si el presupuesto lo permite.
- Detección de Spam / Clasificación de IA (Texto): Los modelos Rentables/Velocidad suelen ser suficientes y rentables (Haiku 3.5, Gemini 2.0 Flash, GPT-4o mini, Llama 3.3).
- Clasificación de IA (Detección de Imágenes NSFW): Requiere un modelo con Capacidad de Visión (GPT-4o/mini, Sonnet 3.7, Gemini 2.5 Pro/2.0 Flash, Llama 3.2, modelos específicos alojados/compatibles por Discourse).
Recuerde configurar el (los) LLM seleccionado(s) en la configuración de Administrador de Discourse bajo las funciones de IA relevantes.