Página de configuración de Discourse AI - Modelo de Lenguaje Grande (LLM)

[Discourse]

Esta guía cubre la página de configuración de LLM, que forma parte del plugin Discourse AI.

Nivel de usuario requerido: Administrador

La página de configuración dedicada está diseñada para tener todo lo relacionado con los Modelos de Lenguaje Grandes (LLM) utilizados para las funciones de Discourse AI en un solo lugar.

Dependiendo de la función de Discourse AI habilitada, se podría necesitar un LLM. Por favor, compruebe cada función de Discourse AI para saber si un LLM es un requisito previo.

Funciones

• Añadir nuevos modelos, con información prellenada
• Añadir modelos personalizados no mencionados
• Configurar ajustes de LLM
• Permitir el uso de LLM específico para el Bot de IA
  • Ver el nombre de usuario del Bot de IA
• Habilitar soporte de visión (dependiente del modelo)
• Probar
• Guardar ajustes

Añadir conexiones LLM

1. Vaya a Admin → Plugins → AI
2. Vaya a la pestaña LLMs
3. Añada una nueva conexión, elija su modelo
4. Introduzca la clave API (dependiendo del modelo, puede que tenga más campos para introducir manualmente) y guarde
5. (Opcional) Pruebe su conexión para asegurarse de que funciona

LLMs Soportados

Siempre puede añadir una opción personalizada si no ve su modelo listado. Los modelos soportados se añaden continuamente.

• Grok-2
• Deepseek-R1
• Nova Pro
• Nova Lite
• Nova Micro
• o3-pro
• o3
• o3-mini
• GPT-4.1 (incluyendo: nano, mini)
• GPT-4o
• GPT-4o mini
• OpenAI o1 Preview
• OpenAI o1 mini Preview
• Claude Sonnet 3.7
• Claude Sonnet 3.5
• Claude Haiku 3.5
• Gemini Pro 1.5
• Gemini Flash 1.5
• Gemini Flash 2.0
• Llama 3.1
• Llama 3.3
• Mistral large
• Pixtral large
• Qwen 2.5 Coder

Adicionalmente, los clientes alojados pueden usar el CDCK Hosted Small LLM (Qwen 2.5) preconfigurado en la página de configuración. Este es un LLM de pesos abiertos alojado por Discourse, listo para ser utilizado para potenciar las funciones de IA.

Campos de configuración

Solo verá los campos relevantes para su proveedor de LLM seleccionado. Por favor, verifique cuidadosamente cualquiera de los campos prellenados con el proveedor apropiado, como Nombre del modelo

• Nombre a mostrar
• Nombre del modelo
• Servicio que aloja el modelo
• URL del servicio que aloja el modelo
• Clave API del servicio que aloja el modelo
• ID de clave de acceso de AWS Bedrock
• Región de AWS Bedrock
• ID de organización opcional de OpenAI
• Tokenizador
• Número de tokens para el prompt
• Habilitar API de respuestas (Solo OpenAI, asegúrese de establecer la URL en https://api.openai.com/v1/responses)

FAQ Técnica

¿Qué es un tokenizador?

• El tokenizador traduce cadenas en tokens, que es lo que un modelo utiliza para entender la entrada.

¿Qué número debo usar para Número de tokens para el prompt ?

• Una regla general es el 50% de la ventana de contexto del modelo, que es la suma de cuántos tokens envía y cuántos tokens generan. Si el prompt se vuelve demasiado grande, la solicitud fallará. Ese número se utiliza para recortar el prompt y evitar que eso suceda.

Advertencias

• A veces, es posible que no vea el modelo que quería usar listado. Aunque puede añadirlos manualmente, daremos soporte a los modelos populares a medida que salgan.

[qianping_chen (rouin)]

Es demasiado difícil, no sé cómo hacerlo. Espero que actualicen tutoriales específicos sobre varias IA, como la configuración de inicio de sesión de Google.

[sam (Sam Saffron)]

Hemos mejorado mucho la interfaz de usuario en la última semana, ¿puedes probarla de nuevo?

[hameedacpa (Abdelhamid)]

¿Cuándo será compatible con Gemini 2.0?

[sam (Sam Saffron)]

Ha sido apoyado durante bastante tiempo.

[Joe_F (Joe Farrar)]

Parece que tengo un problema donde no puedo seleccionar un LLM aunque tengo los configurados en los alojados por CDCK..

¿esto es normal?

[sam (Sam Saffron)]

Aquí hay mucho que desempacar, ¿qué LLM intentas elegir y para qué?

Los LLM de CDCK solo están disponibles para características muy específicas; para ver cuáles necesitas, dirígete a /admin/whats-new en tu instancia y haz clic en “mostrar solo características experimentales”, deberás habilitarlas para desbloquear el LLM de CDCK en características específicas.

Cualquier LLM que definas fuera de los LLM de CDCK está disponible para todas las características.

[AquaL1te]

¿También hay un tema que ofrezca un resumen general del mejor equilibrio entre costo y calidad? ¿O incluso qué LLM se puede usar de forma gratuita para una pequeña comunidad y funcionalidad básica? Puedo profundizar en los detalles y experimentar. Pero tengo un poco de prisa.

Por ejemplo, solo me preocupa la detección de spam y un filtro de lenguaje inapropiado. Tenía esto gratis, pero esos complementos están obsoletos o pronto lo estarán. Sería bueno si pudiera conservar esta funcionalidad sin tener que pagar por un LLM.

[Saif (Saif Murtaza)]

@AquaL1te

¿Hay también un tema que ofrezca un resumen general del mejor equilibrio costo/calidad? ¿O incluso qué LLM se puede usar de forma gratuita para una comunidad pequeña y funcionalidad básica? Puedo profundizar en los detalles y experimentar. Pero tengo un poco de prisa.

Tenemos este tema, que podría ser lo que buscas.

What LLM to use for Discourse AI?

It’s important to understand the needs of you as the community admin and your members when choosing a Large Language Model (LLM) to power Discourse AI features. Several factors may influence your decisions: Performance for use-case: Are you looking for the best-performing model? Performance can vary depending on the task (e.g., summarization, search, complex reasoning, spam detection). Assessment is based on the model’s ability to generate correct, relevant, and coherent responses. Context …

[AquaL1te]

¡Hecho! De hecho, fue bastante fácil. Pero tal vez para alguien no técnico todavía sea un poco difícil de configurar. Por ejemplo, el nombre del modelo se estableció automáticamente en la configuración, pero no era el correcto. Por suerte, reconocí el nombre del modelo en un ejemplo de curl para Claude en la página de la API y entonces funcionó

Los costos estimados son tal vez 30 céntimos de euro por mes para el control de spam (no tengo un foro enorme). ¡Así que es manejable! He establecido un límite de 5 euros en la consola de la API, por si acaso.

[Saif (Saif Murtaza)]

@AquaL1te

Por ejemplo, el nombre del modelo se estableció automáticamente en la configuración, pero no era el correcto.

¿Cuál elegiste para Claude? ¿Cuál fue el nombre incorrecto que se mostró y a qué lo corregiste?

[AquaL1te]

Utilizo Claude 3.5, el ID del modelo por defecto es claude-3-5-haiku, pero tuve que cambiarlo a claude-3-5-haiku-20241022, de lo contrario, recibía un error.

[Saif (Saif Murtaza)]

@AquaL1te

Uso Claude 3.5, el ID del modelo es por defecto claude-3-5-haiku, pero tuve que cambiarlo a claude-3-5-haiku-20241022, de lo contrario obtuve un error.

Bueno tenerlo en cuenta, sí, a veces puede haber una desconexión. La información autocompletada debería servir de guía, lo que tiende a funcionar la mayor parte del tiempo, pero falla en ciertos casos como el tuyo (dadas todas las diferentes configuraciones de modelos y proveedores).

He actualizado la publicación principal de esta guía.

[jrgong]

@Discourse

• Gemini Flash 2.0

Este modelo no está listado en 3.4.2. ¿Esas preconfiguraciones solo están disponibles en 3.5 y tengo que agregarlas manualmente?

Editar: Además, ¿qué opción debo elegir para “Tokenizer” al usar modelos Grok 3?

[Falco]

@jrgong

Este modelo no está listado en 3.4.2. ¿Esas preconfiguraciones solo están disponibles en 3.5 y tengo que agregarlas manualmente?

Las preconfiguraciones son simplemente plantillas, puedes obtener el mismo resultado final utilizando la “Configuración manual”.

@jrgong

Editar: Además, ¿qué opción debo elegir para “Tokenizador” cuando uso modelos Grok 3?

He descubierto que el tokenizador de Gemini está bastante cerca del de Grok, así que prueba con ese.

[CraigW (Craig Wright)]

¿Hay alguna forma de utilizar IBM WatsonX a través de la configuración de gestión actual, o esto requeriría trabajo de desarrollo adicional por parte del personal de Discourse?

[Falco]

¿Por casualidad IBM WatsonX expone una API compatible con OpenAI?

[CraigW (Craig Wright)]

Gran pregunta. Una rápida revisión de la documentación no me dijo mucho, pero el hecho de que este repositorio exista sugiere que no es directamente compatible: GitHub - aseelert/watsonx-openai-api: Watsonx Openai compatible API

[AntiMetaman]

¿Cuáles de estos LLM se pueden usar gratis para anti-spam?

Edición: No importa, estoy usando Gemini Flash 2.5

[pfaffman (Jay Pfaffman)]

Yo también siempre me lo pregunto. Esta parece ser la mejor respuesta a esa pregunta.

@Saif

• Detección de Spam / Triaje de IA (Texto): Los modelos Cost-Effective/Speed suelen ser suficientes y rentables (Haiku 3.5, Gemini 2.0 Flash, GPT-4o mini, Llama 3.3).
• Triaje de IA (Detección de Imágenes NSFW): Requiere un modelo con capacidad de visión (GPT-4o/mini, Sonnet 3.7, Gemini 2.5 Pro/2.0 Flash, Llama 3.2, modelos específicos alojados/soportados por Discourse).

Pero también, está esto en el OP del tema de configuración de Spam. Creo que es solo un poco difícil de encontrar en toda la información que hay.

@sam

Recomendaciones de selección de LLM

El rendimiento de la detección de spam depende del LLM elegido.

La mayoría de los LLM de bajo costo funcionan de manera efectiva, como:

• GPT-4o-mini
• Claude 3.5 Haiku
• Gemini 2.0 Flash

Experimenta con diferentes modelos para encontrar el que mejor se adapte. Configura tus modelos a través de /admin/plugins/discourse-ai/ai-llms.