Muchas gracias
1 me gusta
¿Podemos usar Deepseek?
3 Me gusta
Claro, tiene una API compatible con Open AI.
5 Me gusta
Por favor, no pude encontrar esta configuración (tampoco la que usted muestra en SU captura de pantalla) en Ningún lugar de Administrador > Configuración de IA.
1 me gusta
Esto está disponible dentro de Personas, selecciona una persona específica editable (no del sistema) y mira debajo del prompt.
2 Me gusta
4 publicaciones se fusionaron en un tema existente: ¿RAG admitirá archivos PDF en el futuro?
Se dividió una publicación en un nuevo tema: Proporcionar una señal visual cuando un tema está recibiendo una respuesta de IA
2 publicaciones se dividieron en un nuevo tema: Ways to add knowledge to my persona
Se dividieron 2 publicaciones en un nuevo tema: Preocupaciones sobre la privacidad personal con el plugin de IA
¡Bienvenido a Discourse Meta!
Querrás publicar esto en Support
3 Me gusta
Hola a todos, estamos auto-hospedando vLLM y generando tokens API con Fernet, los cuales tienen el signo “=”. Por lo que veo, revisando en /var/discourse/shared/standalone/log/var-log/nginx/error.log, el signo “=” se reemplaza con “%3D” y, por lo tanto, mi solicitud no está autorizada.
¿Podría ser este el caso? ¿Podría resolverse?
Gracias por la información.
Mi caso es bastante simple. Ya tenemos los servicios vLLM y openWebUI exponiendo LLMs al mundo. Ambos funcionan bien. También puedo comprobar con simples llamadas cURL que efectivamente puedo acceder a ambos desde dentro del contenedor Discourse:
vLLM:
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"prompt": "'"${TEST_PROMPT}"'",
"max_tokens": 128,
"temperature": 0
}'
openWebUI:
curl -v ${LLM_URL} -H "Content-Type: application/json" -H "Authorization: Bearer ${LLM_TOKEN}" \
-d '{
"model": "'"${LLM_MODEL}"'",
"messages": [
{ "role": "user",
"content": "'"${TEST_PROMPT}"'"
}
]
}'
Ahora instalé el plugin discourse-ai en un Discourse auto-hospedado e intenté configurar el acceso a través de “LLMs”-“>“Configuración manual”-”>Proveedor=vLLM. En ambos casos tengo que proporcionar la API KEY. Desafortunadamente… ninguno funciona:
vLLM con token Fernet devuelve “error”:“Unauthorized”}
openWebUI devuelve "{“detail”:“Not authenticated”}
Mi sospecha es que el token Fernet falla debido a que el signo “=” se convierte en “%3D”, pero estoy aún más desconcertado con openWebUI debido a “Not authenticated”, mientras que el token es solo una cadena.
No tengo idea de cómo el plugin “discourse-ai” envía el token/API_KEY en el caso de vLLM, pero espero que sea a través del encabezado “Bearer \u003cTOKEN\u003e”.
Cualquier ayuda es bienvenida o experiencia en la configuración de vLLM con API_KEY
Intenta configurar el proveedor de API en OpenAI si necesitas la API en el formato de token portador.
¡Eso funcionó al menos para openWebUI! ¡Muchas gracias!
2 publicaciones se han dividido en un nuevo tema: Mejores modelos y prompts para probar la búsqueda y los descubrimientos de Discord
Tengo un problema relacionado con la salida de la IA en mi foro. El idioma de mi foro es “árabe”, por lo que debería configurarse para que el idioma de la salida de la IA se ajuste al idioma del foro, ya que no es apropiado pedir un resumen del tema y todo el tema en árabe y la salida me llega en “inglés”.
Indica en las instrucciones que la IA debe responder en árabe. En teoría, “responder usando el mismo idioma” también debería funcionar, pero rara vez me ha funcionado, en el contexto finlandés con los modelos de OpenAI de todos modos.
Así que tienes una configuración y esa es la instrucción del sistema del agente/persona de IA utilizado.
¿Tiene sentido usar este comportamiento por defecto cuando se detecta un idioma que no sea inglés?
Estoy repitiendo todas las personas usando español, es difícil mantenerlas actualizadas con tantos (buenos) cambios.
Puedes configurarlo en la pestaña Personas del plugin de IA.
4 Me gusta