¿Discourse AI soporta APIs de retransmisión/proxy de terceros (ej. NewAPI)? Obteniendo “Internal Server Error”

Soporte
1

Hola a todos,

Tengo una pregunta sobre Discourse AI y si admite API de retransmisión/proxy de terceros.

Intenté usar una API de retransmisión de NewAPI (un proxy compatible con OpenAI de terceros), pero Discourse AI devuelve un “Error interno del servidor”. No estoy seguro de si es un problema de configuración de mi lado o una limitación de Discourse AI.

Así que me pregunto:

  1. ¿Actualmente Discourse AI admite API de retransmisión/proxy de terceros compatibles con OpenAI?

  2. ¿O solo admite las API oficiales de OpenAI y Google en este momento?

  3. Si se admiten API de terceros, ¿se requiere alguna configuración especial (encabezados, formato de URL base, nombres de modelos, etc.)?

Usar mis propias claves API oficiales se vuelve caro, así que espero poder usar una opción de retransmisión más barata si es posible.
Además, me gustaría conectar Google BananaPro para la generación de imágenes solo por diversión; tampoco estoy seguro de si eso es compatible.

Cualquier indicación o documentación sería apreciada. ¡Gracias!

2

Tenemos clientes que realizan miles de llamadas de IA diariamente a través de proxies compatibles con OpenAI, por lo que sabemos que funciona. El principal problema es cuán compatibles son realmente cuando dicen “compatible con OpenAI”.

vLLM, Google, Ollama, LMStudio proporcionan API compatibles con OpenAI que probamos y utilizamos a diario.

Si un proveedor específico está fallando, generalmente es fácil encontrar el motivo a través de los registros en la página /logs. ¿Puedes compartir el error de allí?

1 me gusta
3

Gracias por su respuesta. Probaré algunas API de terceros diferentes mañana

4

discourse ai support casi cualquier API de terceros que conozca, como openrouter, newapi

solo configura los ajustes de llm
image

introduce tu url base de la api, clave de api y nombre del modelo
image

1 me gusta
5

Gracias por tu respuesta, hermano.

image

Pero esta respuesta es muy extraña.

Discourse debe rellenar el prompt del sistema. No quiero rellenar el prompt del sistema, solo introduje uno.

Es decir, que el modelo responda directamente a la pregunta del usuario @, solo responda directamente.

Aún no he descubierto cómo configurarlo.

Cuando menciono a @robot, por alguna razón, el prompt predeterminado es el del prompt personalizado (porque el formato de su respuesta coincide solo con este prompt personalizado), como se muestra en la siguiente imagen: Cambiarlo sigue siendo ineficaz, no sé por qué.

image