Cómo usar los endpoints de inferencia pagados de hugging face como LLMs personalizados de Discourse

Soporte
,
1

Tengo varios modelos LLM de código abierto ejecutándose en el servicio Hugging Face Inference Endpoint (esencialmente AWS)…

Para todos los modelos que he probado (llama, phi, gemma, etc.), puedo conectarme desde la página de configuración de Discourse LLM, pero la inferencia no funciona. Aquí está el error:

“Intentar contactar con el modelo devolvió este error: falta el campo inputs en la línea 1 columna 163”

¡¿Qué estoy haciendo mal!? Muchas gracias…

Vista desde Hugging Face:

image
image1249×863 74.4 KB

Vista desde Discourse:

image
image1074×832 41 KB

2

Ha pasado más de un año desde la última vez que probé su API. ¿Es compatible con OpenAI hoy en día? Si es así, puedes intentar configurar Provider en OpenAI y apuntar a su endpoint.

3

He probado la mayoría de los proveedores disponibles en la pantalla de configuración de Discourse LLM, incluido OpenAI.

O bien dan el error “No se pudo deserializar el cuerpo JSON al tipo de destino” o “Error interno del servidor”.

También probé un modelo real de OpenAI en el servicio de punto final de HF (¡GPT2! :)) pero eso no funcionó. .. errores del mismo tipo.