Как использовать платные эндпоинты вывода Hugging Face в качестве пользовательских LLM в Discourse

Поддержка
,
1

У меня запущено несколько моделей LLM с открытым исходным кодом на сервисе Hugging Face Inference Endpoint (по сути, AWS)..

Для всех протестированных моделей (llama, phi, gemma и др.) я могу подключиться со страницы настроек LLM в Discourse, но вывод данных не работает. Вот ошибка:

“Попытка связаться с моделью вернула следующую ошибку: Не удалось десериализовать тело JSON в целевой тип: отсутствует поле inputs на строке 1, столбце 163”

Что я делаю не так!? Большое спасибо..

Вид с Hugging Face:

image
image1249×863 74.4 KB

Вид из Discourse:

image
image1074×832 41 KB

2

Прошло уже больше года с тех пор, как я последний раз пробовал их API. Совместим ли он сейчас с OpenAI? Если да, то можно попробовать установить Provider в значение OpenAI и указать их конечную точку.

3

Я попробовал почти всех провайдеров, доступных на экране настройки Discourse LLM, включая OpenAI.

Либо возникает ошибка «Не удалось десериализовать тело JSON в целевой тип», либо «Внутренняя ошибка сервера».

Также я попробовал реальную модель OpenAI через сервис конечных точек Hugging Face (GPT2! :slight_smile: , но это тоже не сработало… те же самые ошибки.