# Как использовать платные эндпоинты вывода Hugging Face в качестве пользовательских LLM в Discourse

**URL:** https://meta.discourse.org/t/how-do-i-use-hugging-face-paid-inference-endpoints-as-discourse-custom-llms/341388
**Category:** Support
**Tags:** ai, ai-bot
**Created:** [09.Декабрь.2024 16:00:27 UTC](https://meta.discourse.org/t/how-do-i-use-hugging-face-paid-inference-endpoints-as-discourse-custom-llms/341388 "2024-12-09T16:00:27Z")
**Posts on this page:** 3
**Page:** 1

<div class="post-metadata">

### Author: ![StevePlex](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/steveplex/32/269106_2.png) [@StevePlex](https://meta.discourse.org/u/StevePlex)
#### Post date: [09.Декабрь.2024 16:00:27 UTC](https://meta.discourse.org/t/how-do-i-use-hugging-face-paid-inference-endpoints-as-discourse-custom-llms/341388/1 "2024-12-09T16:00:27Z")

</div>

У меня запущено несколько моделей LLM с открытым исходным кодом на сервисе Hugging Face Inference Endpoint (по сути, AWS)..

Для всех протестированных моделей (llama, phi, gemma и др.) я могу подключиться со страницы настроек LLM в Discourse, но вывод данных не работает. Вот ошибка:

> “Попытка связаться с моделью вернула следующую ошибку: Не удалось десериализовать тело JSON в целевой тип: отсутствует поле `inputs` на строке 1, столбце 163”

Что я делаю не так!? Большое спасибо..

Вид с Hugging Face:

 ![image](https://global.discourse-cdn.com/meta/original/4X/d/b/f/dbfbed9fd6f8dcba1bb3fa623f7336642f6e65a9.png)

Вид из Discourse:

 ![image](https://global.discourse-cdn.com/meta/original/4X/1/5/4/154fc23fea75f7131565f922244d2098ec845a62.png)

---

<div class="post-metadata">

### Author: ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [09.Декабрь.2024 16:07:04 UTC](https://meta.discourse.org/t/how-do-i-use-hugging-face-paid-inference-endpoints-as-discourse-custom-llms/341388/2 "2024-12-09T16:07:04Z")

</div>

Прошло уже больше года с тех пор, как я последний раз пробовал их API. Совместим ли он сейчас с OpenAI? Если да, то можно попробовать установить `Provider` в значение `OpenAI` и указать их конечную точку.

---

<div class="post-metadata">

### Author: ![StevePlex](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/steveplex/32/269106_2.png) [@StevePlex](https://meta.discourse.org/u/StevePlex)
#### Post date: [09.Декабрь.2024 20:51:15 UTC](https://meta.discourse.org/t/how-do-i-use-hugging-face-paid-inference-endpoints-as-discourse-custom-llms/341388/3 "2024-12-09T20:51:15Z")

</div>

Я попробовал почти всех провайдеров, доступных на экране настройки Discourse LLM, включая OpenAI.

Либо возникает ошибка «_Не удалось десериализовать тело JSON в целевой тип_», либо «_Внутренняя ошибка сервера_».

Также я попробовал реальную модель OpenAI через сервис конечных точек Hugging Face (GPT2! 🙂 , но это тоже не сработало… те же самые ошибки.