Есть ли способ добавить API-ключ от LLM, которого нет в списке? Мы используем модель Deepseek и хотели бы интегрировать её. Ключи API у нас уже есть.
Насколько я знаю, нет, так как Discourse, вероятно, поддерживает только перечисленные. Если я ошибаюсь, любой может меня поправить.
Это работает с VLLM — достаточно настроить конечную точку VLLM, и всё заработает сразу из коробки.
ВАУ!!
Огромное спасибо. Я попробую это.
Поддержка практически всех существующих современных LLM была одним из главных приоритетов для выпуска 3.3, и мы наконец реализовали это как раз вовремя, когда модели с открытыми весами догоняют проприетарные решения.
Если вам нужна помощь в настройке DeepSeek на вашем экземпляре, дайте знать — эта функция совершенно новая, и мы всё ещё обновляем всю документацию, чтобы отразить её новые возможности.
Да, мне нужна помощь. Я посмотрел, но не нашел способа добавить это без VLLM. VLLM — это лишние накладные расходы, которых я бы предпочел избежать из-за требований. Было бы здорово, если бы существовала интеграция не только для Deepseek, но и для многих других открытых LLM. Я считаю, что именно в эту сторону движется гонка LLM.
Судя по тому, что мы видим, компании неохотно передают свои данные в «облако». Открытые решения, позволяющие запускать локальные экземпляры с помощью таких инструментов, как GPT4ALL и HuggingFace, в конечном итоге станут предпочтительной моделью.
Спасибо.
Да, я согласен с этим, поэтому мы поддерживаем запуск собственной LLM с первого дня.
Что?
vLLM — это самый популярный движок инференса, и он далеко не «накладные расходы», поскольку его развёртывание обеспечивает более быстрый инференс, чем любой скрипт на Python, собранный разработчиком за пару дней. Для большинства моделей достаточно выполнить простую команду: docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct.
Наша реализация работает с любым API, соответствующим стандартному спецификации OpenAI de facto, поэтому вы можете использовать её без vLLM или Hugging Face TGI, если ваше API соответствует ожидаемым требованиям.
Спасибо. Судя по тому, что я прочитал (возможно, я ошибся), разве мне не нужен новый Droplet [Digital Ocean], то есть VPS, для развёртывания VLLM? Или его можно развёрнуть на том же Droplet, где размещён мой экземпляр Discourse?
Если да, то на том же экземпляре: будет ли он находиться в той же директории, что и Discourse, или в отдельной?
Ещё раз спасибо.
На каком именно Droplet запущен ваш текущий сайт Discourse? На том за 6 долларов?
Версия за 15 долларов. Думаю, там 2 ГБ оперативной памяти. Как только закончим тестирование, я увеличу мощность. Спасибо.
Хм, вы знаете, что дроплет для запуска этой модели Deepseek, которую вы хотите, обойдётся примерно в 10 000 долларов в месяц?
Похоже, @oga хочет использовать официальный API-сервис Deepseek вместо развёртывания собственной открытой модели.
Официальный API Deepseek совместим с API OpenAI, поэтому достаточно добавить новую LLM в admin/plugins/discourse-ai/ai-llms.
Именно то, что мы пытаемся сделать. Мы создаем платформу для обучения детей и взрослых тому, как писать эффективные ПРОМПТЫ, но хотим сделать это в среде, где мы можем отслеживать, какие промпты они используют. Позвольте мне попробовать это и посмотреть. Развертывание модели с открытым исходным кодом для этих целей будет слишком затратным. Спасибо.
Святые куриные наггетсы!! Ни то, что нам нужно, ни то, что мы можем себе позволить.