Для работы Discourse AI требуется подключение к одному провайдеру больших языковых моделей (LLM) — здесь приведена ссылка на информацию о ценах для различных вариантов.>
Требуемый уровень доступа пользователя: Администратор
Для использования определённых функций Discourse AI необходимо подключение к стороннему провайдеру больших языковых моделей (LLM). Пожалуйста, ознакомьтесь с описанием каждой функции ИИ, чтобы узнать, какие LLM совместимы.
Ниже приведены ссылки на информацию о ценах различных провайдеров LLM.
Обратите внимание, что стоимость может варьироваться в зависимости от множества факторов, таких как количество запросов, длина текста, используемые вычислительные ресурсы, выбранные модели и т. д. Для получения наиболее актуальной и точной информации о ценах регулярно проверяйте данные у каждого провайдера.
Запуск собственной OSS-модели, похожей на Llama2, с использованием TGI: Стоимость запуска собственной OSS-модели, похожей на Llama2, с использованием TGI зависит от различных факторов, таких как затраты на инфраструктуру, расходы, связанные с дообучением модели, а также затраты на управление и поддержку модели.
Это, безусловно, не статистически достоверное сравнение, но, основываясь на моём кратком тестировании, использование OpenAI GPT-4 в три раза дороже, чем GPT-3.5 Turbo, если считать количество вызовов API и использованных токенов. Кроме того, поскольку стоимость токенов для GPT-4 выше, разница в расходах становится ещё значительнее.
При этом я не заметил никаких преимуществ GPT-4 по сравнению с 3.5 Turbo.
В качестве оговорки: я использовал финский язык, поэтому ситуация с английским может отличаться. Кроме того, любые ИИ-модели совершенно бесполезны в чатах при использовании финского языка, но это уже совсем другая история. Тем не менее, с моей точки зрения, все чат-боты — это чистая трата денег при работе с малыми языками.
Здесь приведены оценочные затраты, и принято во внимание, что они могут значительно варьироваться в зависимости от объема использования!
Важно отметить, что для многих базовых задач разница между моделями GPT-4 и GPT-3.5 может быть незначительной. Однако у GPT-4 есть подтвержденные отличия в возможностях, понимании творческих задач и работе с исходными данными.
Я также согласен с тем, что для менее распространенных языков возможности модели оставляют желать лучшего.
Думаю, мы говорим об одном и том же, но на всякий случай : это проблема компаний, разрабатывающих ИИ, и мы с вами, или любой разработчик, не можем изменить этот факт.
Однако я хочу сказать, что нам всем стоит немного следить за тем, сколько мы тратим денег (если мы не используем средства из других бюджетов, а платим из собственного кармана ), и пытаться найти баланс между очень субъективной полезностью и затратами.
И нет, я не знаю, о чём говорю. В основном потому, что ответы всех чат-ботов в основе своей построены на английском «шуме» миллионов летящих слов (количество важнее качества). Ситуация может измениться — в лучшую или худшую сторону, как повезёт — если у нас появятся лучшие инструменты для обучения ИИ тому, какие источники он может использовать. Конечно, такие инструменты у нас есть, но они будут стоить гораздо больше, чем цена токенов.
И да, это головная боль для небольших игроков.
Интересно… есть ли шанс, что мы сможем добиться лучшего баланса между стоимостью и точностью при более свободном редактировании промптов?
Вам было бы удобно примерно раскрыть, каковы сейчас расходы Meta? Даже приблизительная оценка или диапазон были бы полезны.
Я попросил бота дать оценку, и он предоставил следующее:
Мне кажется, эта цифра слишком низкая, но если не учитывать экспериментальную работу и использование со стороны команды и т. д., возможно, это не так далеко от того, чего можно ожидать от большинства инстансов сопоставимого с Meta размера?
Цена токена, которую указал бот, некорректна. Текущие цены для gpt-3.5-turbo-0125 составляют $0,50 за 1 миллион входных токенов и $1,50 за 1 миллион выходных токенов. При предположении о равном соотношении входных и выходных токенов 2,4 миллиона токенов должны стоить всего $2,40. Для gpt-4 цены составляют $30 за миллион входных токенов и $60 за миллион выходных, что в сумме дает $108 за 2,4 миллиона токенов.
Для работы Discourse AI требуется подключение к одному провайдеру больших языковых моделей (LLM) — здесь приведена ссылка на информацию о ценах для различных вариантов.>
Требуемый уровень доступа пользователя: Администратор
Обратите внимание, что стоимость может варьироваться в зависимости от множества факторов, таких как количество запросов, длина текста, используемые вычислительные ресурсы, выбранные модели и т. д. Для получения наиболее актуальной и точной информации о ценах регулярно проверяйте данные у каждого провайдера.
: это проблема компаний, разрабатывающих ИИ, и мы с вами, или любой разработчик, не можем изменить этот факт.