Итак, DeepSeek только что выпустила свою открытую модель рассуждений «R1» (вместе с API), которая по уровню не уступает o1 от OpenAI, но стоит примерно как GPT-4o-mini. Это действительно впечатляет и полезно, особенно из-за стоимости, но на данный момент она ещё не поддерживается на странице настройки LLM. 
О боже, почему я сам об этом не подумал… спасибо, бро 
Я подключился к API, как описал @Falco, настроил промпт и получил потрясающие ответы. Поистине великолепно. К сожалению, я прочитал их политику конфиденциальности и пользовательское соглашение: они используют, делятся и владеют всем, что вы делаете. Базируются в Китае. К сожалению, несмотря на то, насколько это замечательно, я не думаю, что смогу использовать это в сообществе из соображений конфиденциальности.
Есть ли предложения по открытым моделям, которые можно использовать в Discourse с API-ключом? GPT-4o и mini тоже отличные, но эти модели рассуждения действительно заманчивы.
Это хороший момент. К счастью, R1 полностью с открытым исходным кодом, и это лишь вопрос времени, пока кто-нибудь не дообучит его, чтобы убрать китайские фильтры, цензуру и прочее. Тогда, полагаю, он станет крупной моделью на различных облачных платформах (Bedrock, Groq и т. д.). На данный момент нет другой модели, которая могла бы сравниться с ним, кроме o1. На самом деле, по некоторым аспектам R1 даже немного лучше, согласно бенчмаркам.
@MachineScholar спасибо за создание этой темы и за вашу оценку. Я немного ошеломлен этим новым миром ИИ. Я курирую стажера, который занимается внедрением и анализом затрат на ИИ для нас. Можете ли вы дать приблизительное представление о разнице в затратах простым языком?
Сейчас мы используем следующие LLM:
- Claude 3.5 Haiku
- Claude 3.5 Sonnet
- Gemini 1.5 Flash
- GPT-4 Omni
Я рассматриваю возможность внедрения DeepSeek R1, потому что другой стажер сегодня очень восторженно отзывался о том, насколько она превосходит GPT-o4 и o1 для конкретных задач программирования.
Оба стажера — компьютерные специалисты, и они молоды, так что энтузиазма по поводу новых технологий у них хоть отбавляй. 
Кроме того, если мой форум на Discourse содержит общедоступные данные, стоит ли мне беспокоиться о условиях конфиденциальности DeepSeek? Я думаю: если это хорошо и экономит деньги, почему бы и нет? Но, очевидно, я не хочу навредить сообществу.
Привет! Рад помочь
На сегодняшний день вот стоимость от самой низкой к самой высокой за 1 миллион токенов:
Gemini 1.5 Flash
Ввод: $0.075
Вывод: $0.30
Claude 3.5 Haiku
Ввод: $0.80
Вывод: $4.00
Claude 3.5 Sonnet
Ввод: $3.00
Вывод: $15.00
GPT-4o
Ввод: $2.50
Вывод: $10.00
DeepSeek-R1
Ввод: $0.55
Вывод: $2.19
Здесь цены на токены не учитывают кэширование промптов, которое может значительно снизить затраты. Кроме того, сообщество ИИ последовательно сообщает, что Claude 3.5 Sonnet генерирует код лучше, чем модели OpenAI, хотя, по моему мнению, их качество часто колеблется.
Тем не менее, DeepSeek-R1 является явным победителем, так как он не только предлагает лучшее соотношение цены и качества, но и просто лучший выбор в целом. Это подтверждается и лидербордом Chatbot Arena, где он занимает более высокие позиции, чем o1:
Вчера DeepSeek подвергся мощной кибератаке, что, вероятно, делало их API неработоспособным, но я только что снова протестировал его, и он работает. Я также создал тему по этому вопросу:
Что касается конфиденциальности, DeepSeek четко указывает в своей политике, что данные хранятся в Китае (что полностью нарушает, например, законодательство ЕС), и не секрет, что КПК имеет доступ ко всем данным компаний в Китае. Но если все данные общедоступны, то кто вообще беспокоится, ведь ваш сайт теоретически все равно можно скрапить или анализировать.
К счастью, эта модель полностью с открытым исходным кодом, и провайдеры больших языковых моделей об этом знают. Например, fireworks.ai уже предоставляет эту модель, хотя, по моему мнению, они завышают цену: $8.00 за ввод / $8.00 за вывод. Таким образом, API DeepSeek определенно более экономичен.
В моем сообществе я использую GPT-4o-mini с RAG (модель вынуждена читать соответствующую тему перед ответом, чтобы предоставить более фактический и полезный ответ) и строгую инженерию промптов. Она меня еще ни разу не подвела, и она очень дешевая: $0.15 за ввод / $0.60 за вывод. Однако я бы не стал доверять ей в вопросах программирования — это лучше доверить o1-mini или DeepSeek-R1. Обычно от 1/3 до 1/2 всех токенов, используемых в моем сообществе, кэшируются (это можно увидеть в /admin/plugins/discourse-ai/ai-usage), что дополнительно снижает мои затраты, так как кэшированные токены стоят на 50% дешевле.
Таким образом, если мое сообщество использует 2 миллиона токенов ввода и 100 000 токенов вывода каждый день, мои примерные затраты составляют:
Ежедневная стоимость ввода: ~$0.22
Ежедневная стоимость вывода: ~$0.06
…умножить на 30 дней = ~$6.60 за ввод и ~$1.80 за вывод = $8.40 в месяц.
Это даже не стоимость обеда.
Это довольно просто ещё один мета-пост, но я протестировал DeepSeek, задав вопрос об упражнениях и потере веса. Я получил очень плохой ответ с множеством галлюцинаций. И это согласуется с другим опытом, о котором я слышал.
Таким образом, цена — это лишь часть истории. Важно также то, что получаешь за эту цену.
Да, это действительно верное замечание. Я забыл об этом, потому что практически никогда не использую LLM без RAG или какой-либо другой формы внедрения информации, когда ищу знания или информацию. R1 действительно выделяется для меня, когда речь идет о мозговом штурме идей с «критическим мышлением». Однако всё это требует отличной работы с промптами.
Для уточнения: R1 с самого начала обучался с использованием усиленного обучения, ориентированного на рассуждения, поэтому его простое внутреннее «извлечение информации» может вызывать галлюцинации из-за «чрезмерного обдумывания». Но я еще не полностью прочитал их исследовательскую работу, поэтому относитесь к этому с долей скептицизма, так как это лишь моя интуиция.
Также верно, что R1 легко взломать 
Я тоже получил от него несколько несогласованных ответов. Мне удалось намеренно использовать его для создания пары хороших примеров для обучения, которые я добавил в RAG-файл с текстом для конкретной задачи. Определённо ещё не готов к полноценному использованию. Надеюсь, OpenAI выпустит более экономичную модель с возможностью рассуждений, которую мы сможем использовать.
@MachineScholar Хочу искренне поблагодарить вас за ваш анализ затрат и помощь в понимании этого вопроса. Я сам немного подавлен обилием новой информации, но молодые стажёры-информатики впитывают знания как губка. Возможно, они мыслят в 8 раз быстрее меня…
У меня один стажёр работает над плагином ИИ для двух разных сообществ Discourse. Мы платим стажёрам, но они недорогие и, безусловно, полны энтузиазма. Стажёр, занимающийся в основном работой с ИИ, учится в одной из программ компьютерных наук Калифорнийского университета, и я часто задаюсь вопросом, как проходят обсуждения на кампусе в такой молодой группе, где будущее так явно принадлежит им.
Также интересно, какова ваша собственная исследовательская среда? Вы, кажется, глубоко погружены в технологии. Какое прекрасное время для участия в этом. Так захватывающе.
Скорее всего, я открою новую тему с моим следующим вопросом. Стажёр внедряет Google Custom Search и доступ к токенам GitHub для бота ИИ. Я не совсем уверен, что это такое. Однако я надеюсь, что бот ИИ сможет получать доступ к репозиториям GitHub для просмотра документации… Я не уверен, что именно возможно. Также я не знаю, используется ли в плагине Discourse AI технология генерации с дополнением извлечения (RAG).
Что касается эффективности DeepSeek R1 по сравнению с o1, то другой стажёр рассказывал мне об использовании его для своих проектов в области компьютерных наук через веб-интерфейс (с использованием ChatGPT Plus). Таким образом, тест был очень неформальным, но энтузиазм одного из стажёров по поводу DeepSeek был велик.
Стажёр, который фактически работает над внедрением ИИ, был гораздо более сдержан в отношении различий между LLM. На данный момент он в основном предоставляет таблицы затрат и использования с ограниченными комментариями по различиям в использовании. Мы предоставим все LLM сообществу и попросим их оценить их. Поэтому разумно со стороны стажёра пока не высказывать своё мнение.
Ещё раз спасибо за вашу помощь в моём пути.
Deepseek глубоко затрагивает весь мир ИИ, бизнес и корпорации.
Они делают больше с меньшими затратами во всех аспектах. Вы можете поискать информацию об их технических отличиях: я нашёл её на Reddit через локального клиента, поскольку не согласен с их политикой, но вы сможете найти её там.
Меня впечатляет их терпение и способность работать эффективнее без миллиардов от венчурных фондов. OpenAI слишком дорога для многих стран, а ведь именно этого не должно быть в эпоху интернета и нашей цифровой эры.
Конечно, CPC напрямую вовлечён, но сегодня сломанные западные законы и правительства почти ничем не отличаются.
Модель подвергается цензуре, как и OpenAI (площадь Тяньаньмэнь или Газы), но при этом работает очень хорошо за 1/10–1/20 от обычной стоимости.
Я считаю, что это хорошо для пользователей и технологий. Старые сервисы должны изменить свой подход или позволить людям выбирать.
Я очень рад, что смог помочь!
Да, сегодня работа в области компьютерных наук означает необходимость быстро адаптироваться и учиться. Иногда это довольно утомительно. Я полагаю, что инновационные кампусы в Калифорнии находятся на острие прогресса. Я знаком со многими лабораториями в калифорнийских университетах, где ведутся передовые исследования в области интеллекта и познания.
Сейчас у меня есть собственная компания, в которой я разрабатываю интеллектуальные образовательные технологии, а также работаю в крошечной лаборатории искусственного интеллекта, где мы пытаемся создать протомозг, а затем найти для него практическое применение в бизнесе. В ближайшем будущем я открою собственную исследовательскую лабораторию в своей узкой нише — интеллектуальные системы для исследования космоса. Мир ИИ действительно очень захватывающий, это правда, но иногда мне хочется, чтобы всё немного замедлилось, чтобы не пришлось постоянно догонять, ха-ха!
Google Custom Search и доступ к токенам GitHub просто позволят ИИ-боту использовать поиск Google и GitHub (для программирования) соответственно. Кроме того, бот Discourse AI действительно использует RAG при чтении тем или сообщений на форуме. Он читает их, а затем использует этот текст как дополнительный контекст для генерации более обоснованных ответов.
Действительно, хорошо, что ваши стажеры умеют следить за трендами, однако им также было бы разумно помнить, что большие языковые модели (LLM) всегда переоценивают, потому что это выгодно рынку. Крупные разработчики LLM заинтересованы в создании ажиотажа. Хотя я должен признать, что эти системы со временем становятся всё более впечатляющими.
@oppman Не стесняйтесь писать мне в личные сообщения в любое время, если вам что-то понадобится! Мы все в этом вместе!