Я, возможно — да, захочу воспользоваться услугой, но форум, который я планирую, находится на ранней стадии развития, поэтому пока недостаточно данных для анализа.
Поскольку вы работаете с этой технологией, не могли бы вы рассказать, какую роль играют теги в обучении ИИ? Я приложил огромные усилия к кластеризации корпуса одного из своих форумов, чтобы создать метки, которые затем можно было бы использовать для категоризации и тегирования тем. Хотя категоризация прошла очень успешно, внедрение тегов оказалось проблематичным из-за огромного количества терминов. Нет практического способа представить их все.
Думаю, ИИ мог бы использовать эти термины для улучшения собственных результатов.
На сегодняшний день в Discourse не предусмотрено обучение моделей. Все модели, используемые в настоящее время любыми модулями, уже обучены.
Теги могут пригодиться для добавления контекста в промпты для таких функций, как предложения тегов и связанные темы, но в данный момент они не используются.
Discourse AI теперь будет хранить эмбеддинги в том же экземпляре БД, который мы используем для всего остального. Это значительно упрощает установку и обслуживание, а при обновлении мы автоматически импортируем эмбеддинги из старой базы данных. После этого вы сможете отключить старую базу данных.
А, теперь понятно, почему у меня возникли проблемы с настройкой:
I, [2023-07-18T09:29:11.218667 #1] INFO -- : > cd /var/www/discourse && su discourse -c 'bundle exec rake db:migrate'
------------------------------DISCOURSE AI ERROR----------------------------------
Discourse AI требует расширения pgvector для базы данных PostgreSQL.
Выполните команду `./launcher rebuild app`, чтобы исправить это в стандартной установке.
Либо вы можете удалить Discourse AI и выполнить пересборку.
------------------------------DISCOURSE AI ERROR----------------------------------
Моя база данных — RDS Aurora serverless v2, поэтому расширение pgvector использовать нельзя. Есть ли возможность вернуть старое поведение?
Вы используете серверную архитектуру для основной базы данных Discourse или только для базы данных с эмбеддингами? Теперь Discourse AI хранит эмбеддинги в основной базе данных, и там должно быть включено расширение pgvector. Оно доступно в RDS PostgreSQL версии 13.11 и выше. В продакшене мы не используем Aurora, только RDS PostgreSQL, поэтому могу рекомендовать только это.
RDS — это SaaS-решение от AWS, поэтому его нельзя упаковать в образ Docker.
Discourse AI работает как с версией PostgreSQL, которую мы упаковываем в наш образ Docker, так и с Amazon RDS или с любым экземпляром PostgreSQL, в котором установлен расширение.
Привет
Могу ли я использовать открытую модель «Llama 2» от Meta для рекомендаций постов моим пользователям?
У кого-нибудь был опыт работы с таким инструментом?
Спасибо
Вы имеете в виду рекомендацию «Связанных тем»? В таком случае — пока нет. На данный момент нет моделей эмбеддингов на базе Llama 2.
Стоит отметить, что те модели, которые мы предоставляем (одна с открытым исходным кодом и одна через API OpenAI), действительно хороши и более чем достаточны для работы функции «Связанные темы».
На данный момент нет, так как это потребовало бы поддерживать два отдельных репозитория: один с кодом приложения, а другой — с внутренними инструментами для сборки образов и их загрузки в наши внутренние репозитории. У меня просто не нашлось времени, чтобы правильно это настроить.
Код API полностью доступен внутри образа контейнера, хотя это и не самый удобный способ его изучения. По крайней мере, всё на месте.
Может ли кто-то поделиться точными минимальными и рекомендуемыми требованиями к серверу для форума со стандартным трафиком? Честно говоря, я хочу попробовать, но не знаю, с чего начать, так как нет четких требований к серверу.
На моём форуме 200–250 пользователей онлайн, и ежедневно создаётся в среднем 300 сообщений. Поэтому это нельзя назвать слишком много, поэтому я назвал это стандартом. Я понимаю, что вы имеете в виду, но планирую арендовать новый сервер, так как текущий облачный сервер не позволяет выполнять много обновлений. Спасибо за ваш ответ
На этот вопрос крайне сложно дать однозначный ответ.
Например, если вам просто нужно поработать с эмбеддингами, то достаточно Droplet за $6, работающего на процессоре (CPU). Этого хватит для доступа к функции «Похожие темы».
Если же вам нужны AIHelper и AIBot, у вас есть несколько вариантов:
Платить за каждый вызов через OpenAI. Стоимость будет зависеть от вашего использования.
Запустить открытую LLM на собственном сервере для обеспечения конфиденциальности. Однако для модели вроде Llama2-70B-Chat потребуется сервер стоимостью от 10 до 25 тысяч долларов в месяц.
Запустить открытую LLM в сервисе с почасовой оплатой. Например, вы можете запустить квантованную версию Llama2 через HuggingFace Endpoints за $6,50 в час. Сервис автоматически переходит в спящий режим, если в течение 15 минут не было запросов.
Сфера ML/Ops развивается стремительно: видеокарты (GPU) в огромном дефиците, а новые модели выходят каждый день. Предсказать будущее сложно, мы все находимся в процессе экспериментов.
