А, теперь понятно, спасибо за объяснение, именно этого мне и не хватало.
Кстати, я знаю, что в более продвинутых системах RAG часто используется повторное ранжирование. Есть ли что-то подобное в том, как Discourse это обрабатывает? Как вы думаете, добавление этапа повторного ранжирования дало бы какой-то положительный эффект?
Переранжирование находится в стадии разработки.
@Falco / @Roman реализовали базовый переранжировщик в Discourse:
Это используется в семантическом поиске и RAG. Однако эта функция довольно скрыта и её сложно настроить.
Я думаю, что в среднесрочной перспективе (о чём мы обсуждали с @awesomerobot) мы перейдём от терминологии LLM к термину «Модели»… и, возможно, немного унифицируем интерфейс, чтобы можно было определять эмбеддинги/переранжировщики и LLM в едином интерфейсе.
На данный момент мы поддерживаем только очень специфичный API переранжировщика от Hugging Face.
Это, безусловно, улучшает качество результатов.
Отлично!
Значит, сейчас это отключено по умолчанию и не может быть легко настроено на тарифном плане с хостингом (Pro)?
Не уверен, давай подождём ответа от @Falco.
Привет, @Falco! Есть ли способ включить ранжировщик для тестирования или, может быть, есть какие-то сроки?
Мы только что развернули крупное улучшение в технологии, лежащей в основе семантического поиска в Discourse: DEV: Re-introduce PG Vector 0.8.0 upgrade by romanrizzi · Pull Request #35233 · discourse/discourse · GitHub.
Попробуйте снова выполнить ваш сценарий — изменения уже применены к вашему сайту. Ожидается, что это улучшит работу RAG без необходимости использования ранжировщика.
Мы по-прежнему планируем сделать ранжировщик общедоступным, но пока ждем, пока будут внесены необходимые изменения в зависимости.
Спасибо, Фалько!
Будет ли это работать только для семантического поиска по темам Discourse, или также для RAG-документов, загруженных в персону? По моему опыту, ИИ работает довольно хорошо с темами форумов (например, на ask.discourse), но не так хорошо с загруженными документами в персону (или я ещё не нашёл наилучшую формулу).
Это влияет на все случаи использования эмбеддингов в Discourse, включая связанные темы, RAG, поиск, предложения категорий и тегов в редакторе и т. д.
Привет, @tpetrov, улучшились ли результаты с новой моделью эмбеддингов?
Привет, Фалько! Извини, у меня не было времени на тщательное тестирование, поэтому я не могу точно сказать.
Думаю, нет способа переключаться между ними для сравнения?
Сейчас нет. Старые и новые модели были доступны несколько месяцев, но недавно мы отключили старые на нашем хостинге.