Это руководство объясняет, как включить и настроить функцию поиска на базе ИИ, которая является частью плагина Discourse AI.
Требуемый уровень пользователя: Администратор
Подобно Связанным темам, поиск на базе ИИ помогает находить наиболее релевантные темы, используя семантическое сходство текстов, выходящее за рамки точного совпадения ключевых слов, характерного для традиционного поиска. Это позволяет обнаруживать темы, которые не являются точными совпадениями, но всё же релевантны первоначальному запросу. Если вы не можете найти то, что ищете, поиск на базе ИИ придёт на помощь!
Возможности
- Семантическое сходство текстов: выход за рамки простого совпадения ключевых слов и использование семантического анализа для поиска текстового сходства
- Быстрый поиск с ИИ: автоматически добавляет результаты ИИ во всплывающее меню поиска, когда найдено мало обычных результатов (включается параметром
ai_embeddings_semantic_quick_search_enabled) - Возможность включения/выключения поиска на базе ИИ в полном поиске по странице
- Опциональная поддержка HyDE (Hypothetical Document Embeddings): использует большую языковую модель (LLM) для расширения запросов с целью улучшения результатов
- Результаты обозначаются значком
- Применяется как для анонимных, так и для авторизованных пользователей
Включение поиска на базе ИИ
Предварительные требования
Для использования поиска на базе ИИ необходимо настроить векторные представления (Embeddings). Большая языковая модель (LLM) требуется опционально, если вы включаете HyDE (Hypothetical Document Embeddings) для повышения качества поиска.
Векторные представления (Embeddings)
Если вы используете наш хостинг, мы предоставим вариант по умолчанию. Для самостоятельного хостинга следуйте руководству по Discourse AI - Embeddings.
Большая языковая модель (LLM) (опционально — для HyDE)
LLM требуется только в том случае, если вы включаете параметр ai_embeddings_semantic_search_use_hyde, который использует LLM для создания гипотетического документа на основе поискового запроса перед его векторизацией. Это может улучшить качество результатов, но добавит задержку и затраты.
Для начала вы можете настроить их на странице настроек большой языковой модели (LLM) в Discourse AI.
- OpenAI
- Anthropic
- Azure OpenAI
- AWS Bedrock с доступом к Anthropic
- Самостоятельный хостинг открытой LLM для DiscourseAI
- Google Gemini
Настройка
- Перейдите в
Администрирование→Плагины→Discourse AI→Возможности→Векторные представления (Embeddings), чтобы найти все настройки поиска на базе ИИ. - Включите
ai_embeddings_enabledдля векторных представлений. - Включите
ai_embeddings_semantic_search_enabled, чтобы активировать поиск на базе ИИ в полном поиске по странице. - Опционально включите
ai_embeddings_semantic_quick_search_enabled, чтобы добавить результаты ИИ во всплывающее меню поиска. - Опционально включите
ai_embeddings_semantic_search_use_hyde, чтобы использовать HyDE для улучшения результатов (требуется LLM).
Технический FAQ
Развернуть схему логики поиска на базе ИИ (с включённым HyDE)
mermaid height=255,auto
sequenceDiagram
User->>+Discourse: Поиск "геймификация"
Discourse->>+LLM: Создать статью о "геймификации" на форуме о<br> "Discourse, системе открытых интернет-форумов с открытым исходным кодом."
LLM->>+Discourse: Геймификация включает применение элементов игрового дизайна, таких как<br> очки, значки, уровни и таблицы лидеров, в неигровых контекстах...
Discourse->>+EmbeddingsAPI: Сгенерировать векторные представления для "Геймификация включает применение элементов игрового дизайна..."
EmbeddingsAPI->>+Discourse: [0.123, -0.321...]
Discourse->>+PostgreSQL: Дайте мне ближайшие темы для [0.123, -0.321...]
PostgreSQL->>+Discourse: Темы: [1, 5, 10, 50]
Discourse->>+User: Темы: [1, 5, 10, 50]
Как работает поиск на базе ИИ?
- Когда HyDE включён (
ai_embeddings_semantic_search_use_hyde), поисковый запрос обрабатывается LLM, которая создаёт гипотетическую тему/пост. Затем из этого гипотетического поста генерируются векторные представления, которые используются для поиска похожих совпадений на вашем сайте. Когда HyDE отключён (по умолчанию), поисковый запрос векторизируется напрямую и используется для поиска сходства. В обоих случаях результаты объединяются с обычными результатами поиска с помощью метода Reciprocal Rank Fusion (RRF) для повторного ранжирования лучших результатов.
Как обрабатываются данные тем/постов?
- Когда HyDE включён, данные, обработанные LLM, обрабатываются сторонним провайдером; пожалуйста, обратитесь к вашему конкретному провайдеру за подробностями. По умолчанию микросервис Embeddings работает на тех же серверах, что и серверы, размещающие ваши существующие форумы. Здесь не задействованы третьи стороны, и эта конкретная информация никогда не покидает вашу внутреннюю сеть в нашем виртуальном частном дата-центре.
Куда уходят данные?
- Когда HyDE включён, гипотетическая тема/пост, созданная провайдером LLM, временно кэшируется вместе с векторными представлениями для этого документа. Данные векторных представлений хранятся в той же базе данных, где мы храним ваши темы, посты и пользователей; это просто ещё одна таблица данных там.
Как выглядит «семантическая модель» векторных представлений? Как она «обучалась», и можно ли проверить, что она точно применима к темам в наших «специализированных» сообществах?
- По умолчанию мы используем предварительно обученные модели с открытым исходным кодом, например эту. Мы развернули их для множества клиентов и обнаружили, что они хорошо работают как для нишевых, так и для общих сообществ. Если производительности недостаточно для вашего случая использования, у нас есть более сложные модели, готовые к работе, но, по нашему опыту, вариант по умолчанию является надёжным выбором.