После изучения нескольких тем я сделал следующие выводы и рекомендации.
Этот сайт предназначен для поддержки системы домашней безопасности Surety.
Цель использования ИИ с форумом Discourse (ссылка) заключается в следующем:
- Дополнить нашу команду технической поддержки на форуме.
- Система должна обучаться на основе исторических данных форума.
- Обладать необходимыми знаниями в предметной области для предоставления поддержки.
- Должна пытаться отвечать только на тематические вопросы.
- Должна предоставлять пользователю возможность попросить бота прекратить ответы, чтобы дождаться помощи человека, если бот, по мнению пользователя, не помогает.
А вот некоторые вопросы от Райана:
- Обучаются ли они автоматически или дообучаются на исторических данных форума?
- Не дублировать работу, которая уже выполнена более умными людьми.
- Ограничить темы, в которых бот будет участвовать, чтобы он не вел общих разговоров не по теме?
- Предназначен ли оригинальный чат-бот Discourse для долгосрочной разработки и поддержки?
- Или планируется, что в конечном итоге он будет заменен ботом ИИ в официальном плагине или интегрирован в него?
Ниже приведен вопрос, который я задал боту Discourse AI, включенному в версии сайта, которую я тестировал, и ответ от ChatGPT.
У меня есть IQP4 с модулем PowerG для проводного подключения. Проводные датчики работают. Я хотел протестировать звонок/сирену, но не мог найти эту опцию на IQP4. Я могу протестировать сирену на панели, и она звучит вместе с IQ Remote, но проводной звонок нет. Чтобы заставить звучать проводную сирену, мне нужно сработать сигнализации.
Есть ли способ протестировать звонок на модуле PowerG для проводного подключения с помощью IQP4?
Вот ответ с использованием бота Discourse AI с GPT-4
Я нашел на нашем форуме соответствующую тему, которая может помочь вам с вашей проблемой.
В теме Тестирование проводного звонка на модуле PowerG для проводного подключения? у пользователя была похожая проблема, когда он не мог найти опцию для тестирования звонка на модуле PowerG для проводного подключения с помощью IQP4.
Пожалуйста, ознакомьтесь с этой темой для поиска возможных решений. Если у вас все еще есть вопросы или нужна дополнительная помощь, не стесняйтесь спрашивать.
Вот ответ с использованием бота Discourse AI с GPT-3.5
Я нашел тему на форуме поддержки Surety, в которой обсуждается тестирование проводного звонка на соединении PowerG для проводного подключения с панелью IQ Panel 4 (IQP4). Вы можете найти эту тему здесь.
В теме пользователь упоминает, что не мог найти опцию для тестирования звонка/сирены непосредственно на IQP4. Однако он смог протестировать сирену на панели, и она звучала вместе с IQ Remote. Проводной звонок, с другой стороны, не звучал, пока не срабатывала сигнализация.
Вы можете посетить тему для получения дополнительной информации и посмотреть, есть ли какие-либо решения или предложения от других пользователей.
И бот Discourse AI с GPT-4, и бот с GPT-3.5 нашли одну и ту же тему.
Вот ответ от ChatGPT
У меня нет конкретной информации о последней версии программного обеспечения панели IQ Panel 4 или ее функциях, так как мои данные обучения включают знания только до января 2022 года. Однако, основываясь на общих принципах тестирования систем сигнализации, вот несколько предложений, которые могут помочь вам протестировать вашу проводную сирену, подключенную к модулю PowerG:
Режим системного теста:
- Проверьте, есть ли на вашей панели сигнализации режим «Системный тест» или «Тестирование по зонам». Этот режим обычно предназначен для тестирования датчиков и сигнализаций без запуска реального события тревоги. Если ваша панель имеет эту функцию, она должна позволять тестировать сирену без срабатывания полной тревоги.
Управление выходами:
- Ищите опцию «Управление выходами» или «Дополнительный выход» в настройках вашей панели сигнализации. Эта функция может позволять вручную активировать выходы, такие как сирена, для целей тестирования.
Обход зон:
- Некоторые системы позволяют обходить определенные зоны во время тестирования. Если ваша проводная сирена связана с конкретной зоной, вы, возможно, сможете обойти эту зону для тестирования.
Руководство пользователя:
- Обратитесь к руководству пользователя или документации, которая шла в комплекте с вашей панелью IQ Panel 4. В ней должны быть приведены конкретные инструкции по тестированию и управлению различными компонентами вашей системы сигнализации.
Техническая поддержка:
- Если вы не можете найти решение самостоятельно, рассмотрите возможность обращения в техническую поддержку производителя. Они могут предоставить рекомендации на основе конкретных функций и возможностей вашей системы.
Обновление программного обеспечения панели:
- Проверьте наличие доступных обновлений программного обеспечения для вашей панели IQ Panel 4. Производители часто выпускают обновления для добавления новых функций или устранения проблем, и обновление может включать специальный режим тестирования для сирены.
Помните о мерах предосторожности при тестировании, чтобы случайно не вызвать реальное событие тревоги. Если вы не уверены в каких-либо шагах, всегда лучше проконсультироваться с руководством пользователя или связаться с технической поддержкой для получения помощи.
Очевидно, что ChatGPT дает более подробный ответ. Я рассмотрю возможные причины позже в этой теме.
Примечание: У меня нет доступа к плагину Discourse AI от Merefield (Карточка) (GitHub), было бы неплохо увидеть ответ на тот же вопрос, опубликованный здесь, для сравнения. 
Вот мои отзывы.
ИИ этих ботов основан на LLM (больших языковых моделях), знания ограничены набором данных для обучения. Боты также используют RAG (поиск с генерацией ответов) для расширения своих знаний путем доступа к темам на форуме.
Боты обычно используют системный промпт (системную инструкцию), который представляет собой не пользовательский запрос, а инструкцию для API LLM.
Я позволю ChatGPT объяснить разницу.
ChatGPT
Что такое системный промпт? Чем он отличается от пользовательского промпта?
Ответ
Системный промпт и пользовательский промпт — это термины, часто используемые в контексте языковых моделей и разговорных ИИ-систем, таких как GPT-3.5. Позвольте мне прояснить разницу между ними:
Пользовательский промпт:
- Пользовательский промпт — это ввод, предоставленный человеком-пользователем для начала разговора или запроса информации у ИИ-системы.
- Это текст или запрос, который человек вводит или произносит для взаимодействия с ИИ-моделью.
- Например, если вы используете чат-бот или языковую модель, ваш ввод с вопросом или утверждением будет пользовательским промптом.
Системный промпт:
- Системный промпт, с другой стороны, — это начальный ввод или инструкция, данная ИИ-модели для установки контекста или направления ее поведения в разговоре.
- Он используется для предоставления ИИ отправной точки или контекста для генерации ответов.
- Системный промпт помогает формировать тон, стиль или содержание ответов ИИ и служит своего рода инструкцией для направления поведения модели.
- В то время как пользовательские промпты специфичны для запросов или утверждений пользователя, системные промпты больше касаются предоставления общего контекста или инструкции для всего разговора.
В случае GPT-3.5 или подобных языковых моделей разговор обычно начинается с системного промпта, за которым следуют пользовательские промпты в ходе обмена. Системный промпт помогает влиять на ответы модели на протяжении всего разговора, но именно комбинация системного и пользовательского промптов определяет вывод модели.
Причина, по которой боты не могут дать гораздо более конкретный ответ, заключается в том, что их база знаний не содержит руководств пользователя, инструкций по установке и т. д. для этих продуктов. Кроме того, боты часто не могут извлекать изображения и схемы из такой документации, такие как схемы подключения и изображения, используемые в руководствах по установке.
В качестве начального шага следует использовать RAG для расширения знаний ИИ максимально возможного объема, даже если это только текст из документации. Хотя бот Discourse AI может использовать RAG для всех тем на форуме, я не знаю, разрешают ли они добавление внешней информации. Если нет, одной из идей было бы импортировать все документы в формате PDF в категорию, возможно, скрытую, а затем код Discourse мог бы легче получить к ним доступ, так как они находятся на форуме, и затем использовать Langchain для доступа к PDF-файлам (ссылка)
С этой добавленной базой знаний системный промпт можно настроить для улучшения ответов, но это все равно будет далеко от того, что вы ищете. Вы все еще, скорее всего, получите ответы, подобные первому, со ссылками на информацию, но без пошаговых инструкций, когда они необходимы. Также нет способа дать обратную связь об ответе ИИ, которую ИИ понял бы как обратную связь. Другими словами, если пользователь ответит боту, что что-то не так, бот прочитает ответ, но не поймет, что ему нужно обновить знания на основе этого.
Для улучшения качества ответов приходят на ум три идеи.
- Использование HyDE (Hypothetical Document Embeddings — встраивания гипотетических документов)
«Точное плотное извлечение без меток релевантности в нулевом выстреле» Лунь Гао, Сюэгуань Ма, Джимми Лина и Джейми Каллана (pdf)
Я узнал о HyDE от Discourse (ссылка) и знаю, что они его используют.
-
RLHF (Обучение с подкреплением на основе обратной связи от человека). Я не думаю, что ни один из ботов способен на это, но Discourse, возможно, рассматривает это; хотел бы услышать их обратную связь, если они захотят поделиться.
-
Синтетические данные с RLHF. Это действительно передовой край технологий, и я не ожидаю, что какой-либо из ботов это реализует.
Один из самых продемонстрированных и успешных способов обучения LLM — заставить их обучаться самим, но вам нужна какая-то метрика, чтобы они знали, лучше или хуже результат. Для вашего сайта единственный способ, который я сейчас понимаю, узнать, лучше или хуже решение, — это когда человек оценивает решение от ИИ. Чтобы получить больше возможных раундов вопросов и решений, вопросы генерируются одним ИИ, а другое ИИ генерирует решение, затем решение оценивается и используется для улучшения ИИ, генерирующего решение.
Чтобы улучшить способность бота помогать пользователям, он должен задавать серию вопросов для сбора информации, чтобы лучше понять проблему, подобно тому, как это делает врач для постановки диагноза и прогноза.
Другой вариант — посмотреть на аналогичные технологии, доступные через ИИ-бота, такие как Microsoft Copilot.
Один пункт, который вы не запросили и не отметили, но который имеет ценность, — это ссылки на источник. Причина, по которой это важно, — проверить, является ли вывод ИИ галлюцинацией или нет. Если включена ссылка, и это реальная ссылка, а не галлюцинация, то по ссылке можно проверить, является ли она авторитетным источником, например, руководством, и тогда будет известно, что это не галлюцинация. Добавление ссылок легко сделать с помощью RAG, и это должно быть ожидаемым.
Теперь о ваших конкретных целях.
Дополнить нашу команду технической поддержки на форуме.
Это скорее утверждение, чем вопрос, поэтому я не буду отвечать на него как на вопрос.
Система должна обучаться на основе исторических данных форума.
Это было частью более крупного утверждения, которое я разбил. Причина, по которой я разбил его, заключается в том, что, хотя вы правы, исторические данные на форуме имеют ценность, также необходима базовая база знаний, такая как та, что в руководствах. Текущие боты используют RAG с постами на форуме, но, насколько мне известно, они не умеют получать доступ к внешним данным.
Должна пытаться отвечать только на тематические вопросы.
Это можно достичь путем настройки системного промпта. Для этого также потребуются некоторые технологии из Discourse AI Post Classifier - Automation rule.
Должна предоставлять пользователю возможность попросить бота прекратить ответы, чтобы дождаться помощи человека, если бот, по мнению пользователя, не помогает.
Это можно достичь путем настройки системного промпта.
Обучаются ли они автоматически или дообучаются на исторических данных форума?
Хороший вопрос. Хотя я уже коснулся того, как начать решать эту проблему, на самом деле это гораздо более сложный вопрос, чем кажется, но крупные исследователи LLM добиваются гораздо большего прогресса в этом, и в ближайшие месяцы могут быть интересные объявления, которые сделают это гораздо проще.
Не дублировать работу, которая уже выполнена более умными людьми.
Я буду понимать это так, что LLM не должна отклоняться от того, что она знает. Это зависит от того, как модель обучается новым знаниям. Можно сделать модель хуже, и даже сложнее заставить модель «разучиться». Насколько мне известно, ни один из ботов Discourse AI не имеет возможности обучаться, то есть изменять веса в LLM, но они имеют возможность использовать RAG с постами тем. Так что плохой пост на тему, мусор на входе, может создать мусор на выходе.
Ограничить темы, в которых бот будет участвовать, чтобы он не вел общих разговоров не по теме?
Это было бы похоже на Discourse AI Post Classifier - Automation rule.
Предназначен ли оригинальный чат-бот Discourse для долгосрочной разработки и поддержки?
Оставлю этот вопрос сотрудникам Discourse.
Или планируется, что в конечном итоге он будет заменен ботом ИИ в официальном плагине или интегрирован в него?
Оставлю этот вопрос сотрудникам Discourse.