В чем разница между официальным плагином Discourse AI и плагином Discourse Chatbot 🤖 с точки зрения ИИ-ботов и их функций?
Плагин @merefield существует уже дольше и предлагает гораздо больше настроек для его конфигурации. AI Bot также более амбициозен (особенно с учетом доступа к GPT 4), поскольку мы стремимся интегрировать его в опыт работы с Discourse — например, он умеет искать и суммировать темы.
На сегодняшний день наиболее заметные различия:
- Мы осуществляем потоковую передачу ответов и предлагаем кнопку остановки.
- @merefield предоставляет гораздо больше параметров для тонкой настройки.
- Мы предлагаем фреймворк «команд» для выполнения действий ботом от вашего имени, хотя работа с GPT 3.5 пока довольно нестабильна.
- @merefield на данный момент поддерживает интеграцию с чатом Discourse, мы — пока нет.
- Мы также предлагаем интеграцию с Anthropic.
8 лайков
Дополнение: По моим тестам, похоже, что AI Bot работает только в личных сообщениях, а Chatbot — везде, если только я что-то не делаю неправильно с AI Bot.
Генерация изображений и потоковая передача реализованы отлично, как и поисковый API. Однако иногда система всё ещё выдаёт ответ: «Я не могу искать в интернете или генерировать изображения». Используете ли вы что-то похожее на агентов LangChain, которые определяют, какие шаги предпринять?
Должны ли мы создавать CX с охватом всего интернета или только нашего URL-адреса экземпляра?
2 лайка
Верно. Вероятно, мы в будущем расширим интеграцию, но пока стараемся не торопиться и сначала довести до совершенства существующие функции.
Да, это очень раздражает при сравнении GPT 3.5 и GPT 4. Настройка модели для 3.5 оказывается невероятно сложной.
Я рассматриваю возможность добавить промежуточный этап перед ответом в GPT 3.5, который сначала будет проводить первичную оценку (например: выглядит ли это взаимодействие как требующее команды !, и если да, то какой именно?). К сожалению, это увеличит затраты и задержку, поэтому это будет моим последним вариантом.
Мы используем «похожий на» langchain, ограниченный 5 шагами, но стараемся очень экономно расходовать токены, поэтому балансировать сложно.
На ваше усмотрение… Мне нравится иметь доступ ко всему Google, это очень удобно.
4 лайка
То, что я делаю, чтобы зафиксировать 3.5, — это добавляю второй, более короткий системный промпт ниже в финальном промпте, чтобы «напомнить» модели некоторые правила из основного системного промпта.
Так это будет выглядеть примерно так (пишу с телефона, пытаюсь..)
системная роль
пользователь
ассистент
..
..
системная роль «напоминание»
новый промпт пользователя
Просто повторяя самое важное из содержимого системной роли, модель придает этому больший вес. Я использую этот обходной путь уже несколько месяцев, и странности в ответах случаются редко.
Особенно если промпты становятся длиннее, модель склонна «забывать» то, что находится выше в финальном промпте. В области ИИ многое работает на хитростях; я сталкиваюсь с этим как в моделях GPT, так и в LangChain. Только сегодня в LangChain я получил такую сильную персонализацию, что при запросе времени в случайном городе действия были: «проверяю свои часы», «меняю часовой пояс на часах» и «спрашиваю прохожего».
4 лайка