Нам нужны цепочки промптов: разрешить кастомным инструментам AI-персонажей доступ к LangChain.js и/или увеличить время выполнения

Внести вклад Функция
1

Хотя подключение AI-бота к внешним API оказалось весьма впечатляющим, я считаю, что было бы очень полезно, чтобы администраторы и разработчики могли создавать цепочки промптов с использованием LCEL :link: в редакторе пользовательских инструментов. Это позволит реализовать более сложные рабочие процессы и значительно ускорить получение интеллектуальных ответов. Или, возможно, в редакторе пользовательских инструментов можно добавить функционал «конструктор цепочек», который по сути обернёт LangChain в графический интерфейс для администратора :toolbox:.

Альтернативно, было бы крайне полезно увеличить время выполнения запроса более чем на две секунды, чтобы цепочку промптов можно было разместить на отдельном сервере и предоставить доступ к ней с сервера Discourse. Двух секунд достаточно, чтобы передать цепочке данные, позволить ей «подумать» над своей логикой и затем получить ответ :brain:. Однако этот вариант сложнее и более нишевый, а также менее удобен для не-инженеров. Первый вариант кажется более разумным.

Разумеется, оба этих варианта несут потенциальные риски, поэтому в идеале должен быть переключатель для включения с соответствующим предупреждением/уведомлением :warning:.

Но зачем вообще это делать? Рад, что вы спросили :D. :robot:

Сложное поведение AI и агентность невозможно реализовать только с помощью одного системного промпта, и именно для этого и был создан LangChain. Я исследователь в области AI :nerd_face:, и мы разрабатываем (пока что) простую агентовую когнитивную архитектуру на основе LLM, которая в будущем будет взаимодействовать с пользователями :mechanical_arm:. Discourse — это идеальная среда для того, чтобы раскрыть потенциал этой системы, особенно учитывая возможность интеграции с плагином автоматизации — возможности здесь поистине безграничны, и мне это нравится :heart_eyes:.

Я уверен, что многие другие компании также выиграли бы от возможности внедрения агентов в свои форумы. LLM производят сильное впечатление, однако мы признаём, что элементы символического (логического/основанного на правилах) AI всё ещё применимы в рамках более крупных AI-систем — например, в когнитивных архитектурах, созданных для оптимизации под достижение определённого целевого состояния.

:heart: Буду рад получить любую обратную связь, предложения по развитию идеи и критику! :heart:

2

Я читаю и понимаю слова, и только это — потому что я конечный пользователь, не обладающий базовыми знаниями и пониманием. И я не до конца уверен, пытаетесь ли вы на самом деле продать B2B-концепцию или что-то полезное для пользователей в среде форума. Или и то, и другое — это тоже возможный вариант.

Конечно, хорошо иметь большой набор инструментов, и нет причин, по которым каждый должен использовать все инструменты. Хорошо иметь достаточно большой выбор, из которого можно выбрать.

Можете ли вы привести практические примеры того, что всё это может дать бизнесу, стоящему за форумом, и для пользователя?

1 лайк
3

Отличные мысли :smiley: Спасибо за ответ!

Можно придумать бесконечное количество вариантов использования, связывая LLM для достижения цели, но вот простой, реалистичный пример…

Представьте форум для исследователей, которым нужно быстро и легко находить новые научные статьи. Можно просто использовать уже доступную http-библиотеку в конструкторе пользовательских инструментов для AI-плагинов и создать инструмент, отправляющий запрос в какую-либо базу данных статей (например, arXiv или рецензируемый академический журнал). Но это по сути всего лишь «одноразовая» попытка.

Более эффективный подход — объединить несколько вызовов LLM в цепочку, чтобы решать проблему поэтапно:

  1. Общаться с пользователем о теме его исследования (повторять несколько раз, чтобы собрать максимум деталей).
  2. Сформулировать потребности пользователя согласно заранее определённому шаблону.
  3. Превратить это резюме в API-запрос и получить список потенциально подходящих статей из базы данных.
  4. Проанализировать аннотацию каждой статьи, чтобы убедиться в её реальной релевантности.
  5. Представить пользователю этот список и объяснить, почему каждая статья важна для темы его исследования.

Это не то, над чем я работаю (я не обязательно хочу раскрывать свою бизнес-модель и архитектуру :D), но это простой и реалистичный пример, который уже рассматривают некоторые разработчики.

По сути, я предлагаю пользователям (через замечательный плагин подписок) доступ к AI-боту, который сложнее, чем просто системный промпт с простым инструментом, подключённым к какому-либо сервису, возвращающему данные (цены на акции и т.д.). Сложнее в том смысле, что он решает проблему / отвечает на запрос пользователя в несколько шагов, где каждый шаг использует LLM с разным системным промптом. По сути, именно это делает новая модель OpenAI o1. :blush:

1 лайк
4

Если вы планируете зарабатывать на этом, возможно, разумно было бы предложить эту возможность через PR? Вы об этом думали?

Полагаю, они добавляют поддержку o1, так почему бы не придерживаться этого?

Чат-бот уже может работать с o1, что я подтвержу, как только смогу протестировать его, не тратя ещё больше денег на свой аккаунт, чтобы достичь 5-го уровня! :moneybag: :moneybag: :moneybag:

2 лайка
5

Я определённо об этом думал, но как исследователь в области ИИ мой опыт и знания в программировании сосредоточены на Python и таких библиотеках, как NumPy, PyTorch и других :nerd_face:. Я ничего не знаю о Ruby и очень мало о JavaScript. Однако, поскольку я влюбился в Discourse, я решил постепенно начать изучать их, а также разработку плагинов для Discourse. :sweat_smile: Поэтому, если у вас есть какие-либо рекомендации по ресурсам для обучения, буду очень признателен!

o1 — это здорово и полезно, и я предсказываю, что буду часто использовать его для программирования. Однако то, над чем я работаю, — это когнитивная архитектура, так что ситуация немного иная. Я скорее в настроении «Я хочу создать что-то на основе исследований в области вычислительных когнитивных наук, и было бы круто, если бы это можно было продать», а не «У меня есть идея, и я могу передать её OpenAI и заработать деньги». Надеюсь, это имеет смысл :winking_face_with_tongue:.

Кстати, наша когнитивная архитектура будет примерно в 20 раз дешевле o1 :grimacing:

1 лайк
6

Да, o1 сейчас безумно дорог! :grimacing:

Учитесь на практике: сначала копируйте существующие плагины и выбирайте самые простые функциональные задачи, чтобы сделать процесс итеративным и более лёгким. Создавайте то, что вам действительно нужно, потому что мотивация поможет вам преодолеть возникающие препятствия.

1 лайк