Я очень рад сообщить, что теперь у нас есть встроенная поддержка моделей принятия решений.
Модели принятия решений были продвиганы и впервые разработаны TypeSafe.ai, а с тех пор их реализовали множество провайдеров, включая CloudFlare (clef), Open AI (decisions api) и многих других.
Они позволяют классифицировать текст и изображения, быстро, точно и недорого отвечая на произвольные вопросы о входных данных.
Новые интеллектуальные возможности можно использовать в огромном количестве рабочих процессов, поскольку они позволяют классифицировать текст (и изображения) с помощью собственного разработанного вами классификатора.
Автоматическая модерация — получайте уведомления, когда обсуждения становятся жаркими
Уведомление определенных членов команды, когда обсуждаются определенные темы
Автоматическое тегирование и категоризация
И многое другое
Наслаждайтесь, и пожалуйста, делитесь интересными рабочими процессами, которые вы придумаете.
Я считаю это отличным решением для агентов по первичной сортировке обращений; я уже начал первые тесты, чтобы посмотреть, как всё будет работать. Я понимаю, что эти новые модели для принятия решений очень точны и быстры, и мне радостно, что они теперь доступны в Discourse.
Меня интересует, есть ли планы и/или техническая возможность интегрировать их и в обычные агенты, чтобы разработать «старших помощников», которые сначала классифицируют запросы, а затем передают их дальше. Или это вообще не имеет смысла?
Возможно, я пока до конца не понял их основное применение, и, возможно, мой вопрос здесь неуместен.
Мне кажется, здесь есть множество вариантов применения. Использование их в качестве «врат», которые находят нужного агента или субагента для ответа, — это определённо то, что я хотел бы исследовать.
Вот как я это представляю, используя нашу систему в качестве примера. У нашего основного агента есть пять субагентов:
Субагент
Когда выбирается
publicator
когда участник делится текстом для улучшения перед публикацией
links
свободные ссылки для превращения в пост
web
то, что меняется за пределами форума
base
курируемый архив: старые обсуждения, документы, книги
at
график, которым поделился участник, проверяемый по нашему публичному методу
Сегодня родительская LLM читает описания субагентов и выбирает один из них с помощью spawn_agent. Шлюз (gate) взял бы на себя это решение:
Настройка шлюза (gate) у агента, указывающая на модель принятия решений.
Варианты выбора — это уже существующие описания субагентов, плюс «ответь сам». Администраторам не нужно ничего нового писать.
Предлагаются только те субагенты, к которым имеет доступ текущий пользователь.
Если уровень уверенности выше порога, субагент запускается напрямую. Ниже порога результат передаётся родительской LLM в качестве подсказки, и LLM принимает решение, как это происходит сейчас.
Поскольку модели принятия решений классифицируют изображения, информация «участник поделился графиком» извлекается непосредственно из изображения.
Тот же шлюз, оформленный в виде вопроса «да/нет», также мог бы работать как страж (guard) перед запуском LLM.
Мы — образовательное сообщество, и мы не даём сигналов, целевых цен или инвестиционных советов, поэтому «спрашивают ли здесь о торговом сигнале?» → фиксированный ответ. Сегодня это правило прописано одной строкой в каждом промпте, но под давлением модели отклоняются от него.
Если вы дойдёте до этого, нам было бы приятно попробовать раннюю версию на нашем форуме.
Пользователи, размещённые на CDCK, получают заранее настроенный доступ к модели принятия решений.
Те, кто размещает сервис самостоятельно и хочет поэкспериментировать, могут перейти по ссылке: https://app.vllm-sr.ai/ , создать ключ и попробовать бесплатно.
