Wir benötigen Ketten für Prompt: Erlauben Sie benutzerdefinierten AI-Persona-Tools den Zugriff auf LangChain.js und/oder längere Ausführungszeiten

Merkmal
1

Obwohl die Anbindung des KI-Bots an externe APIs ziemlich großartig war, denke ich, dass es für Administratoren/Entwickler sehr nützlich wäre, Prompt-Ketten mit LCEL :link: im benutzerdefinierten Tool-Editor erstellen zu können, um komplexere Arbeitsabläufe und turboaufgeladene intelligente Antworten zu ermöglichen. Oder vielleicht könnte der benutzerdefinierte Tool-Editor eine “Chain Builder”-Funktionalität haben, die LangChain im Grunde in eine grafische Benutzeroberfläche für den Administrator einpackt :toolbox:.

Alternativ wäre es äußerst nützlich, eine Ausführungszeit von mehr als zwei Sekunden zu erlauben, damit eine Prompt-Kette auf anderen Servern gehostet und dem Discourse-Server zur Verfügung gestellt werden kann. 2 Sekunden sind lang genug, um der Kette einige Daten zu senden, sie über ihre Kette “nachdenken” zu lassen und dann eine Antwort zurückzubekommen :brain:. Aber das ist komplexer und nischenhafter und weniger benutzerfreundlich für Nicht-Ingenieure. Der erste Vorschlag ist sinnvoller.

Natürlich bergen beide Optionen potenzielle Risiken, daher gäbe es idealerweise einen Umschalter zur Aktivierung mit einer Warnung/einem Hinweis :warning:.

Aber warum das Ganze? Nun, ich bin froh, dass Sie fragen :smiley: . :robot:

Komplexes KI-Verhalten / Agententum ist mit einem einzigen System-Prompt allein nicht wirklich erreichbar, und genau deshalb wurde LangChain entwickelt. Ich bin KI-Forscher :nerd_face: und wir bauen eine (vorerst) einfache LLM-basierte agentische kognitive Architektur, die schließlich mit Benutzern interagieren wird :mechanical_arm:. Discourse wäre das idealste Medium, um dieses Biest zu entfesseln, insbesondere da es mit dem Automatisierungs-Plugin gekoppelt werden kann — die Möglichkeiten sind hier wirklich endlos und ich liebe es :heart_eyes:.

Ich bin zuversichtlich, dass viele andere Unternehmen davon profitieren würden, Agenten auch auf ihre Foren anwenden zu können. LLMs sind ziemlich beeindruckend, aber wir erkennen an, dass Elemente der symbolischen (logik-/regelbasierten) KI in größeren KI-Systemen immer noch anwendbar sind — wie z. B. kognitive Architekturen, die darauf ausgelegt sind, auf einen bestimmten Zielzustand hin zu optimieren.

:heart: Ich würde mich über jedes Feedback, Brainstorming und jede Kritik an dieser Idee freuen! :heart:

2

Ich lese und verstehe Wörter, und das ist alles – denn ich bin ein Endbenutzer, dem grundlegendes Wissen und Verständnis fehlt. Und ich bin mir nicht ganz sicher, ob Sie versuchen, ein B2B-Konzept zu verkaufen oder etwas Nützliches für Benutzer in einer Forumsumgebung. Oder beides, das ist auch eine mögliche Situation.

Sicher, es ist gut, eine große Vielfalt an Werkzeugen zu haben, und es gibt keinen Grund, warum jeder jedes Werkzeug benutzen sollte. Es ist gut, einen ausreichend großen Vorrat zur Auswahl zu haben.

Können Sie praktische Beispiele dafür geben, was all das dem Unternehmen hinter einem Forum und einem Benutzer bringen kann?

1 „Gefällt mir“
3

Gute Punkte :smiley: Danke für deine Antwort

Man könnte sich unendlich viele Anwendungsfälle ausdenken, um LLMs miteinander zu verbinden, um ein Ziel zu erreichen, aber hier ist ein einfaches, bodenständiges Beispiel…

Nehmen wir an, es gibt ein Forum für Forscher, die schnell und einfach neue Forschungsarbeiten finden müssen. Man könnte einfach die bereits verfügbare http-Bibliothek im AI-Plugin-Custom-Tool-Builder verwenden und dann ein Tool erstellen, das eine Anfrage an eine Datenbank von Arbeiten sendet (zum Beispiel arXiv oder von Experten begutachtete wissenschaftliche Zeitschriften). Aber das ist im Grunde nur ein “Einmalversuch”.

Ein besserer Ansatz wäre, mehrere LLM-Aufrufe zu verketten, um das Problem schrittweise anzugehen:

  1. Mit dem Benutzer darüber chatten, worum es in seinem Forschungsthema geht (wiederholen Sie dies ein paar Mal, um viele Details zu erhalten).
  2. Die Bedürfnisse des Benutzers gemäß einer vordefinierten Vorlage zusammenfassen.
  3. Diese Zusammenfassung in eine API-Anfrage umwandeln und eine Liste potenzieller Treffer aus der Datenbank der Arbeiten erhalten.
  4. Den Abstract jedes Papiers analysieren, um sicherzustellen, dass es tatsächlich relevant ist.
  5. Diese Liste dem Benutzer präsentieren und erklären, warum jedes Papier für sein Forschungsthema relevant ist.

Das ist nicht das, woran ich arbeite (ich möchte nicht unbedingt mein Geschäftsmodell und meine Architektur preisgeben :smiley: ), aber es ist ein einfaches und realistisches Beispiel, das tatsächlich von einigen Entwicklern bearbeitet wird.

Im Wesentlichen verkaufe ich den Benutzern (über das nette Abonnement-Plugin) den Zugang zu einem KI-Bot, der komplexer ist als nur ein System-Prompt mit einem einfachen Tool, das an einen Dienst angeschlossen ist, der einige Daten zurückschießt (Aktienkurse usw.). Komplexer in dem Sinne, dass er ein Problem löst / eine Benutzeranfrage in mehreren Schritten bearbeitet, wobei jeder Schritt ein LLM mit einem anderen System-Prompt verwendet. Das ist im Grunde das, was das neue o1-Modell von OpenAI tut. :blush:

1 „Gefällt mir“
4

Wenn Sie damit Geld verdienen wollen, ist es vielleicht vernünftig, die Funktion per PR bereitzustellen? Haben Sie darüber nachgedacht?

Ich glaube, sie fügen Unterstützung für o1 hinzu, warum also nicht dabei bleiben?

Chatbot funktioniert möglicherweise bereits mit o1, was ich bestätigen werde, sobald ich es tatsächlich testen kann, ohne noch mehr Geld für mein Konto auszugeben, um Tier 5 zu erreichen! :moneybag: :moneybag: :moneybag:

2 „Gefällt mir“
5

Ich habe definitiv darüber nachgedacht, aber als KI-Forscher konzentriert sich meine Programmiererfahrung/mein Wissen auf Python und Bibliotheken wie NumPy, PyTorch usw. :nerd_face:. Ich weiß nichts über Ruby und sehr wenig über JavaScript. Obwohl ich mich in Discourse verliebt habe, habe ich mir vorgenommen, diese langsam zu lernen, ebenso wie die Entwicklung von Discourse-Plugins. :sweat_smile: Wenn Sie also Empfehlungen für Lernressourcen haben, wäre ich dankbar!

o1 ist nett und nützlich, und ich gehe davon aus, dass ich es oft zum Programmieren verwenden werde, aber woran ich arbeite, ist eine kognitive Architektur, also ist es eine etwas andere Situation. Ich bin eher in der Denkweise “Ich möchte etwas auf der Grundlage von Forschung in den computergestützten Kognitionswissenschaften aufbauen, und es wäre cool, wenn es sich verkaufen ließe” und nicht wirklich “Ich habe eine Idee und kann sie an OpenAI auslagern und viel Geld verdienen”. Ich hoffe, das ergibt Sinn :winking_face_with_tongue:.

Oh ja, und unsere kognitive Architektur wäre etwa 20 Mal billiger als o1 :grimacing:

1 „Gefällt mir“
6

Ja, o1 ist im Moment verrückt teuer! :grimacing:

Lernen Sie, indem Sie es tun, kopieren Sie zuerst bestehende Plugins und wählen Sie zuerst einfach zu erreichende funktionale Früchte, um es zu einem einfacheren iterativen Prozess zu machen. Machen Sie etwas, das Sie wirklich brauchen, denn Sie werden den Anreiz brauchen, die Hindernisse zu überwinden, auf die Sie stoßen.

1 „Gefällt mir“