Discourse Chatbot 🤖

[exlabs (Daniel)]

@merefield Danke!

Wie zum Teufel hast du das so schnell debuggt?

Ich werde Zendesk entfernen… einfach

[merefield (Robert)]

Bittere Erfahrung

[exlabs (Daniel)]

Hallo zusammen,

Ich habe jetzt ein Konto bei OpenAI erstellt. Sollte ich einen “Assistenten” erstellen? Ich frage mich nur, ob es Schritte gibt, um die KI in das Plugin zu integrieren?

Mit freundlichen Grüßen,

[merefield (Robert)]

Nein, Sie benötigen lediglich ein Token. Möglicherweise müssen Sie Ihr Konto bei Open AI aufladen, um Zugang zu den fortschrittlicheren Modellen und höheren Ratenbeschränkungen zu erhalten.

Die gesamte API-Abwicklung erfolgt über das Plugin.

(Übrigens, wussten Sie schon – Chatbot unterstützt die Assistants API ausdrücklich nicht, da es sein eigenes, maßgeschneidertes Konversations- und „innere Gedanken“-System implementiert, das ausschließlich die Chat Completions API und die Embeddings API nutzt. Das ist großartig, da die Assistants API den Ruf hat, verschwenderisch mit Tokens umzugehen und Sie viel Geld zu kosten – Chatbot ist darauf ausgelegt, sparsam zu sein!)

[exlabs (Daniel)]

Das tut es, viel mehr als ich dachte.

Könnten Sie erklären, was ein Token in der ChatGPT-Welt ist? Ich zahle derzeit für ChatGPT Premium, das sind 20 USD/Monat. Mein Ziel war es, unseren Discourse-Nutzern den Zugriff auf die KI zu ermöglichen, die ich trainiert habe, und zwar über chatgpt.com.

Ich hoffe, das ergibt Sinn und der Anwendungsfall ist klar!

[Jagster (Jakke Lehtonen)]

Es ist wie Geld. Sie können sich Token als Wörter oder Wortteile vorstellen. Wenn Sie etwas fragen, kostet das X Token. Wenn OpenAI Ihre Frage verarbeitet, werden mehr Token verbraucht. Und schließlich kostet die Erstellung Ihrer Antwort eine bestimmte Anzahl von Token.

Abhängig vom verwendeten Modell und dem Gespräch müssen Sie diesen Tokenverbrauch bezahlen, manchmal mehr und manchmal weniger.

[Jagster (Jakke Lehtonen)]

Die Fähigkeit, o1 zu nutzen, hat meine KI-Nutzung ziemlich verändert (und Gott sei Dank, aber dank Roberts Programmierkenntnissen kann ich die Nutzung auf mich beschränken). Aber die o1-Serie verwendet keinen System-Prompt, daher muss ich solche Anleitungen, wie man Mathematik darstellt usw., in meinen Prompt einfügen.

Es wäre einfacher, wenn wir einen Standardtext hätten, der automatisch nach dem eigentlichen Prompt hinzugefügt wird, also ein Post-Prompt. Discourse hat diese Fähigkeit irgendwie, aber entweder kann ich sie nicht nutzen oder ich versuche, sie falsch zu nutzen. Sie sollte in jeder Kategorie und jeder PM erscheinen, wenn der Chatbot erwähnt wird oder Teil einer PM ist. Und nur, wenn o1 oder o1-mini verwendet wird

Die o1-Serie ist noch nicht fertig, daher kann sich die Art und Weise, wie sie Tools usw. nutzen kann, irgendwann ändern. In diesem Sinne frage ich nicht nach einer neuen Funktion, sondern diskutiere vielleicht eher über Optionen. Und die o1-Serie wird niemals eine Massenlösung sein, sie ist zu spezialisiert (und teuer), daher könnte die Nachfrage, bei der sich ein Benutzer einfach daran erinnern muss, diese zusätzlichen Regeln hinzuzufügen, gerechtfertigt sein.

Off-Topic, aber GPT-Modelle lernten Mathematik, als o1 veröffentlicht wurde.

[merefield (Robert)]

Ja, wir können uns nicht zu sehr mit der Anpassung beschäftigen, um die Inkonsistenzen von Open AI auszugleichen.

Ich vermute stark, dass Tools und möglicherweise sogar System-Prompt-Funktionen verfügbar sein werden, wenn o1 aus der Vorschauphase austritt.

Ich bin nicht davon überzeugt, dass Chatbot der richtige Ort für die Implementierung eines „Snippet“-Systems ist, obwohl ich mich erinnere, dass eines der Teammitglieder dies erstellt hat. Ich werde es finden und den Beitrag aktualisieren …

[merefield (Robert)]

Hier, bitte schön:

Insertable, centrally maintained text/markdown snippets

One possible option is to use a theme component. This goes in header.html <script type="text/discourse-plugin" version="0.8"> var disclaimer = settings.Disclaimer_text, disclaimer_selector = 'div[data-theme="disclaimer"]'; $.fn.disclaimer = function() { if (!this.length) { return; } else { this.each(function() { $(this).html(disclaimer); }); return this; } }; api.decorateCooked($elem => $elem.children(disclaimer_selector).disclaimer()); // create composer butto…

[exlabs (Daniel)]

Danke @Jagster für die wirklich klaren Informationen dazu. Ich glaube, ich meinte etwas anderes, vielleicht? Ich versuche, dieses Plugin mit OpenAI zu integrieren, indem ich dies verwende:

. Ich versuche nur, einige grundlegende Informationen darüber zu erhalten, wie die Dinge verbunden werden.

[Jagster (Jakke Lehtonen)]

Das ist nur ein API-Schlüssel, den Sie generieren, um Zugriff zu erhalten. Nichts weiter, Ihr Passwort, könnte man sagen.

[merefield (Robert)]

Ah, jetzt verstehe ich die Verwirrung.

Ja, es gibt ein API-Token (oder einen Schlüssel, den Sie von OpenAI erhalten müssen) und es gibt Text-Tokens, die Teile von Wörtern darstellen. Letztere werden von der LLM verarbeitet. Ersteres dient dazu, dass Sie von der API authentifiziert werden.

Hier ist ein ziemlich guter Leitfaden zur Terminologie von The Verge:

AI is confusing — here’s your cheat sheet

[Amicable]

Ich führe Llama lokal aus und bin dem Ziel sehr nahe, dies auf einer lokalen Discourse-Instanz zum Laufen zu bringen. Der Chatbot chattet , aber ich habe Schwierigkeiten, die Einbettungen hinzuzufügen. Ich habe meinen Benchmark-Benutzer auf Vertrauensstufe 1. Das Rake-Task rake chatbot:refresh_embeddings[1] schlägt mit einem Authentifizierungsproblem fehl.

Faraday::UnauthorizedError: the server responded with status 401 (Faraday::UnauthorizedError)

Im Chatbot-OpenAI-Token-Feld habe ich die URL eingefügt, die Llama mir gegeben hat

Haben Sie vielleicht Vorschläge, wie ich mich richtig authentifizieren sollte?

[merefield (Robert)]

Toll, dass du es versucht hast!

@Amicable

Chatbot chattet aber ich habe Schwierigkeiten, Embeddings zu erstellen.

Freut mich, dass es chattet
Ich weiß nicht, ob es möglich ist, Chatbot mit Embeddings lokal zu verwenden.
Ich würde einen guten PR akzeptieren, um Unterstützung hinzuzufügen.
Ich habe das hier gefunden:

Embedding models · Ollama Blog

Es könnte also mit dem richtigen Modell und relevantem zusätzlichem Code und Einstellungen in Chatbot möglich sein. Wahrscheinlich benötigen Sie eine benutzerdefinierte Einstellung für Embeddings-Modelle, die es noch nicht gibt.
Es gibt jedoch bereits Folgendes:
chatbot open ai embeddings model custom url
Dies wurde hauptsächlich zur Unterstützung von Azure implementiert, kann aber auf ähnliche Weise wiederverwendet werden, wie Chat Completions auf einen lokalen Ollama-Dienst verweisen können.
Ich schätze, dies schränkt die Nützlichkeit des Bots lokal derzeit ein.

@Amicable

Haben Sie vielleicht Vorschläge, wie ich mich richtig authentifizieren sollte?

Dies ist der Token, der an den Endpunkt gesendet wird. Es ist einfach ein Textfeld. Ich bezweifle stark, dass eine URL hier funktionieren wird. Es gibt weiter unten benutzerdefinierte Einstellungen für die URL des Chat Completions-Endpunkts:
z. B. chatbot open ai model custom url high trust
Wenn Sie forken und relevante Ergänzungen vornehmen, die mit dem, was bereits existiert, übereinstimmen, das bereits Verfügbare nutzen, aber das Minimum hinzufügen, um lokale Embeddings-Unterstützung mit Ollama zu erreichen, während das bestehende Verhalten mit Open AI und Azure erhalten bleibt, würde ich definitiv einen PR mit Blick auf die Zusammenführung prüfen.

[Amicable]

@merefield

Ich habe das hier gefunden:

Embedding models · Ollama Blog

Es könnte also mit dem richtigen Modell und entsprechendem Zusatzcode und Einstellungen in Chatbot möglich sein.

Kommt bald
Weitere Funktionen werden zur Unterstützung von Workflows mit Embeddings hinzugefügt:
…
OpenAI API-Kompatibilität: Unterstützung für den OpenAI-kompatiblen Endpunkt /v1/embeddings

Da bald in diesem sich schnell entwickelnden Bereich normalerweise wirklich bald ist, ist das vielleicht etwas, auf das es sich lohnt zu warten, um meinen Anwendungsfall zu lösen?

Unsere Instanz ist eine Informationsquelle, die 20 Jahre zurückreicht, aber Lecks sind ebenfalls ein großes Problem, daher der Wunsch nach lokalen Tests.

[Amicable]

Ich glaube, ich habe einen Ollama PR gefunden, der die Kompatibilität des API-Endpunkts zu beheben scheint. Ich muss das besser verstehen, aber bin ich auf dem richtigen Weg?

[merefield (Robert)]

Nun gibt es derzeit keine Einstellung für ein benutzerdefiniertes Embeddings-Modell, was ein Showstopper ist.

Wenn Sie lokal ausführen, könnten Sie es versuchen, indem Sie das Modell fest für das von Ihnen für Ollama heruntergeladene Modell kodieren.

Wenn ich weiter darüber nachdenke, ist das andere Problem, dem Sie begegnen werden, dass die Definition der Embeddings-Tabelle Dimensionen hat, die auf den Standard des kleinen OpenAI-Modells eingestellt sind, was RIESIG ist … vielleicht können Sie darüber nachdenken, wie Sie das überwinden könnten …

[merefield (Robert)]

Chatbot 1.2. führt die KI-gestützte Erfassung von Benutzerfeldern als experimentelle Funktion ein.

Wenn ein Benutzer einige optionale Benutzerfelder hat, die derzeit leer sind, wird durch Aktivieren dieser Einstellung der Bot beginnen, den Benutzer nach den Informationen zu fragen. Er wird die ausstehenden Benutzerfelder durchlaufen, bis diese abgeschlossen sind, und dann zum normalen Verhalten zurückkehren.

(Entschuldigung für die langsame Antwort – dies wurde in der Entwicklung aufgenommen)

Hinweis: Diese Funktion unterstützt nur:

• Text
• Dropdowns
• Bestätigungen

Mehrfachauswahl wird noch nicht unterstützt.

Die Felder müssen optional sein.

Die Reihenfolge der Benutzerfelder bestimmt die Priorität.

[merefield (Robert)]

Chatbot 1.3 wurde veröffentlicht

• FEATURE: Option zum Verwalten von Kontingenten nach Token hinzugefügt
  • Die neue Einstellung chatbot_quota_basis ermöglicht die Aktivierung, andernfalls bleibt die Zählung nach Abfragen bestehen
  • Der einzige Unterschied ist standardmäßig, dass das Kontingent vom maximalen Startkontingent abwärts zählt (das immer noch auf denselben Vertrauensstufeneinstellungen basiert).
• FEATURE: Kosten von API-Aufrufen wie DALL-E in den Benutzerverbrauch einbeziehen
  • Nur Token-Basis
  • Verschiedene neue Einstellungen zum Anpassen, um die Token-Kosten von API-Funktionen zu beeinflussen
• FEATURE: Funktion zum Überprüfen des verbleibenden Kontingents hinzugefügt

FEATURE: add option to manage quotas by token

Chatbot hat schon immer die Möglichkeit geboten, eine Nutzungsgrenze durchzusetzen.

Heute wird dies ausgefeilter!

Chatbot kann jetzt ein Kontingent für die Nutzung nach Token verfolgen und durchsetzen.

Sie können API-Aufrufe bepreisen, um deren übermäßige Nutzung abzuschrecken, sodass Sie sich weniger Sorgen machen müssen, Leuten Zugang zur Bilderzeugung zu gewähren.

Die Token-Verfolgung ist optional. Wenn Sie zur Token-Verfolgung wechseln, stellen Sie sicher, dass Sie jedes Vertrauensstufenkontingent erhöhen, da die Werte um einige Größenordnungen höher sein müssen. Experimentieren Sie.

Die Verfolgung nach Abfragen hat sich jedoch leicht geändert. Sie wird nun auf Ihre maximal zulässige Anzahl von Abfragen zurückgesetzt und zählt abwärts auf Null.

Sie könnten erwägen, den globalen Kontingentrücksetzungsjob einmalig als einmalige Aktion auszuführen, um sicherzustellen, dass jeder mit einem vollen Kontingent beginnt. Dies ist eine einmalige Sache!

In Sidekiq unter /sidekiq/scheduler:

Drücken Sie die Trigger-Schaltfläche.

In beiden Fällen können Benutzer jetzt fragen, wie viel Kontingent sie noch haben:

Hinweis: Bekanntes Problem: Wenn diese Frage zum ersten Mal gestellt wird, bevor der Rücksetzungsjob ausgeführt wurde, kann die Antwort etwas seltsam sein! Unabhängig davon, ob der Rücksetzungsjob ausgeführt wurde oder nicht, sollte die Frage beim zweiten Mal korrekt funktionieren.

[Epoch]

Hallo Robert,

Ich schätze all die Arbeit, die du in den Bot gesteckt hast, aber ich bekomme die folgende Fehlermeldung in den Protokollen, wenn ich versuche, ihn im Chat aufzurufen.

Hast du Ideen, ohne eine Deinstallation/Neuinstallation?