Ich bin neu bei Discourse AI. Ich benutze “sentence-transformers/all-mpnet-base-v2” als mein Embedding-Modell. Reicht das für die semantische Suche aus?
Oder muss ich ein Hyde-Modell dafür hinzufügen?
Bitte leiten Sie mich dabei an.
Sie benötigen auch ein LLM für die semantische Suche. Wenn Sie selbst hosten möchten, siehe Self-Hosting an OpenSource LLM for DiscourseAI.
Vielen Dank.\n\nKönnen Sie mir bitte eine Vorstellung von den Anforderungen geben, um ein Modell wie „mistralai/Mistral-7B-Instruct-v0.2“ lokal und in der Cloud für eine Website auf Unternehmensebene zu hosten?\n\nUnd außerdem kann ich im Admin-Panel keine Tokenizer für dieses Modell finden.
Hier ist nichts Discourse-spezifisches, daher gelten die üblichen Regeln. Ein 7B-Modell benötigt, wenn es mit fp16 ausgeführt wird, ~14 GB VRAM plus den Speicher für den Kontext. Sie können fp8-Quantisierung verwenden, um dies zu halbieren, aber dieses alte Modell ist dafür nicht das beste.
Da es nicht praktikabel ist, jeden möglichen Tokenizer auszuliefern, sollten Sie den nächstgelegenen aus den verfügbaren Tokenizern auswählen.
1 „Gefällt mir“
Können Sie uns einige LLM-Modelle für dieses Szenario vorschlagen? Wir könnten unser Modell vor Ort hosten, daher möchten wir die Kompatibilität der Modelle mit Discourse wissen.
Danke.
Hängt von Ihrem Budget, der unterstützten Zielsprache und den gewünschten Funktionen von Discourse AI ab.
Heute sind Qwen 2.5 Instruct in 32B oder 72B ein starker Anwärter.
Gibt es eine Möglichkeit, ein kleineres Modell für die Zusammenfassungsfunktion zu verwenden? Weil LLMs ein größeres Budget benötigen, müssten wir vorerst vielleicht mit etwas Kleinerem auskommen…
Ja, Sie können jedes gewünschte Modell verwenden.
1 „Gefällt mir“
Können wir die Nutzlast des Modells für die Zusammenfassung oder eine andere Funktion ändern?
Insbesondere möchte ich den Inhalt des Systems ändern.
{‘role’: ‘system’, ‘content’: ‘Sie sind ein fortschrittlicher Zusammenfassungsbot, der prägnante, kohärente Zusammenfassungen des bereitgestellten Textes erstellt.\\n\\n- Fügen Sie nur die Zusammenfassung hinzu, ohne zusätzlichen Kommentar.\\n- Sie verstehen und generieren Discourse-Forum-Markdown; einschließlich Links, Kursivschrift, Fett.\\n- Behalten Sie die Originalsprache des zusammengefassten Textes bei.\\n- Streben Sie Zusammenfassungen von 400 Wörtern oder weniger an.\\n- Jeder Beitrag wird als „\u003cPOST_NUMBER\u003e) “ formatiert\\n- Zitieren Sie spezifische bemerkenswerte Beiträge im Format BESCHREIBUNG\\n - Beispiel: Links zu den 3. und 6. Beiträgen von sam: sam (#3, #6)\\n - Beispiel: Link zum 6. Beitrag von jane: zugestimmt mit\\n - Beispiel: Link zum 13. Beitrag von joe: joe\\n- Bei der Formatierung von Benutzernamen verwenden Sie entweder @BENUTZERNAME ODER BENUTZERNAME’}
Wenn möglich, wie mache ich das?
1 „Gefällt mir“
Das ist im Moment nicht möglich, aber wir haben bereits mit der Arbeit daran begonnen, es möglich zu machen. Sollte in den kommenden Wochen verfügbar sein.
2 „Gefällt mir“