Ich möchte den Dienst vielleicht – ja – in Anspruch nehmen, aber es ist noch zu früh für das Forum, das ich im Sinn habe, also noch nicht genügend Daten zum Verarbeiten.
Da Sie mit dieser Technologie experimentieren, können Sie uns sagen, welche Rolle Tags beim Trainieren der KI spielen? Ich habe viel Aufwand betrieben, um den Korpus eines meiner Foren zu clustern, um Labels zu generieren, die dann zur Kategorisierung und Kennzeichnung von Themen verwendet werden konnten. Während die Kategorisierung sehr gut funktionierte, ist die Implementierung von Tags aufgrund der schieren Menge der beteiligten Begriffe problematisch. Es gibt keine praktische Möglichkeit, sie alle darzustellen.
Ich würde denken, dass die KI diese Begriffe nutzen könnte, um ihre eigenen Ergebnisse zu verbessern.
Es gibt heute kein Training von Modellen in Discourse. Alle Modelle, die derzeit von Modulen verwendet werden, sind bereits trainiert.
Tags können nützlich sein, um Kontext in Prompts für Funktionen wie Tag-Vorschläge und verwandte Themen hinzuzufügen, aber beides wird derzeit nicht verwendet.
Discourse AI speichert die Embeddings nun in derselben DB-Instanz, die wir für alles andere verwenden. Das erleichtert die Installation und Wartung erheblich, und wir importieren die Embeddings automatisch aus der alten Datenbank, wenn Sie ein Update durchführen. Danach können Sie die alte Datenbank stilllegen.
Ah, das erklärt die Probleme, die ich jetzt mit meinem Setup habe:
I, [2023-07-18T09:29:11.218667 #1] INFO -- : cd /var/www/discourse & su discourse -c 'bundle exec rake db:migrate'
------------------------------DISCOURSE AI ERROR----------------------------------
Discourse AI requires the pgvector extension on the PostgreSQL database.
Run a `./launcher rebuild app` to fix it on a standard install.
Alternatively, you can remove Discourse AI to rebuild.
------------------------------DISCOURSE AI ERROR----------------------------------
Meine Datenbank ist ein RDS Aurora Serverless v2 und kann daher die pgvector-Erweiterung nicht verwenden. Gibt es eine Möglichkeit, das alte Verhalten zu konfigurieren?
Verwenden Sie Serverless für die Haupt-Discourse-DB oder nur für die Embeddings? Discourse AI speichert die Embeddings jetzt in der Hauptdatenbank und erfordert, dass die pgvector-Erweiterung dort aktiviert ist. Sie ist auf RDS PostgreSQL 13.11 und höher verfügbar. Wir verwenden Aurora nicht in der Produktion, nur RDS PostgreSQL, daher ist das das Einzige, was ich Ihnen empfehlen kann.
RDS ist ein SaaS von AWS, es kann nicht in ein Docker-Image verpackt werden.
Discourse AI funktioniert entweder mit der PostgreSQL-Version, die wir in unserem Docker-Image verpacken, mit Amazon RDS oder mit jeder PostgreSQL-Instanz, auf der die Erweiterung installiert ist.
Hallo
Kann ich „Llama 2“ Open-Source von Meta für die Empfehlung von Beiträgen für meine Nutzer verwenden?
Hat jemand Erfahrung mit einem solchen Instrument?
Danke
Meinen Sie die Empfehlung von „Ähnlichen Themen“? In diesem Fall nein, noch nicht. Es gibt noch keine auf Llama 2 basierenden Embedding-Modelle.
Es ist erwähnenswert, dass die von uns ausgelieferten (eines Open-Source und eines von der OpenAI API) wirklich gut sind und mehr als genug, um die Funktion „Ähnliche Themen“ zu unterstützen.
Im Moment nicht, da dies erfordern würde, dass ich zwei separate Repositories pflege, eines mit dem App-Code und ein weiteres mit den internen Tools zum Erstellen von Images und zum Pushen in unsere internen Repositories, und ich konnte wirklich keine Zeit finden, dies ordnungsgemäß einzurichten.
Der API-Code ist jedoch vollständig im Container-Image sichtbar, auch wenn dies nicht der beste Weg ist, ihn zu verfolgen, ist zumindest alles da.
Könnte mir jemand die genauen minimalen und empfohlenen Serveranforderungen für ein Forum mit normalen Besuchern mitteilen? Ehrlich gesagt, ich möchte es ausprobieren, aber ich weiß nicht, wo ich anfangen soll, da es keine klaren Serveranforderungen gibt.
In meinem Forum sind 200-250 Benutzer online und täglich werden durchschnittlich 300 Beiträge erstellt. Man kann also nicht von zu viel sprechen, deshalb habe ich es als Standard bezeichnet. Ich verstehe, was Sie meinen, aber ich plane, einen neuen Server zu mieten, da der Cloud-Server, den ich derzeit nutze, keine vielen Upgrades zulässt. Danke für Ihre Antwort
Wenn Sie zum Beispiel nur mit Embeddings spielen möchten, reicht ein $6 Droplet, das dies auf der CPU tut, und Sie erhalten Zugriff auf die Funktion „Ähnliche Themen“.
Wenn Sie jetzt AIHelper und AIBot möchten, können Sie:
pro Aufruf bei OpenAI bezahlen, und die Kosten hängen von Ihrer Nutzung ab.
ein Open-Source-LLM auf einem eigenen Server für Datenschutz ausführen. Ein Modell wie Llama2-70B-Chat benötigt jedoch einen Server, der 10.000 bis 25.000 pro Monat kostet.
ein Open-Source-LLM auf einem Pay-per-Hour-Service ausführen. Sie können eine quantisierte Version von Llama2 in HuggingFace-Endpunkten für 6,50 $ pro Stunde ausführen, und sie wird nach 15 Minuten ohne Anfragen automatisch in den Ruhezustand versetzt.
Der Bereich ML/Ops bewegt sich schnell, GPUs sind extrem knapp und täglich werden neue Modelle gestartet. Schwer vorherzusagen, wir alle experimentieren.
Vielen Dank für Ihre detaillierte Erklärung. Dann werde ich es mit einem einzelnen Plugin bei jedem Schritt versuchen. Ich denke, ich werde je nach Situation ins Detail lernen
