Oh, jetzt verstehe ich, danke für die Erklärung, das hat mir gefehlt.
Übrigens, ich weiß, dass es bei fortgeschritteneren RAG-Systemen oft ein Re-Ranking gibt. Gibt es so etwas wie ein Re-Ranking bei der Handhabung durch Discourse? Glauben Sie, dass das Hinzufügen eines Re-Ranking-Schritts positive Auswirkungen hätte?
Neuordnung ist eine Arbeit, die noch nicht abgeschlossen ist.
@Falco / @Roman hat eine grundlegende Neuordnung in Discourse implementiert:
Dies wird in der semantischen Suche und RAG verwendet. Es ist jedoch ziemlich versteckt und nicht einfach zu konfigurieren.
Ich denke, der mittelfristige Plan hier (den wir mit @awesomerobot besprochen haben) war, von LLM-Terminologie zu Modellen zu wechseln … und vielleicht eine gewisse UI-Vereinheitlichung vorzunehmen, damit Sie Embeddings/Neuordner und LLMs in einer einzigen Oberfläche definieren können.
Vorerst unterstützen wir nur eine sehr spezifische Hugging Face Neuordnungs-API.
Es verbessert sicherlich die Qualität der Ergebnisse.
Großartig!
Das ist also derzeit standardmäßig deaktiviert und kann auf einem gehosteten (Pro-)Plan nicht einfach konfiguriert werden?
Bin nicht sicher, warten wir auf die Antwort von @Falco.
Hallo @Falco, gibt es eine Möglichkeit, den Reranker zum Testen zu aktivieren, oder gibt es dafür einen Zeitplan?
Wir haben gerade eine große Verbesserung der zugrundeliegenden Technologie für die semantische Suche in Discourse unter DEV: Re-introduce PG Vector 0.8.0 upgrade by romanrizzi · Pull Request #35233 · discourse/discourse · GitHub bereitgestellt.
Können Sie Ihren Anwendungsfall jetzt erneut versuchen, er ist bereits auf Ihrer Website bereitgestellt. Meine Erwartung ist, dass dies RAG verbessert, ohne dass ein Re-Ranker benötigt wird.
Wir möchten den Re-Ranker weiterhin weithin verfügbar machen, warten aber darauf, dass einige Upstream-Änderungen eintreffen.
Danke Falco!
Funktioniert das nur für die semantische Suche über Discourse-Themen oder auch für RAG-Dokumente, die in eine Persona hochgeladen wurden? Aus eigener Erfahrung funktioniert die KI recht gut mit Forumsthemen (d. h. bei ask.discourse), aber nicht so gut mit hochgeladenen Dokumenten in eine Persona (oder ich habe noch nicht die beste Formel gefunden).
Es wirkt sich auf alle Verwendungen von Embeddings in Discourse aus, einschließlich verwandter Themen, RAG, Suche, Vorschläge für Kategorien und Tags in der Komponistenansicht usw.
Hallo @tpetrov, haben sich die Ergebnisse mit dem neuen Embeddings-Modell verbessert?
Hallo Falco, es tut mir leid, ich hatte keine Zeit, ausgiebig zu testen, daher kann ich es nicht wirklich sagen.
Ich schätze, es gibt keine Möglichkeit, zwischen den beiden zu wechseln, um sie zu vergleichen?
Jetzt nicht, die alten und neuen Modelle waren ein paar Monate verfügbar, aber wir haben die alten kürzlich auf unserem Hosting ausgemustert.