Discourse AI - Einbettungen

[Falco]

@Overgrow

Verstehe ich richtig, dass Backfill bedeutet, dass die Vektorisierung stattfindet?

Ja.

@Overgrow

Müssen die Vektoren neu berechnet werden, wenn zwischen Modellen gewechselt wird?

Ja, jedes Modell erzeugt unterschiedliche Vektorrepräsentationen.

@Overgrow

Es wäre nützlich zu wissen, wie sich die Kosten für die Nutzung des OpenAI API-Stacks im Vergleich zur Investition in einen GPU-gestützten Server mit Open-Source-Lösung verhalten.

Es ist im Grunde ein Aufruf pro Thema, daher sehr einfach zu berechnen.

@Overgrow

Gibt es eine Formel oder eine Möglichkeit, die Anzahl der verwendeten Tokens abzuschätzen?

Wenn die meisten Ihrer Themen lang sind, werden sie auf 8k Tokens gekürzt, andernfalls werden sie Ihre Themenlänge verwenden.

@Overgrow

Wir nutzen die API nur zur Vektorisierung von Beiträgen, nicht zur Berechnung von Vektorabständen, richtig?

Ja.

@Overgrow

Ich gehe davon aus, dass für sowohl verwandte Themen als auch für KI-gestützte Suche alle Beiträge nur einmal vektorisiert werden müssen, sodass ich die Gesamtzahl der Wörter in der Beitragstabelle berechnen und die benötigte Anzahl von Tokens ableiten kann. Der gleiche Prozess würde für die tägliche Hinzufügung von Beiträgen gelten. Ich vernachlässige vorerst die Suchanfragen.

Beides funktioniert auf Topic-Ebene, also eins pro Topic.

[satonotdead]

@falco

Ich habe diese unbeabsichtigt weggelassen, da die Rake-Aufgabe in Ungnade gefallen ist und nur in seltenen Fällen von erfahrenen Betreibern verwendet werden sollte, die diese problemlos Out-of-Band installieren können.

Darf ich wissen, wie ich die Gems richtig hinzufüge, ohne das Plugin mit dem vorgeschlagenen PR zu forken?

Ich probiere die Scale-to-Zero-Funktion auf HuggingFace aus und muss nur die Rake-Aufgabe für Backfill-Embeddings verwenden.

[jlcoo (Jiang Long)]

Warum wird der Fehlercode 418 zurückgegeben, wenn ich die vollständige Suche von Discourse AI Embeddings in DiscourseAi::Embeddings::EmbeddingsController#search als JSON verwende? Können Sie mir helfen?