Discourse AI - Einbettungen

[Falco]

@Overgrow

Verstehe ich richtig, dass Backfill bedeutet, dass die Vektorisierung stattfindet?

Ja.

@Overgrow

Müssen die Vektoren neu berechnet werden, wenn zwischen Modellen gewechselt wird?

Ja, jedes Modell erzeugt unterschiedliche Vektorrepräsentationen.

@Overgrow

Es wäre nützlich zu wissen, wie sich die Kosten für die Nutzung des OpenAI API-Stacks im Vergleich zur Investition in einen GPU-gestützten Server mit Open-Source-Lösung verhalten.

Es ist im Grunde ein Aufruf pro Thema, daher sehr einfach zu berechnen.

@Overgrow

Gibt es eine Formel oder eine Möglichkeit, die Anzahl der verwendeten Tokens abzuschätzen?

Wenn die meisten Ihrer Themen lang sind, werden sie auf 8k Tokens gekürzt, andernfalls werden sie Ihre Themenlänge verwenden.

@Overgrow

Wir nutzen die API nur zur Vektorisierung von Beiträgen, nicht zur Berechnung von Vektorabständen, richtig?

Ja.

@Overgrow

Ich gehe davon aus, dass für sowohl verwandte Themen als auch für KI-gestützte Suche alle Beiträge nur einmal vektorisiert werden müssen, sodass ich die Gesamtzahl der Wörter in der Beitragstabelle berechnen und die benötigte Anzahl von Tokens ableiten kann. Der gleiche Prozess würde für die tägliche Hinzufügung von Beiträgen gelten. Ich vernachlässige vorerst die Suchanfragen.

Beides funktioniert auf Topic-Ebene, also eins pro Topic.

[satonotdead]

@falco

Ich habe diese unbeabsichtigt weggelassen, da die Rake-Aufgabe in Ungnade gefallen ist und nur in seltenen Fällen von erfahrenen Betreibern verwendet werden sollte, die diese problemlos Out-of-Band installieren können.

Darf ich wissen, wie ich die Gems richtig hinzufüge, ohne das Plugin mit dem vorgeschlagenen PR zu forken?

Ich probiere die Scale-to-Zero-Funktion auf HuggingFace aus und muss nur die Rake-Aufgabe für Backfill-Embeddings verwenden.

[jlcoo (Jiang Long)]

Warum wird der Fehlercode 418 zurückgegeben, wenn ich die vollständige Suche von Discourse AI Embeddings in DiscourseAi::Embeddings::EmbeddingsController#search als JSON verwende? Können Sie mir helfen?

[Dmitry_Krasnoperov]

Kann Deepseek als Anbieter verwendet werden? Welches Modell?
Wie kann ich die Erstellungskosten schätzen, da ich eine ziemlich große Datenbank (14,3 GB) habe?

[Falco]

@Dmitry_Krasnoperov

Kann Deepseek als Anbieter verwendet werden? Welches Modell?

Jedes Modell, das eine OpenAI-kompatible API bereitstellt, kann verwendet werden.

@Dmitry_Krasnoperov

Wie kann ich die Kosten für die Erstellung schätzen, da ich eine ziemlich große Datenbank habe (14,3 GB)?

Anzahl der öffentlichen Themen multipliziert mit den Dimensionen des Embedding-Modells, multipliziert mit 16 für die Daten in Bytes, plus Anzahl der Themen multipliziert mit den Dimensionen, geteilt durch 8 für den Index.