Discourse AI - Einbettungen

[Falco]

@Overgrow

Verstehe ich richtig, dass Backfill bedeutet, dass die Vektorisierung stattfindet?

Ja.

@Overgrow

Müssen die Vektoren neu berechnet werden, wenn zwischen Modellen gewechselt wird?

Ja, jedes Modell erzeugt unterschiedliche Vektorrepräsentationen.

@Overgrow

Es wäre nützlich zu wissen, wie sich die Kosten für die Nutzung des OpenAI API-Stacks im Vergleich zur Investition in einen GPU-gestützten Server mit Open-Source-Lösung verhalten.

Es ist im Grunde ein Aufruf pro Thema, daher sehr einfach zu berechnen.

@Overgrow

Gibt es eine Formel oder eine Möglichkeit, die Anzahl der verwendeten Tokens abzuschätzen?

Wenn die meisten Ihrer Themen lang sind, werden sie auf 8k Tokens gekürzt, andernfalls werden sie Ihre Themenlänge verwenden.

@Overgrow

Wir nutzen die API nur zur Vektorisierung von Beiträgen, nicht zur Berechnung von Vektorabständen, richtig?

Ja.

@Overgrow

Ich gehe davon aus, dass für sowohl verwandte Themen als auch für KI-gestützte Suche alle Beiträge nur einmal vektorisiert werden müssen, sodass ich die Gesamtzahl der Wörter in der Beitragstabelle berechnen und die benötigte Anzahl von Tokens ableiten kann. Der gleiche Prozess würde für die tägliche Hinzufügung von Beiträgen gelten. Ich vernachlässige vorerst die Suchanfragen.

Beides funktioniert auf Topic-Ebene, also eins pro Topic.