Ich habe gestern Abend „AI embeddings enabled“ aktiviert und die Nachbefüllung lief im Hintergrund. Heute habe ich „AI embeddings semantic search enabled“ aktiviert und die CPU schoss konstant auf 100 mit einem riesigen LOW-Warteschlangen-Sidekiq-Rückstand. Die Suche auf dem Server funktionierte überhaupt nicht mehr.
Ich habe die semantische Suche deaktiviert und der Server normalisierte sich innerhalb weniger Minuten wieder mit einer geleerten Warteschlange.
Ich würde gerne mehr über Ihr „Hardware“-Profil erfahren, falls Sie selbst hosten; ich habe darüber nachgedacht, dasselbe auf meinen Servern zu tun, bin mir aber über die Auswirkungen nicht sicher. Dies deutet anekdotisch darauf hin, dass ich warten oder einen besseren Plan erstellen sollte.
Diese Zeit, die Jobs::GenerateEmbeddings pro Aufruf in Anspruch nimmt, ist zu erwarten, da Sie einen API-Aufruf an einen Embedding-Dienst senden, um die Daten zu erhalten. Dieser Graph ist normal, er zeigt nur, dass etwas eine Weile dauert; eine andere GPU in der Cloud führt die eigentliche Arbeit aus.
Dass die CPU stark ansteigt, ist sehr unerwartet. Möglicherweise war Ihr PG-Setup von Anfang an extrem ressourcenintensiv, und das Einfügen von etwa 1000 Zahlen hintereinander reicht aus, um es zu beeinträchtigen.
Wir benötigen hier viel mehr Daten, um die Diagnose zu unterstützen: Was sind die Spezifikationen des Servers? Was zeigen die tatsächlichen CPU-Graphen, welcher Prozess verbraucht die CPU, welchen Embedding-Dienst verwenden Sie usw. …
Ich sehe, Sie haben nur ein Diagramm der Sidekick-Jobdauer geteilt, und es zeigt, dass Discourse nach der Aktivierung von Embeddings diese korrekt nachgefüllt hat.
Können Sie weitere Informationen zu Ihrer Einrichtung teilen? Was ist der Embeddings-Anbieter? Ist es eine Drittanbieter-API oder hosten Sie diese auch selbst? Wie viele Themen haben Sie? Was sind die DB-Spezifikationen?
Ich verwende einen DO 16 GB Speicher / 4 Intel vCPUs Server. Ich nutze Open AI text-embedding-3-small.
Die CPU-Auslastung liegt normalerweise bei etwa 50 % oder weniger. So sah es aus, als ich die semantische Suche aktiviert habe. Es gibt etwa 2,5 Millionen Beiträge und 250.000 Themen. Ich habe die Einbettungen für PM nicht aktiviert, sonst kämen weitere 1 Million Beiträge und 100.000 Themen hinzu.
