Themenzusammenfassung funktioniert nicht :-(

Unterstützung
,
1

Hallo Leute,

Dies betrifft eine selbst gehostete Instanz

Ich habe das Discourse AI Plugin aktiviert und hatte dort ein paar Probleme.
Die Arbeit in einer Unternehmensumgebung und der KI-Zugang erfolgen über einen internen Endpunkt mit zusätzlicher Authentifizierung.
Ich habe einen AWS API Gateway Endpunkt mit einer Lambda-Funktion implementiert, die sich um die Anreicherung der Header mit den erforderlichen Authentifizierungsinformationen kümmert und die Anfrage an den OPENAI-kompatiblen internen Endpunkt weiterleitet.

Der

Das Bild zeigt eine Einstellungsseite für Large Language Models (LLMs) in einer Softwareanwendung, die Details zur Verwendung und eine konfigurierte LLM namens GPT-4o mit dem vLLM-Provider auflistet. (Beschriftet von KI)
Das Bild zeigt eine Einstellungsseite für Large Language Models (LLMs) in einer Softwareanwendung, die Details zur Verwendung und eine konfigurierte LLM namens GPT-4o mit dem vLLM-Provider auflistet. (Beschriftet von KI)1457×433 27 KB

LLM-Test gibt mir ein
Bild
Bild536×127 5.39 KB

und ich dachte, ich wäre bereit.

Ich sehe auch die entsprechenden Aufrufe in meinen CloudWatch Logs für den API Gateway Aufruf.

Dann habe ich die Summarization Personas (Smmmarization und … (Kurzform) mit diesem LLM verknüpft und die Topic Summarization aktiviert.

Was ich jetzt sehe, ist jedoch nicht das, was ich sehen wollte :smiley:

Das Bild zeigt ein Tool zur Zusammenfassung von Vorschlägen in einer Schreibanwendung, das eine Vorlage und Optionen zum Sortieren nach Stimmen oder Aktivität hervorhebt. (Beschriftet von KI)
Das Bild zeigt ein Tool zur Zusammenfassung von Vorschlägen in einer Schreibanwendung, das eine Vorlage und Optionen zum Sortieren nach Stimmen oder Aktivität hervorhebt. (Beschriftet von KI)1394×664 13 KB

Und das ändert sich nicht :frowning:
Das Seltsamste ist, dass ich in CloudWatch Logs keinen Aufruf für den Versuch der Zusammenfassung sehe.

Ok, noch einmal, was ich getan habe.

  • KI aktiviert
  • vLLM mit meinem API Gateway Endpunkt erstellt
  • 2 Personas erstellt (siehe oben) und mit meiner LLM-Konfiguration verknüpft
  • Summarization aktiviert und dort die Persona verknüpft (beide ausprobiert)

Ich bin mir nicht sicher, was ich als nächstes versuchen kann :frowning:
Danke Leute und Grüße,
JP

2

[Zitat=“Wurzelseppi, Beitrag:1, Thema:367880”]
Der KI-Zugriff erfolgt über einen internen Endpunkt mit zusätzlicher Authentifizierung.
[/Zitat]

Unser Test-Endpunkt ist etwas irreführend, und das möchte ich gerne beheben.

Wir testen derzeit nur “Nicht-Streaming”-Endpunkte. “Streaming” wird nicht getestet.

Funktioniert alles, wenn Sie Streaming in Ihrem LLM deaktivieren? Vielleicht ist es nicht von Ihrem Proxy implementiert.

3

Hallo @sam,

Ich habe das Streaming (fest codiert) in meiner LAMBDA deaktiviert, während die Anfrage weitergeleitet wurde.

Die Sache ist, dass die LAMBDA gar nicht von der Zusammenfassungs-API ausgelöst wird (ich sehe keine Anfragen).

Der LLM-Test löst einen Aufruf aus, aber der Zusammenfassungs-Button in einem Thema tut dies nicht.

Nichts, keine Fehler (ich habe den Debug-Level mit DISCOURSE_LOG_LEVEL=debug aktiviert) im Discourse-Log, noch irgendwelche Logs in meiner LAMBDA (CloudWatch).

Als ob ich überhaupt nichts gedrückt hätte :frowning:

Danke und viele Grüße,

Julian

4

Warum ist der Anbieter auf vLLM eingestellt, wenn es sich um einen OpenAI-kompatiblen Endpunkt handelt?

5

Hallo,

ich habe bereits viele verschiedene Engines ausprobiert. Entschuldigung, der Screenshot war irreführend. Ich habe auch OpenAI ausprobiert…

Dies ist die Antwort vom Endpunkt, die ich 1:1 an die Discourse-Instanz zurücksende.
Dabei erhalte ich einen „Internal Server Error

6

Hallo zusammen,

der Übersetzer und der Forum-Helfer funktionieren jetzt, aber der Zusammenfassungs-Button löst nichts aus.

Ich sehe in meinen CloudWatch-Protokollen nichts, dass eine Anfrage von Discourse ausgelöst wurde.

Der Summarizer ist mit der Summarize Persona konfiguriert, und die Perso verwendet den LLM-Endpunkt, den ich bereits früher in dieser Diskussion erwähnt habe …

Hat jemand Tipps?

Vielen Dank und Grüße,

WS

7

Neue Erkenntnis:

Manche Themen lassen sich zusammenfassen, manche nicht…

Es scheint, dass die neuen zusammengefasst werden können.
Und noch eine Frage: Wenn ich ein Thema mit Bildern habe und keine Bilderkennungs-KI im Einsatz ist, ist das ein Problem?

8

Das ist ein 502 von deinem eigenen Endpunkt :stuck_out_tongue:

Themenlänge vielleicht?

Das wird es für bildbezogene Aufgaben sein, wie z. B. Bildunterschriften oder die Automatisierung der Beitragssortierung.

9

Hey @Falco

Aber Discourse startet die Anfrage nicht einmal und gibt auch keinen Grund an (Logs, …), warum es das nicht tut :frowning:
Es ist schwierig, meine Optionen einzugrenzen

Nein, das war es nicht. Ich habe das Problem gefunden (habe den Body vom LLM-Endpunkt nicht mit JSON.stringify versehen, aber Discourse könnte etwas gesprächiger sein, was den Grund für diese 502 angeht :slight_smile: )

Danke und viele Grüße,

WS