Ich denke, die discourse-ai API braucht eine Regression

Entwickler
1

Discourse AI verwendet jetzt strukturierte Ausgaben für Inhalte, aber strukturierte Ausgaben werden von vielen API-Anbietern nicht unterstützt. Fast alle KI-Anbieter in meinem Land wie DeepSeek oder Qwen tun dies nicht. Die Verwendung von strukturierten Ausgaben führt zu sehr begrenzten API-Auswahlmöglichkeiten, die sich nur auf einige Haupt-KI-Anbieter beschränken.

Ich denke, wenn Discourse AI die aktuellen Einschränkungen bei der Anbieterauswahl überwinden muss, ist die Aufgabe der strukturierten Ausgabe unerlässlich, und ohne sie wird nichts wirklich kaputtgehen. Als Lösung können wir einige einfache eindeutige Trennzeichen verwenden oder die KI bitten, JSON mit einem gegebenen JSON-Schema oder Beispielen zu generieren, aber keine strukturierten Ausgaben verwenden. Warum nicht?

1 „Gefällt mir“
2

Können Sie Moonshot AI Kimi K2 über deren API-Endpunkte für China ausprobieren?

Es sieht so aus, als wäre die Basis-API-URL https://api.moonshot.cn/v1.

Wir haben die Anforderung nach strukturierten Ausgaben eingeführt, weil ich Tausende von Beschwerden über Probleme ertragen musste, wie z. B. dass Modelle „Hier ist Ihre Zusammenfassung“ hinzufügten oder beim Abrufen einer Liste von vorgeschlagenen Titeln für KI-Helfer Fehler beim Parsen auftraten. Jetzt ist es mit der Übersetzung zu einem noch schlimmeren Problem geworden, wenn man Millionen von LLM-Aufrufen vertrauen können muss, dass sie nichts Zusätzliches zu Ihrer Ausgabe hinzufügen.

Angesichts des Bedarfs an Zuverlässigkeit und der allgemeinen Verfügbarkeit strukturierter Ausgaben haben wir diese Entscheidung für Anbieter getroffen, bei denen dies unterstützt wird, aber ich wäre offen für einen PR, der eine Checkbox zum Deaktivieren von strukturierten Ausgaben aus der API-Anfrage beim OpenAI-Anbieter hinzufügt.

1 „Gefällt mir“
3

Das wäre schön, ich bin kein Mitglied des Discourse-Teams und kann nichts von ihm verlangen, also gebe ich nur einige Vorschläge.

Verwendung der alten “Trennzeichen”-Lösung für robustere Analysen, ein XML-ähnlicher Rohinhalt wie dieser:

<SUMMARY_START>
Zusammenfassungsinhalt.
<SUMMARY_END>

<SUGGESTIONS_START>
<SUGGESTION_START>
Vorschlag 1
<SUGGESTION_END>
<SUGGESTION_START>
Vorschlag 2
<SUGGESTION_END>
...
<SUGGESTIONS_END>

Dann kümmert man sich nicht um alles außerhalb von <START> und <END>, ich glaube, dass das dümmste Produktions-KI-Modell Labels korrekt verarbeiten kann.

Und die KI bitten, keine zusätzliche Beschreibung hinzuzufügen; dann die Administratoren vor möglichen Problemen warnen, wenn diese Checkbox geöffnet wird. Danke.

Ich weiß nicht, wie der von Discourse AI generierte Request Body aussieht. Aber wenn nicht, einfach System-Prompts in der ersten Nachricht mit der Rolle system, Vektordatenbank-Abfrageergebnis in der nächsten system-Rollen-Nachricht und den Beitrag oder andere tatsächliche Daten in den Nachrichten der Rolle user platzieren.