Discourse AI: JSON-Antwort entfernen, damit Anthropic Sonnet 5 z. B. bei semantischer Suche funktioniert

Ich könnte hier völlig danebenliegen und dies ist für alle außer mir Allgemeingut… Falls ja, entschuldige ich mich. Aber ich hatte einige seltsame Fehler bei meiner Installation, wie zum Beispiel:

DiscourseAi::Completions::Endpoints::Anthropic: status: 400 - body: 
{
“type”:“error”,
“error”:{“type”:“invalid_request_error”,
“message”:“This model does not support assistant message prefill. The conversation must end with a user message.”},“request_id”:“req_011CcqMN6eswEfRHPmQmPLC4”
}

Was seltsam war, da die meisten anderen KI-bezogenen Funktionen funktionierten. Dies geschah hauptsächlich mit meinem Zusammenfassungsgenerator und bei der Suche, wie in:

https://..../forum/discourse-ai/embeddings/semantic-search?q=search_term

Was einen 500 ERROR ergab.

Als ich die Logs überprüfte, erhielt ich:

{
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "message": "This model does not support assistant message prefill. The conversation must end with a user message."
  },
  "request_id": "req_011CcqQvXPAHSfvoUeu92gf9"
}

Ich konnte dies auf Content Create-Persona zurückführen

Und der Fehler scheint in diesem Teil zu liegen:

denn als ich dies entfernte (was bei dieser spezifischen Persona nicht möglich war), indem ich ein Klon erstellte und diese Einstellung für meinen Klon festlegte

fing die semantische Suche an zu funktionieren. Ich musste eine ähnliche Maßnahme bei meinem Zusammenfassungsgenerator ergreifen.

Hattet ihr auch schon solche Erfahrungen gemacht?

Könntest du zeigen, wie Sonnet 5 auf deiner Instanz konfiguriert ist?

Ist bei dir zufällig Native strukturierte Ausgabe deaktivieren (stattdessen Assistant-Nachrichten-Vorbelegung verwenden, erforderlich für Claude 3.x und älter) aktiviert?