Ich bin der Ansicht, dass llama.cpp das Schema erzwingt, indem es nur Token auswählt, die diesem entsprechen. Ich habe außerdem eine Antwort mit tcpdump aufgezeichnet und überprüft, dass die zurückgegebene Antwort gültiges JSON ist.
Sie enthielt jedoch Leerzeichen und Zeilenumbrüche außerhalb von Strings (d. h. es handelte sich um ein formatiertes JSON), und diese Zeilenumbrüche wurden von Discourse escaped, was es ungültig machte (ich habe es in der Rails-Konsole überprüft).
Übrigens nutze ich die Spam-Erkennungsfunktion.