Warnung vor Einbettung von `input must have less than 8192 tokens` mit Discourse AI

Wenn Sie dasselbe Modell selbst hosten, kann es bis zu 32.000 Token aufnehmen.

Wenn das nicht in Frage kommt, müssen Sie das Embeddings-Modell so konfigurieren, dass die Eingaben auf das von Ihrem Anbieter maximal zulässige Limit beschränkt werden. Auf diese Weise teilt unser KI-Bot RAG hochgeladene Dateien in Chunks auf, und Related Topic / Search nimmt nur die ersten 8192 Token in jedem Thema auf.

1 „Gefällt mir“