Wahrscheinlich ist das eine Anfängerfrage, aber ich frage mich, ob die Menge an Informationen in der Persona-Konfiguration Auswirkungen auf die Kosten bei der Nutzung von LLMs wie Claude oder OpenAI haben könnte?
Ich meine, wenn ich viele Texte und PDF-Dateien hochlade, wird das zu einer erheblichen Erhöhung der Request-Tokens führen, sodass jede Anfrage mit dieser Persona teurer ist als eine Anfrage, die keine oder weniger Dateien enthält (oder in der nur weniger Themen im Forum durchsucht werden)?
Vielen Dank. Hat jemand gute Erfahrungen damit, welche Werte hierfür verwendet werden sollten? Ich habe keine Ahnung.
Ein PDF mit 30 Seiten hätte vielleicht etwa 7500 Wörter. Das könnte auf 20000 Tokens hochgerechnet werden.
Wenn ich davon ausgehe, was würde es bedeuten, wenn ich zum Beispiel Upload chunk tokens auf den Wert 2000 setze? Wird es beim Erstellen einer Antwort „nur 10 % des PDFs lesen und berücksichtigen“?
Lassen Sie die Standardwerte, es sei denn, Sie haben einen guten Grund, sie zu ändern. Die Standardwerte von Discourse funktionieren für die meisten Anwendungsfälle.