ソースコードを確認しました。もし私が間違っていなければ、トークナイザーは統計情報のためのトークンカウントと料金見積もり、そして投稿を指定された制限内に切り詰めるという2つの目的で使用されています。したがって、間違ったものが使用されても、私に大きな影響はないはずです。
関連トピック
| トピック | 返信 | 表示 | アクティビティ | |
|---|---|---|---|---|
| Discourse AI - Large Language Model (LLM) settings page | 20 | 2509 | 2025 年 11 月 26 日 | |
| AI powered Spam detection | 11 | 914 | 2025 年 1 月 11 日 | |
| Discourse AI - Spam detection | 22 | 2479 | 2025 年 9 月 25 日 | |
| What's the cheapest/best AI to use for AI Spam? | 6 | 164 | 2025 年 3 月 18 日 | |
| Introducing Discourse AI | 26 | 3631 | 2023 年 5 月 4 日 |