ソースコードを確認しました。もし私が間違っていなければ、トークナイザーは統計情報のためのトークンカウントと料金見積もり、そして投稿を指定された制限内に切り詰めるという2つの目的で使用されています。したがって、間違ったものが使用されても、私に大きな影響はないはずです。
関連トピック
| トピック | 返信 | 表示 | アクティビティ | |
|---|---|---|---|---|
| Discourse AI - Large Language Model (LLM) settings page | 20 | 2989 | 2025 年 11 月 26 日 | |
| AI powered Spam detection | 11 | 991 | 2025 年 1 月 11 日 | |
| Introducing Discourse AI | 26 | 3709 | 2023 年 5 月 4 日 | |
| What's the cheapest/best AI to use for AI Spam? | 6 | 251 | 2025 年 3 月 18 日 | |
| Discourse AI - Spam detection | 29 | 3387 | 2026 年 3 月 2 日 |