ソースコードを確認しました。もし私が間違っていなければ、トークナイザーは統計情報のためのトークンカウントと料金見積もり、そして投稿を指定された制限内に切り詰めるという2つの目的で使用されています。したがって、間違ったものが使用されても、私に大きな影響はないはずです。
関連トピック
| トピック | 返信 | 表示 | アクティビティ | |
|---|---|---|---|---|
| Discourse AI - Large Language Model (LLM) settings page | 20 | 3017 | 2025 年 11 月 26 日 | |
| AI powered Spam detection | 11 | 993 | 2025 年 1 月 11 日 | |
| Introducing Discourse AI | 26 | 3709 | 2023 年 5 月 4 日 | |
| What's the cheapest/best AI to use for AI Spam? | 6 | 257 | 2025 年 3 月 18 日 | |
| Discourse AI - Spam detection | 32 | 3459 | 2026 年 3 月 10 日 |