Модели, достигшие своего лимита, должны отображаться в приглушенном цвете, а при их выборе можно будет обновить подписку

As you know, when we impose a limit on a model, a user can still pose questions to it even after exhausting the limit, only to be met with a message indicating that their limit has been reached. This is demoralizing and a waste of time.

My suggestion is this: the models can continue to be listed, but if the user’s limit has been reached, that particular model could appear in a faded color. When the user selects it, a modal window could automatically prompt them to upgrade their subscription. This is essentially how the usage model should function. Someone who has reached their limit could increase it while asking their question, or even before, and then their question could be processed. This would be quick and convenient.

Furthermore, if we could also implement this, I believe it would be even better: the user’s remaining limits should be visible next to the model names. (Wow, this would be incredibly useful!)

What are your thoughts on this matter?

4 лайка

Моя общая точка зрения заключается в том, что мы хотим постепенно отказаться от использования этого матрицы принятия решений для большинства пользователей. В идеальном мире они должны иметь возможность просто общаться с роботом, а движок под капотом сам определит, какая LLM лучше всего подходит для обработки запроса.

Это, безусловно, добавляет некоторые накладные расходы, но также устраняет паралич принятия решений, с которым сталкиваются неопытные пользователи.

Что означает «обновить подписку» в данном контексте? Обновление подписки на экземпляр Discourse для получения более высоких лимитов или побуждение администратора к перенастройке LLM?

Здесь заложено довольно много предположений.

3 лайка