Балансировка затрат и функциональности в форумах на базе ИИ

Спасибо за вашу тщательно продуманную тему!

Я вас понимаю: в среднесрочной перспективе явно необходима концепция «квот».

Выберите LLM → установите квоту для группы (сколько токенов им разрешено в день, поскольку всё тарифицируется по токенам).

Это позволит безопасно открыть функции ИИ для более широких групп, не беспокоясь о перерасходе бюджета.

Думаю, мы к этому придем, но пока это не запланировано.

С другой стороны, мы недавно проделали большую работу по унификации наших интерфейсов LLM, поэтому реализация этой функции станет гораздо более практичной и простой, чем в прошлом.

5 лайков