Obrigado por seu tópico cuidadosamente pensado!
Eu entendo, no fundo, uma coisa que é claramente necessária no médio prazo é um conceito de “quotas”.
Escolha LLM → defina a quota para o grupo (quantos tokens eles podem usar por dia, já que tudo é cobrado por tokens)
Isso permite que você abra recursos de IA, com segurança, para grupos maiores sem se preocupar em falir.
Acho que chegaremos lá, mas ainda não está agendado.
Por outro lado, fizemos muito trabalho recentemente para normalizar nossas interfaces de LLM, então será muito mais prático e direto construir isso do que no passado.