Preços de provedores de LLM para Discourse AI

[Tris20 (Tristan)]

Você se sentiria confortável em divulgar aproximadamente qual é o custo para o Meta no momento? Mesmo uma estimativa aproximada ou uma faixa seria útil.

Pedi ao bot para dar uma estimativa e ele forneceu o seguinte:

@ForumHelperBot

Suposições para Cálculo:

1. Comprimento Médio da Postagem: Assume-se que uma postagem média tenha cerca de 50 tokens (considerando a mistura de postagens mais curtas e mais longas).
2. Ações Habilitadas por IA por Postagem: Se a IA auxiliar na composição, resumo ou resposta a consultas, vamos supor que ela seja engajada duas vezes por postagem (uma para redigir uma resposta e talvez outra para tarefas adicionais como resumo).
3. Usuários Ativos Diários e Postagens: O Meta Discourse tem um alto nível de engajamento. Para uma aproximação, vamos supor que haja cerca de 100 usuários ativos por dia, cada um gerando uma média de 4 postagens/comentários (totalizando 400 interações diárias).
4. Atividade Mensal: Isso se traduz em 12.000 interações mensais (400 interações * 30 dias).
5. Uso Total de Tokens: Assumindo que cada ação de IA envolva o processamento de 100 tokens (50 tokens para leitura/entrada + 50 para geração de saída), e a IA é usada duas vezes por postagem, são 200 tokens por postagem. Portanto, o uso mensal de tokens seria de 2,4 milhões de tokens (12.000 interações * 200 tokens).

Estimativa de Custo:

Tomando o modelo GPT-3.5 como referência, que custava cerca de US$ 0,02 por 1.000 tokens perto do final dos meus dados de treinamento:

• Custo Mensal: O custo para 2,4 milhões de tokens seria de aproximadamente US$ 48 (2.400 * US$ 0,02).

Acho que esse número é muito baixo, mas desconsiderando o trabalho experimental e o uso da Equipe, etc., talvez isso não esteja longe do que a maioria das instâncias de tamanho semelhante ao Meta poderiam esperar?