Pergunta para pessoas que usam OpenAI para adicionar recursos ao seu fórum Discourse: quanto vocês estão gastando no acesso à API?
Pode ser bom ter o número como uma proporção dos seus custos de hospedagem - um fórum maior custa mais para hospedar, mas também fará mais uso da API. Um fórum minúsculo custará pouco, em ambos os casos.
Isso é apenas curiosidade da minha parte, mas pode ser uma calibração útil para pessoas que pensam em adicionar recursos de OpenAI.
Comecei a olhar a adição de IA esta noite. A menos que eu esteja perdendo alguma coisa (bem possível), os custos para um pequeno fórum usando OpenAI a $0,01 de entrada e $0,03 de saída / 1k tokens parecem triviais. O que está me confundindo agora é como devo ser cobrado, já que a conta não tem detalhes de pagamento. Obviamente, estou perdendo alguma coisa.
Vou instalar o plug-in e ver até onde chego em direção à iluminação.
Fórum muito pequeno e apenas 8 usuários usando o Discourse AI diariamente e cerca de 20 o chatbot. O DAI cria poucas imagens todos os dias e cria talvez 5 textos mais longos e o chatbot responde a perguntas curtas. Principalmente o DAI usa 3.5-turbo, mas agora 4 turbo, o chatbot está abaixo de 3.5-turbo-16k ou qual era o modelo exato agora.
Isso me custa bem perto de 50 USD por mês agora. Para comparar os custos de VPS… 24 EUR e S3 algo como 15 USD. Então, nesse sentido, a OpenAI é bastante cara e cometi um erro quando apresentei os modelos GPT aos meus usuários ativos
E eu realmente, realmente, realmente gostaria de ter restrições de grupo sobre qual modelo eles podem usar.
Para comunidades maiores, o GPT gratuito para todos pode ser muito caro.
Atualmente, estou analisando meus próprios dados; gerencio um fórum ativo com quase 8.000 usuários, dos quais aproximadamente 2.000 a 3.000 estão ativos diariamente. Implementei este recurso em agosto, tendo investido US$ 24,00, no entanto, de acordo com os gráficos, utilizei apenas US$ 1,07.
Não tenho muita certeza se configurei tudo, incluindo resumo e filtro, etc. Acho que sou o único a usá-lo no fórum, mesmo que o tenha apresentado especificamente lá, inclusive com um teste. Mas ei, economizar meus trocados vai valer muito a pena para mim usando-o
Vocês podem se interessar por esta alteração que fiz, para ajudar a gerenciar custos, monetizar o acesso ao bot, etc., permitindo variar o modelo e o tipo do bot por grupo: