O Discourse AI requer a vinculação a um provedor de LLM - este é um link para os preços de diferentes opções.
Nível de usuário necessário: Administrador
Para usar certos recursos do Discourse AI, os usuários precisam usar um provedor de Large Language Model (LLM) de terceiros. Consulte cada recurso de IA para determinar quais LLMs são compatíveis.
O guia a seguir vincula os preços de diferentes provedores de LLM.
Observe que os custos podem variar com base em múltiplos fatores, como o número de solicitações, o comprimento do texto, os recursos computacionais utilizados, os modelos escolhidos e assim por diante. Para obter os preços mais atualizados e precisos, verifique regularmente com cada provedor.
Execute seu próprio modelo Llama2-like OSS com TGI: O custo de executar seu próprio modelo Llama2-like OSS com TGI dependeria de vários fatores, como os custos de infraestrutura, os custos associados ao ajuste fino do modelo e os custos de gerenciamento e manutenção do modelo.
Esta não é definitivamente uma comparação adquirida estatisticamente, mas com base em meus testes curtos usando o OpenAI GPT-4, ele é três vezes mais caro que o GPT-3.5 Turbo quando contadas as chamadas de API e quantos tokens foram usados — e como os tokens usados pelo GPT-4 são mais caros em termos de dinheiro, essa diferença é muito maior.
E eu não tive nenhum benefício com o GPT-4 em comparação com o 3.5 Turbo.
E como um aviso: eu usei finlandês, então o inglês pode ser algo diferente. Além disso, qualquer IA é totalmente inútil em uso de chat quando se usa finlandês, mas isso é um jogo totalmente diferente — mas significa, do meu ponto de vista, que todos os chatbots são um desperdício puro de dinheiro quando se usam idiomas pequenos.
Os custos aqui são estimados e acordados que os custos podem variar drasticamente com base no uso!
É importante notar que, para muitas tarefas básicas, a diferença entre os modelos GPT-4 e GPT-3.5 pode não ser significativa. No entanto, o GPT-4 tem algumas diferenças comprovadas em termos de suas capacidades, compreensão criativa e entrada bruta.
Também concordo que, para idiomas que não são populares, há muito a desejar nas habilidades do modelo.
Acho que estamos falando da mesma coisa, mas para garantir : essa é uma questão das empresas de IA e nem eu, nem você, nem nenhum desenvolvedor pode mudar esse fato.
Mas eu estou atrás de algo como todos nós deveríamos acompanhar um pouco quanto estamos gastando dinheiro (se não estivermos usando dinheiro de outro orçamento senão do nosso bolso ) e tentando encontrar um equilíbrio entre utilidade muito subjetiva e dinheiro.
E não, eu não sei do que estou falando. Principalmente porque as respostas de todos os chatbots são basicamente apenas baseadas no burburinho em inglês de milhões de voos (quantidade sobre qualidade). A situação pode mudar - para melhor ou para pior, depende - se tivermos melhores ferramentas para educar a IA sobre quais fontes ela pode usar. Claro, nós temos, mas isso custará muito mais do que o preço dos tokens.
E sim, essa é a dor de cabeça dos pequenos jogadores.
Estou me perguntando… existe a chance de obtermos um melhor equilíbrio custo/precisão com uma edição de prompt mais livre?
Você se sentiria confortável em divulgar aproximadamente qual é o custo para o Meta no momento? Mesmo uma estimativa aproximada ou uma faixa seria útil.
Pedi ao bot para dar uma estimativa e ele forneceu o seguinte:
Acho que esse número é muito baixo, mas desconsiderando o trabalho experimental e o uso da Equipe, etc., talvez isso não esteja longe do que a maioria das instâncias de tamanho semelhante ao Meta poderiam esperar?
O preço do token que o bot mencionou não está correto. O preço atual para gpt-3.5-turbo-0125 é de US$ 0,50 por 1 milhão de tokens de entrada e US$ 1,50 por 1 milhão de tokens de saída. Assumindo metade de entrada e metade de saída, 2,4 milhões de tokens devem custar apenas US$ 2,40. O gpt-4 custa US$ 30/m de entrada e US$ 60/m de saída, o que resultaria em US$ 108 para 2,4 milhões de tokens.
Com o conjunto cada vez maior de provedores e LLMs, é melhor que os usuários verifiquem diretamente com o provedor. Assim, estamos removendo este tópico.
O Discourse AI requer a vinculação a um provedor de LLM - este é um link para os preços de diferentes opções.
Nível de usuário necessário: Administrador
Observe que os custos podem variar com base em múltiplos fatores, como o número de solicitações, o comprimento do texto, os recursos computacionais utilizados, os modelos escolhidos e assim por diante. Para obter os preços mais atualizados e precisos, verifique regularmente com cada provedor.
: essa é uma questão das empresas de IA e nem eu, nem você, nem nenhum desenvolvedor pode mudar esse fato.