Para aqueles que estão se perguntando o que é um banco de dados vetorial
Observação: Isso é de um fornecedor comercial de banco de dados vetorial, mas ainda é a melhor introdução que conheço e é o mesmo banco de dados vetorial usado pela OpenAI.
Para entender o que um vetor significa em relação a um modelo transformer, veja este vídeo técnico no YouTube
Usamos o GitHub - pgvector/pgvector: Open-source vector similarity search for Postgres no discourse-ai, mas estamos pensando em outras ideias a longo prazo, como weaviate / elastic / milvus
Pinecone é um usuário do Discourse 
https://community.pinecone.io/
Olá @sam, sim, de fato, somos clientes felizes do Discourse, e uma das combinações mais comuns com o GPT-4 para o caso de uso exato que você mencionou — veja os logotipos + citações em nossa página inicial. Podemos ajudá-lo com um POC?
Com certeza, vou conectar você com o @Falco e vocês podem conversar.
Acho que seria ótimo se o discourse-ai viesse com um adaptador pinecone também, isso reduz uma quantidade enorme de atrito para os auto-hospedeiros de nossa plataforma.
Parece que você pesquisou os custos de treinamento, mas eu queria compartilhar meu entendimento com base no guia de fine-tuning da OpenAI. Se eu entendi corretamente https://platform.openai.com/docs/guides/fine-tuning, eles recomendam usar Ada para tarefas de classificação e fornecer 100 exemplos de cada classe. Nesse caso, teríamos um total de 200 exemplos (spam e não spam). Assumindo que um exemplo médio consiste em 500 tokens, o total seria 500 * 200 = 100.000 tokens em Ada, o que custaria US$ 0,04 para treinar. Se você usasse Davinci em vez disso, o custo seria de US$ 3,00.
Eu acho que o preço pode ser para uma única etapa ou uma única época de treinamento, mas não consegui encontrar informações mais detalhadas no site deles. Por favor, me avise se você tiver alguma informação ou se eu entendi alguma coisa errada.
Como mencionei, esses custos foram para o meu caso de uso para o meu negócio. Meu treinamento e uso é Davinci, não Ada, então 75x mais caro lá. Nós também praticamente usamos o máximo de tokens por solicitação.
Não sei exatamente o que Sam/Falco teriam em mente para o caso de uso deles — apenas mencionando em geral que o ajuste fino pode ser caro em escala!
