Pour ceux qui se demandent ce qu’est une base de données vectorielle
Remarque : Ceci provient d’un fournisseur commercial de bases de données vectorielles, mais c’est toujours la meilleure introduction que je connaisse et c’est la même base de données vectorielles utilisée par OpenAI.
Pour comprendre ce que signifie un vecteur par rapport à un modèle transformeur, regardez cette vidéo technique sur YouTube
Nous utilisons GitHub - pgvector/pgvector: Open-source vector similarity search for Postgres dans discourse-ai mais nous explorons d’autres idées à plus long terme comme weaviate / elastic / milvus
Pinecone est un utilisateur de Discourse 
https://community.pinecone.io/
Salut @sam, oui, en effet, nous sommes de heureux clients de Discourse, et l’une des associations les plus courantes avec GPT-4 pour le cas d’utilisation exact que vous avez mentionné — voir les logos + citations sur notre page d’accueil. Pouvons-nous vous aider avec une preuve de concept (POC) ?
Absolument, je vais vous mettre en relation avec @Falco et vous pourrez discuter.
Je pense qu’il serait formidable que discourse-ai soit également livré avec un adaptateur pinecone, cela réduit d’énormes frictions pour les auto-hébergeurs de notre plateforme.
Il semble que vous ayez fait vos recherches sur les coûts de formation, mais je voulais partager ma compréhension basée sur le guide de réglage fin d’OpenAI. Si je comprends bien https://platform.openai.com/docs/guides/fine-tuning, ils recommandent d’utiliser Ada pour les tâches de classification et de fournir 100 exemples de chaque classe. Dans ce cas, nous aurions un total de 200 exemples (spam et non spam). En supposant qu’un exemple moyen se compose de 500 jetons, le total serait de 500 * 200 = 100 000 jetons sur Ada, ce qui coûterait 0,04 US pour la formation. Si vous utilisiez Davinci à la place, le coût serait de 3,00 US.
Je suppose que la tarification pourrait être pour une seule étape ou une seule époque de formation, mais je n’ai pas pu trouver d’informations plus détaillées sur leur site Web. S’il vous plaît, faites-moi savoir si vous avez des idées ou si j’ai mal compris quelque chose.
Comme je l’ai mentionné, ces coûts concernaient mon cas d’utilisation pour mon entreprise. Ma formation et mon utilisation sont Davinci, pas Ada, donc 75 fois plus chères. Nous utilisons également pratiquement le maximum de jetons par requête.
Je ne sais pas exactement ce que Sam/Falco auraient en tête pour leur cas d’utilisation, je mentionne simplement de manière générale que le réglage fin peut être coûteux à grande échelle !
