Entraîner un modèle sur les publications d'un site?

Peut-être pas dans le cadre du projet, mais il serait intéressant d’entraîner un modèle sur tous les messages de mon forum et de les utiliser pour créer un bot IA d’utilisateur expert avec lequel les utilisateurs pourraient interagir, ou qui pourrait répondre aux questions des utilisateurs de manière autonome dans des fils de discussion, et lier/citer des messages pertinents du passé.

3 « J'aime »

Je t’entends, mais il y a des problèmes d’évolutivité massifs ici. L’entraînement coûte très cher et n’est même pas disponible sur GPT 3.5 / 4.

L’industrie pousse très, très fort sur

  1. L’augmentation des nombres de tokens (par exemple, Anthropic avec un contexte de 100k tokens)
  2. Les bases de données vectorielles pour les embeddings et s’appuyer sur les embeddings pour le contexte
6 « J'aime »

Chatbot fait déjà cela sans avoir besoin d’entraînement. Il est même utilisé commercialement.

(Oh, je ne suis pas sûr pourquoi cela a été déterré.)

2 « J'aime »