¿Entrenando un modelo con las publicaciones de un sitio?

Quizás no esté dentro del alcance, pero sería interesante entrenar un modelo con todas las publicaciones de mi foro y usarlas para crear un bot de IA de usuario experto con el que los usuarios pudieran interactuar, o que pudiera responder preguntas de los usuarios por sí solo en hilos, y enlazar/citar publicaciones relevantes del pasado.

3 Me gusta

Te escucho, pero aquí hay problemas masivos de escalabilidad. El entrenamiento es terriblemente caro y ni siquiera está disponible en GPT 3.5 / 4.

La industria está apostando muy fuerte por

  1. Aumentar los números de tokens (por ejemplo, Anthropic con 100k tokens de contexto)
  2. Bases de datos vectoriales para incrustaciones y apoyarse en las incrustaciones para el contexto.
6 Me gusta

Chatbot ya hace esto sin necesidad de entrenamiento. Incluso se usa comercialmente.

(Oh, no estoy seguro de por qué se revivió esto).

2 Me gusta