J’ai joué avec le bot et il est déjà génial. Puis-je ajouter une voix pour activer la recherche sémantique ? Dans mes expériences jusqu’à présent, cela rendrait le bot beaucoup plus intelligent, du moins sur notre site. Si je compare les résultats qu’il trouve et résume ou répond, ils sont bien pires que ceux qu’il utiliserait s’il effectuait une recherche sémantique.
Dans le même ordre d’idées, est-il possible d’activer la recherche sémantique par défaut lors de l’utilisation de / ? Encore une fois, je pense que la plupart de nos utilisateurs préféreraient les résultats. Nous avons beaucoup d’articles de type base de connaissances qui n’utilisent pas toujours les mots-clés que les gens diraient/rechercheraient réellement, mais qui sont sémantiquement liés. Cela signifie qu’une recherche traditionnelle a tendance à faire remonter des articles de moindre qualité où les gens discutent des problèmes de manière informelle, et ne sont pas la réponse canonique à la question qu’ils ont.
Pouvez-vous partager des exemples d’invites/questions ?
Je pense aussi que le bot IA est d’un grand avantage pour les sites, mais mes idées d’invites/questions ne sont pas nécessairement celles des autres et je cherche donc d’autres invites/questions à des fins de démonstration possibles.
Honnêtement, même si vous utilisiez la recherche sémantique actuelle dans le cadre du flux de travail du bot, ce serait génial. Elle fonctionne bien maintenant, mais elle n’a tout simplement pas le bon contexte d’information, même lorsque la recherche sémantique actuelle les trouverait.
Ce serait formidable d’avoir le contrôle sur les invites, mais je vois que l’interface utilisateur est également difficile à cet égard, car il serait facile de tout casser avec une mauvaise invite. Je pense que l’ajout du concept d’une persona pour le bot, qui est entrée comme une invite système, pourrait être une bonne introduction là-dessus.
Absolument, c’est quelque chose que je veux vraiment, en fait, je veux que les administrateurs de forum puissent créer des personas personnalisés avec des ensembles de commandes personnalisés.
Je vois vraiment l’utilité de l’ajustement des invites, bien qu’ayant récemment fait un peu d’« ingénierie d’invites » amateur pour un autre projet, je pense que cela demandera un peu d’accompagnement et beaucoup d’exemples pour les personnes qui ne sont pas familières, et l’interface utilisateur bénéficierait probablement d’un ensemble d’exemples/choix par défaut comme « bavard/amusant », « neutre/précis » jusqu’à « livresque/intello » pour montrer comment les formulations de personnalité peuvent changer la réponse.
J’ai également constaté qu’il peut être assez difficile d’évaluer l’effet des changements de formulation des invites en raison du caractère aléatoire inhérent des modèles, et aussi parce que les effets peuvent varier en fonction du sujet de l’invite. Il serait peut-être agréable de développer une suite de tests standard d’entrées utilisateur et de les utiliser pour donner un aperçu de la façon dont les changements de personnalité ou d’instructions modifieraient les sorties du bot. Je suppose que ce serait également utile pour votre équipe… bien qu’une fois que l’ensemble de tests devient volumineux, vous vous retrouvez avec le problème de savoir comment l’évaluer sans y consacrer beaucoup de temps.
Une autre dimension que je pense que les utilisateurs aimeraient souvent ajuster est la rigueur avec laquelle le LLM s’en tient au matériel source fourni dans l’invite. Dans mes tests, vous devez être assez explicite (et répétitif) pour demander au modèle de ne pas importer de connaissances extérieures au contexte et de préciser (plus d’instructions) que vous préféreriez ne pas avoir de réponse plutôt que de mauvaises réponses. Vous pouvez également contrôler dans quelle mesure le modèle « montre son travail » et cite des sources/donne des exemples, et je pense que c’est souvent un bon moyen d’éviter les hallucinations/les réponses absurdes lorsque le contexte n’inclut pas la réponse réelle ou le matériel pertinent.
Un dernier commentaire… Je vois ici que vous vous êtes inquiétés des coûts et que vous avez été économes en jetons, ce qui, je suppose, est logique pour les très grands sites. Cependant, pour les applications plus petites ou de plus grande valeur financière (par exemple, le support client), je ne pense pas que ce soit un gros problème, et cela ne fera que diminuer avec le temps. Le coût des requêtes supplémentaires auprès de classificateurs distincts qui vérifient la réponse, ou qui mettent en œuvre des « garde-fous » définis par l’utilisateur, en vaudrait certainement la peine pour nous. Par exemple, nous avons constaté que des invites comme « cette réponse contient-elle des informations non trouvées dans ces sources » sont assez diagnostiques, et valent vraiment la peine d’être exécutées avant de présenter des informations aux utilisateurs. GPT 3.5 convient tout à fait à ce type de tâche, même si le travail principal est effectué avec GPT4.