Ich erstelle dieses Thema, um Erfahrungen mit den neuen KI-Modellen zu teilen, die in Discourse verwendet werden.
Ich habe vor ein paar Tagen grok-2-1212 für Themenzusammenfassungen eingerichtet. Es funktioniert wirklich gut. Die Spracherkennung und -qualität sind ausreichend gut. Ich habe es auch mit einem KI-Bot versucht, aber er ist meistens fehlgeschlagen, ich schätze, er kann die Werkzeuge noch nicht gut handhaben.
Ich habe auch Gemini Flash 2 für den KI-Bot ausprobiert. Er arbeitet schnell und liefert großartige Antworten, aber manchmal scheint er die Werkzeuge nicht gut handhaben zu können und die Antwort zu verderben. Manchmal ist es ein einfaches Problem mit der Markdown-Formatierung, manchmal kann er nicht suchen. Auf meinem Forum sagt er meistens, dass er nichts im Forum gefunden hat, aber ich weiß, dass es mehr Themen zu diesem Thema gibt…
Beim Suchproblem, denkst du, es könnte damit zusammenhängen, dass die KI den Foreninhalt nicht vollständig indiziert oder dass es eine Diskrepanz beim Verständnis der Abfrage gibt?
Ich habe keine Ahnung. Meistens sucht es nach nichts „“ oder schlägt mit Timeout fehl… aber manchmal führt es die Suche korrekt durch und verknüpft die richtigen Themen. Ich denke, es wäre gut, aber es ist noch stark experimentell.
Danke, ich habe es jetzt ausprobiert. Ja, es sieht besser aus. Das Problem tritt jetzt hauptsächlich auf, wenn ich eine neue Konversation erstelle. Sie beginnt auf Englisch, so etwas wie: Ich suche nach… auf sitename… und hört auf zu antworten. Manchmal wird die Antwort nach dem englischen Satz Ich suche… auf der korrekten ungarischen Sprache fortgesetzt und eine gute Antwort gegeben. Wenn ich jedoch nach der Grok-Antwort in der Konversation antworte, funktioniert sie großartig.
Bingo! Aber denkst du, dass es die Dinge verlangsamen wird, besonders bei vielen Daten? Könnte es die Antwortzeiten für KI-Abfragen oder Suchergebnisse beeinträchtigen, oder ist alles in Ordnung?
Das große Problem bei Beispielen ist die „Kontamination“.
Das Modell lernt die Form, kann aber auch fälschlicherweise denken, dass ein Benutzer etwas gesagt hat, was er nicht gesagt hat.
Idealerweise kann das sorgfältige Ausarbeiten von Systemnachrichten den Trick machen, das wäre mein erster Anlaufpunkt.
Beispiele in einer Systemnachricht können zu weniger „Leakage“ führen, da es für ein Modell klarer sein kann, dass es sich nur um ein Beispiel handelt.
Eine minimale Sache, die ich empfehlen würde, Don, ist, Ihre Systemnachricht auf Ungarisch zu schreiben, das könnte helfen.
Vielleicht sogar versuchen, ein oder zwei XML-Tool-Beispiele in der Systemnachricht zu geben?
Ich habe es versucht, aber dasselbe Ergebnis mit grok-2-1212, dann habe ich es zu grok-beta geändert und es funktioniert perfekt, aber es funktioniert auch mit englischer Systemnachricht…
