Ich frage mich, ob es mit den jüngsten Fortschritten bei LLMs möglich wäre, die Beiträge und die Lesegeschichte eines Benutzers zu durchforsten, um ihm einen empfohlenen Feed zu geben?
Dies wäre eine großartige Funktion für unseren Anwendungsfall mit Fokus auf Q&A. Wir haben viele verschiedene Kategorien, sehr beschäftigte Benutzer (Kollegen) und viele äußerst nützliche Informationen, die sie einfach nicht sehen werden. Eine gute Empfehlungsliste würde einigen unserer Benutzer helfen, die Probleme, die sie zu lösen versuchen, anzugehen.
Ich schätze, unser Ideal wäre eine Liste, die aus häufigen, signifikanten und heißen Fehlern besteht, über die die Leute sprechen und die sich auf die Werkzeuge und Gespräche beziehen, für die der Benutzer bereits Interesse zeigt.
Könnten Sie einen Link zur Website teilen, falls sie öffentlich ist?
Als jemand, der die Discourse AI-Funktionen nutzt, viele davon schon vor ihrer Veröffentlichung, bin ich begierig darauf, mehr über Ihre Website zu erfahren. Das Verständnis der von Ihnen genannten spezifischen Details wird es mir ermöglichen, fundiertere Empfehlungen für Discourse AI abzugeben, wobei die einzigartigen Aspekte Ihrer Plattform berücksichtigt werden.
Ich würde es gerne tun, aber leider ist es eine große unternehmensinterne Instanz
Ich kann Ihnen vielleicht eine Vorstellung davon geben, was wir tun.
Hintergrund
Im Wesentlichen ist es wie ein internes Stackoverflow, auf dem wir unternehmens- und branchenspezifische Probleme teilen, wie z. B. „Wie konfiguriere ich den Proxy dafür?“ oder „Ich kann keine Ergebnisse für Bug123 in Google finden, hat jemand anderes das gelöst?“
Unsere Kategorien sind werkzeugspezifisch, wie zum Beispiel:
Kubernetes
Gitlab
Fehlerhafte IBM-Sachen mit der schlechtesten Benutzeroberfläche, die Sie je gesehen haben
Wie könnte eine empfohlene Liste nützlich sein?
Wenn ich derzeit ein Thema in der Gitlab-Kategorie lese/beantworte, das sich mit der Integration mit anderen Tools wie Kubernetes befasst, erhalte ich keine Benachrichtigungen über verwandte Themen. Wenn es also einen sehr nützlichen Beitrag in der Kubernetes-Kategorie gibt, sehe ich ihn möglicherweise erst sehr spät. Ich muss ihn selbst finden oder die richtigen Benachrichtigungen abonnieren.
Die meisten unserer Benutzer werden keine guten Benachrichtigungseinstellungen haben:
Sie stehen unter Druck, Ergebnisse zu erzielen
Sie verbringen nicht genug Zeit auf der Plattform, um das Beste aus ihren Benachrichtigungseinstellungen herauszuholen.
Eine empfohlene Liste würde potenziell nützliche Informationen auf Abruf mit einem einzigen Klick bereitstellen. Im Wesentlichen: „Basierend auf Ihren aktuellen Interessen finden Sie hier einige Themen, die hilfreich sein könnten“. Könnte aus der Suchhistorie des Benutzers, angesagten Themen, gängigen Schlüsselwörtern in Themen, an denen er teilnimmt usw. aufgebaut werden. Wenn er also nie die Kategorie „Fehlerhafte IBM-Sachen“ besucht, wird nichts aus dieser Kategorie empfohlen, es sei denn, es berührt zufällig etwas, an dem er bereits ein starkes Interesse hat, zum Beispiel Gitlab.
Ich biete eine „tägliche Zusammenfassung“ per KI auf der Oberseite dieser Website an, die alle 12 Stunden aktualisiert wird und aus 2 Tagen von Beiträgen schöpft.
Die Lösung ist proprietär und nicht in einem öffentlichen Plugin enthalten, aber sie demonstriert das Konzept.
Und ja, sie ist fehleranfällig!
Ich wollte sie dazu bringen, Inhalte zu verknüpfen … UPDATE: Erledigt, brauchte nur GPT 4 Turbo und etwas Prompt Engineering. GPT 3.5 kann mit dieser Detailtiefe nicht umgehen.
Danke, das hatte ich nicht gesehen. Es könnte sich als fruchtbar erweisen, wenn sich die Dinge für uns ändern, aber leider scheint es unsere aktuellen Einschränkungen nicht zu erfüllen (die ich vorhin vergessen hatte zu erwähnen ).
Einschränkungen
Chat kann nicht verwendet werden
PMs können nicht verwendet werden
Wir können uns nicht darauf verlassen, dass KI Antworten generiert und diese stillschweigend an unsere Entwickler weitergibt – wir entwickeln sicherheitskritische Software
Diese Einschränkungen sind im Wesentlichen der Grund, warum eine Liste empfohlener Themen für uns eine gute Lösung wäre: Es werden keine Inhalte generiert, kein Chat wird verwendet, keine PMs werden verwendet.
Dies wäre eine interessante Möglichkeit, eine tägliche Zusammenfassung bereitzustellen. Wie Sie sagen, wären Hyperlinks definitiv ein großartiges Feature. Denken Sie überhaupt darüber nach, sie an die unterschiedlichen Interessen des Benutzers anzupassen? Was machte diesen Ansatz ansprechend, anstatt sich auf den bestehenden täglichen Digest zu verlassen?
Ich vermute, das ist der wirklich herausfordernde Teil dieser Anfrage, aber auch dort liegt eine Menge Wert.
Die meisten Content-Hosting-Plattformen haben eine Art benutzerdefiniertes Empfehlungssystem. Ich wäre überrascht, wenn Discourse nicht irgendwann auch in diese Richtung geht. Es ist wohl besser erreichbar als für Plattformen wie Spotify/Youtube, da alles textbasiert ist und eine Fehlerquelle zwischen der Übersetzung von Bild/Ton zu Objekt/Text/Konzept entfernt wird.
Denken Sie bei der Anfrage im ersten Beitrag über den Tellerrand hinaus. Während Sie viele gültige Einschränkungen haben, die erfüllt werden müssen, bedeutet das nicht, dass es nicht auch potenziell bessere Lösungen gibt.
Nebenbemerkung zu verwandten Themen, von denen ich ehrlich sagen kann, dass ich in den letzten Tagen ein paar tausend davon gesehen habe und dieses bemerkt habe
Etwas, das man im Auge behalten sollte.
Bei der Überprüfung vieler Beiträge in verwandten Themen für eine englische Website (OpenAI) stelle ich fest, dass Themen auf Spanisch tendenziell zusammengefasst werden, und vermute, dass jeder Beitrag, wenn er zuerst ins Englische übersetzt würde, einen anderen Vektor hätte und somit mit anderen Beiträgen gruppiert würde.
List key stats like top users and counts of posts / topics
List 10 or so interesting new topics with a brief summary of activity that happened during the day
List 10 or so interesting older topics that got significant activity during the day
List a summary of activity by the @team group linking to topics they made inline.
Sourcing: ALWAYS Back statements with links to forum discussions.
Markdown Usage: Enhance readability with bold, italic, and > quotes and links.
Linking: Use https://meta.discourse.org/t/-/TOPIC_ID/POST_NUMBER for direct references.
User Mentions: Reference users with @USERNAME
Add many topic links: strive to link to at least 30 topics in the report. Topic Id is meaningless to end users if you need to throw in a link use ref or better still just embed it into the sentence
Categories and tags: use the format #TAG and #CATEGORY to denote tags and categories
Bug topics are super important to me, make sure to prioritize them and also feel free to try to highlight any miscategorized bugs if you find any. DO NOT mention if stuff is correctly categorized.
When providing a topic summary, do so in paragraph form eg:
Experimental Admin Sidebar Navigation - @martin introduced an experimental admin sidebar navigation, sparking discussions about its design and functionality. Users like @packman and @Don provided feedback on missing entries and mobile display issues, which @martin acknowledged and is considering for future updates. Read more.
Recommended Topics List - @Tris20 suggested adding a list of recommended topics to the top menu, leveraging advancements in LLMs to tailor content to users’ interests. The conversation evolved with contributions from @EricGT, @merefield, and others, discussing the potential and challenges of personalized content recommendations. Read more.
Ten Years of Discourse - Users like @Judy_Hawkins and @Quercus shared their gratitude for various Discourse communities that have impacted their lives, celebrating the platform’s ten-year anniversary. Read more.
Locations Plugin - @Don reported an issue with the Locations plugin, which @merefield promptly responded to, indicating a willingness to investigate the problem. Read more.
Restricting Users from Editing Navigation Bar - @Yola sought help to restrict users from editing the navigation bar, and @JammyDodger clarified that the feature is designed for individual customization. @pfaffman and @LOCOSP provided CSS solutions to hide the edit button. Read more.
Upload File Bugs - @Vladimir_P encountered bugs when uploading files, which @JammyDodger and @blake addressed, leading to a fix being implemented. Read more.
Creating and Installing Plugins - @Gaurav_Kumar_Sandan inquired about creating and installing plugins on the home page, with @JammyDodger and @pfaffman providing guidance on theme components and plugin installation. Read more.
DiscoTOC - Automatic Table of Contents - Users like @digitaldominica and @Arkshine discussed issues with the DiscoTOC component, which were resolved following updates to Discourse. Read more.
Custom User Setting in a Plugin - @pirhoo sought advice on creating custom user fields from a plugin, with @merefield providing resources to assist in the process. Read more.
Billing Details Location - @Teresations needed help locating billing details for their Discourse hosted with Communiteq, which @awesomerobot and @RGJ assisted with, pointing to the control panel. Read more.
Interesting Older Topics with Significant Activity
Emoji Line-Height Adjustment Feedback - @sam and @tynaut discussed the impact of emoji line-height adjustments on user status styling, with @tynaut confirming a fix for chat and looking into a solution for posts/messages. Read more.
Using FILTER to Summarize Data - @JammyDodger shared a SQL query using the FILTER function to segment user data based on activity summary preferences, providing a detailed explanation of the query’s components. Read more.
Communication Style as Part of a User’s Profile - @Saif and @simon discussed the potential and concerns of implementing sentiment analysis on user profiles to assess communication style. Read more.
Enter to Newline, Shift+Enter to Submit Message in Chat - @meglio proposed a configuration change for chat input behavior, supported by users like @Jagster and @Moin, to make multi-paragraph messaging more user-friendly. Read more.
Can’t Approve a User’s First Post if It Has a Poll - @Firepup650 reported an issue where a user’s first post containing a poll could not be approved due to a permissions error. Read more.
Error Message When Uploading Logo - @spicerunner reported an error message when uploading a logo, which was resolved after an update. This topic was correctly categorized as a Bug. Read more.
Outbound Notification E-mails Failing - @managenet faced issues with outbound notification emails after attempting to change the attachment size limit. Read more.
Can’t Rebuild App Stuck Extracting One Layer - @LOCOSP encountered a problem with a Docker layer extraction during a rebuild, seeking advice on how to force a re-pull of the files. Read more.
Does Discourse Launcher / Docker Use the Local Postgresql and Redis Servers? - @dalu74 inquired about whether Discourse uses the host’s Postgresql and Redis installations, which was clarified by @hello-smile6. Read more.
Specifically you could unleash some of these automation reports to try to surface interesting content.
The fact you control the context size, amount of days the report spans and more lets you have extreme control here.
Warning though, this needs GPT-4 turbo to work well, Anthropic Claude is a large context window llm but the results it has produced failed to impress me.
Vielleicht wissen Sie das bereits, aber ich sage es auch für andere, da dies möglicherweise nicht so offensichtlich ist.
Wenn Sie Zugriff auf den Discourse AI-Bot haben, der sich in der oberen rechten Ecke befindet
dann können Sie mit der Forum Helper-Persona auch verschiedene Anweisungen ausprobieren, die mit den custom instructions des Periodic report using AI verwendet werden könnten. Mit anderen Worten, Sie können Forum Helper verwenden, um den Bericht schnell zu prototypisieren.
Als jemand, der das Privileg hatte, während der Entwicklung Feedback zu geben, kann ich Ihnen sagen, dass die custom instructions wichtig sind, um die gewünschten Ergebnisse zu erzielen. Im obigen Beispiel sehe ich deutlich, dass Sam dies für Ihre Variante eines Berichts basierend auf Ihrer ursprünglichen Anfrage hinzugefügt hat
Ich liebe das Aussehen davon, obwohl ich mir nicht sicher bin, ob ich die Funktionalität vollständig verstehe. Es sieht so aus, als ob dies etwas Ähnliches wie der Digest erzeugt. Ich mag dieses neue Format für diese Informationen.
Was ich aus der Antwort nicht sehen konnte, ist, ob dies eine benutzerdefinierte Zusammenfassung liefern kann. Habe ich das irgendwo verpasst? Ist es möglich, dass dies pro Benutzer generiert wird, basierend auf den individuellen Interessen des Benutzers?
Um diese Gedanken konkreter zu machen, ist hier ungefähr, was ich im Sinn hatte:
Hauptinteressen des Benutzers identifizieren: (Einmal ausführen) Alle Themen und Antworten scannen, mit denen der Benutzer interagiert hat (liken, antworten, erstellen) nach Schlüsselwörtern
Aktuelle Interessen des Benutzers identifizieren: Themen und Antworten scannen, die der Benutzer diesen Monat gelesen hat, nach Schlüsselwörtern
Schlüsselkonzepte aktueller Themen identifizieren: Alle neuen Themen dieser Woche scannen
Der Teil, den die Leute am meisten lieben und der von LLMs angetrieben wird, ist die einfache Zusammenfassung in einem Absatz über die Änderungen in einem Thema von Datum X bis Y.
Anstatt die LLM dazu zu bringen, den gesamten Korpus zu lesen und einen Bericht wie diesen zu erstellen, könnten wir einfach einen „Fragment-Cache“ aufbewahren, in dem wir beispielsweise Absätze pro Thema speichern:
topic id
date range for summary
very short summary
2343
12-1 → 12-9
…
Damit können wir benutzerdefinierte Zusammenfassungen pro Benutzer erstellen. Wir teilen dies also im Grunde in mehrere Probleme auf:
Identifizierung interessanter Themen → traditionelle Programmierung (beobachtete Tags / Kategorien oder vielleicht „Hintergrund“-Beobachtung basierend auf Aktivität – bereits gelesene ausschließen)
Zusammenfassung von Themen → LLM-gestützte Funktion
Dies hat mehrere Vorteile. Es ist sehr gut skalierbar, Zusammenfassungen können viel genauer sein, da der Kontextumfang weitaus begrenzter ist und weniger Risiko für Kontextvermischung und Halluzinationen besteht.
Ich habe über eine Variation dieser Idee nachgedacht. Anstatt Themen zu betrachten, die durch Tags oder Kategorien miteinander verbunden sind, betrachten Sie sie basierend auf ihrer semantischen Ähnlichkeit. Nicht alle semantisch verwandten Themen bilden eine Kugel, aber es ist hilfreich, sie so zu betrachten. Stellen Sie sich eine Kugel vor, die als einzelnes Thema beginnt; wenn weitere Themen hinzugefügt werden, dehnt sich die Kugel aus, hat aber nach einer Weile eine begrenzte Größe. Dennoch können weitere Themen innerhalb der Kugel hinzugefügt werden, während sie wächst, und sogar nach Erreichen der vollen Größe. Denken Sie daran wie an ein Feuerwerk am Himmel, bei dem schnelle Explosionen Themen mit unterschiedlichen semantischen Ähnlichkeiten darstellen, die im Laufe der Zeit hinzugefügt werden. Diese Analogie hilft mir, das Konzept besser zu verstehen. Ich interessiere mich besonders für diese schnellen Explosionen und diejenigen, die lange verweilen und funkeln. Wenn man auch eine visuelle Darstellung davon hätte, wäre es schön, semantische Zentren auszuwählen und einen Absatz darüber zu gestalten.
Dieses Thema zeigt bei Verwendung von Vollständigen Beitrag anzeigen ein echtes Bild von semantisch verwandten Themen.
BEARBEITUNG
Hier ist eine visuelle Darstellung, die dem, was ich mir vorstelle, näher kommt.
Ich muss ehrlich sein und anmerken, dass dies das erste Mal ist, dass ich von „dem Algorithmus“ höre, aber ja, es stimmt ziemlich gut mit dem überein, was ich denke. Ich werde es mir genauer ansehen müssen, aber ich erwarte nicht, dass ich mit dem, was Sie bemerken, nicht einverstanden bin.
Der Algorithmus von Twitter bezieht sich auf die komplexen mathematischen Regeln und Prozesse, die die Social-Media-Plattform verwendet, um zu bestimmen, welche Inhalte den Nutzern in ihren Timelines und Feeds angezeigt werden. Dieser Algorithmus soll die Inhalte, die Nutzer sehen, basierend auf ihren Interessen, ihrer Interaktionshistorie und anderen Faktoren kuratieren und personalisieren. Der Algorithmus von Twitter hat sich im Laufe der Jahre weiterentwickelt, zielt aber im Allgemeinen darauf ab, den Nutzern die relevantesten und ansprechendsten Tweets zu zeigen und gleichzeitig die Nutzerinteraktion und -bindung auf der Plattform zu fördern.
Zu den wichtigsten Komponenten und Faktoren, die den Algorithmus von Twitter beeinflussen können, gehören:
Relevanz: Der Algorithmus berücksichtigt die Relevanz eines Tweets für die Interessen und Vorlieben eines Nutzers. Er berücksichtigt die Konten, denen ein Nutzer folgt, die Inhalte, mit denen er interagiert (Likes, Retweets, Antworten) und die Schlüsselwörter und Hashtags, die er in seinen Tweets verwendet.
Interaktion: Tweets, die mehr Likes, Retweets, Antworten und Shares erhalten, werden vom Algorithmus eher gefördert. Höhere Interaktion zeigt an, dass ein Tweet bei den Nutzern Anklang findet und als wertvoller erachtet wird.
Aktualität: Twitter priorisiert oft aktuelle Tweets, um die Nutzer über die neuesten Informationen und Trends auf dem Laufenden zu halten. Es kann jedoch auch ältere Tweets anzeigen, die immer noch relevant und ansprechend sind.
Personalisierung: Der Algorithmus schafft ein personalisiertes Erlebnis für jeden Nutzer, indem er seinen Feed auf seine spezifischen Interessen und Verhaltensweisen zuschneidet. Er passt sich im Laufe der Zeit an, während die Nutzer mit der Plattform interagieren.
Follower-Anzahl: Die Anzahl der Follower eines Kontos kann auch die Sichtbarkeit seiner Tweets beeinflussen. Konten mit mehr Followern werden im Allgemeinen eher einem breiteren Publikum angezeigt.
Medientyp: Tweets mit Bildern, Videos oder anderen Medien erhalten tendenziell mehr Interaktion und werden vom Algorithmus gefördert.
Qualität und Sicherheit: Der Algorithmus von Twitter zielt auch darauf ab, qualitativ hochwertige und sichere Inhalte zu fördern und gleichzeitig die Sichtbarkeit von Spam, gefälschten Nachrichten und schädlichen Inhalten zu reduzieren.
Es ist wichtig zu beachten, dass Twitter seinen Algorithmus regelmäßig aktualisiert und verfeinert, um die Nutzererfahrung zu verbessern und Bedenken hinsichtlich der Verbreitung von Fehlinformationen und schädlichen Inhalten auszuräumen. Nutzer können auch einige Kontrolle über ihre Timeline haben, indem sie ihre Einstellungen anpassen, Konten stummschalten oder Funktionen von Twitter wie Listen und die Option „Die besten Tweets zuerst anzeigen“ verwenden, um ihren Feed weiter anzupassen.
Ich liebe das absolut. Es fühlt sich wie eine Version von Watching ohne Benachrichtigungen an, was genau die Art von Sache ist, nach der wir suchen. Was mich wirklich beeindruckt, ist der geringe kognitive Aufwand, den ich beim Lesen dieses Formats empfinde! Ich kann es ehrlich gesagt kaum erwarten, mehr davon zu lesen!
Habe ich Recht mit der Annahme, dass dies bisher nur auf Meta ausprobiert wurde? Ich bin extrem neugierig, wie es mit einem technischen Forum mit potenziell obskureren Informationen umgehen würde.
Ich habe es auch in einem sehr technischen Forum ausprobiert und es hat gut funktioniert, es ist bereit zum Spielen, nächste Woche werde ich eine ordnungsgemäße Dokumentation hinzufügen
).
