LLM-generierte Themes und Plugins müssen entsprechend gekennzeichnet werden

Beitragen Seitenfeedback
41

Das ist ein ziemlicher Sprung in deiner Argumentation.

  • Wenn du einen Praktikanten eingestellt hättest oder selbst 10 Nächte damit verbracht hättest, hättest du auch einen FLAC-Player in deine imaginäre App einbauen können. Schlechte Produktentscheidungen sind nicht inhärent mit der Nutzung von LLMs verbunden, und ob das Hinzufügen einer nutzlosen Funktion einen Aufwand wert ist, war schon immer Gegenstand von Diskussionen.

  • Zusätzliche Funktionen machen deine App nicht zwangsläufig langsamer und RAM-hungriger. Dieses Problem wurde vor 40 Jahren durch das Konzept des dynamischen Ladens gelöst.

Genau. Hervorhebung von mir :slight_smile:

4 „Gefällt mir“
42

Nein, diese Unterscheidung sollte nicht getroffen werden.

  • Ist die Software sicher?
  • Löst sie mein Problem?

Wieder zurück zu meinem ursprünglichen Punkt hier:

Wenn wir ein Sicherheitsproblem bei Themes haben, sollten wir über ein System zur Überprüfung sprechen.

Wenn wir ein Qualitätsproblem bei Themes haben, sollten wir über Systeme zur Überprüfung sprechen.

Aber nein, ich werde keine Aufkleber wie „Auf einem Mac entwickelt“, „Mit roter Tastatur entwickelt“ oder „Mit 93,2 % KI entwickelt“ in Themen einführen. Das wird nicht passieren.

Wie viel KI ich verwende: Ich teile gerne meine Workflows in einem separaten Thema, aber ich code nicht mehr per Hand in Vim.“}

8 „Gefällt mir“
43

Es wäre ein genetischer Fehlschluss, alle KI-generierten Plugins allein deshalb abzulehnen, weil sie von einer KI erstellt wurden. Dass etwas KI-generiert ist, mag früher ein brauchbares Heuristik-Kriterium für minderwertige Inhalte gewesen sein, aber mit der Verbesserung der Modelle wird es zunehmend schwieriger, den Unterschied zwischen menschlichen und KI-generierten Ausgaben zu erkennen. Wenn es um Qualität und Sicherheit geht, halte ich es für sicherer, jeden Code als unsicher anzusehen, bis er in einem Art crowdsourced peer review system überprüft wurde.

44

Ich denke, es würde viele Leute interessieren, wenn wir teilen würden, wie das Team heute mit KI arbeitet – von Designern über Entwickler bis hin zu Recht, Marketing und anderen Bereichen.

Ein bisschen über KI zu wissen, wie ich, heißt nicht, zu wissen und zu verstehen, wie ein Unternehmen im Alltag wirklich mit KI arbeitet.

6 „Gefällt mir“
45

Ich habe mir alles hier durchgelesen und kann beide Seiten nachvollziehen. Ich finde es gut, aber gleichzeitig auch schlecht, dass man hier einfach Plugins erstellen und hochladen kann, selbst wenn sie „potenzielle“ Sicherheitslücken enthalten, die eine Discourse-Installation kompromittieren könnten.

Etwas neben dem Thema.

Es gibt einen anderen Forensoftware-Anbieter (WoltLab), der beispielsweise einen Plugin-Store hat. Vor jeder Veröffentlichung werden Plugins und Themes vom Team geprüft. Vielleicht wäre es eine Idee, hier etwas Ähnliches einzuführen. Allerdings stellt sich immer die Frage, wer die Prüfung durchführen würde, und ich kann mir vorstellen, dass dies einen erheblichen Aufwand an Zeit und Personal erfordern würde.

2 „Gefällt mir“
46

Ich kann mit 100 % Sicherheit sagen, dass es absolut keine tragfähige Idee ist, jedes einzelne Plugin und Theme von Drittanbietern zu prüfen. (Oder zumindest nicht manuell von einem Menschen)

47

Was hältst du von einem kuratierten Satz an Tools zum Testen von LLM-generierten Plugins oder TCs, der vom Team beaufsichtigt, gewartet und aktualisiert wird?

Ich weiß, dass jeder die Tests im Grunde selbst ausführen kann, aber ehrlich gesagt weiß nicht jeder, wie man das macht.

Eine einfache und zuverlässige Methode dafür klingt für mich nach dem besten aus beiden Welten.

48

Das ist der eigentliche Punkt dieses Threads:

Es war interessant zu sehen, wie jeder seine eigene Meinung dazu teilt, warum diese Transparenz wichtig sein könnte – sowohl aus moralischer als auch aus sicherheitspolitischer Sicht. Persönlich ist es mir egal, ob etwas von einem Software-Ingenieur mit 30 Jahren Erfahrung erstellt wurde, der seit der Urzeit Ruby programmiert, oder von dem kleinen Timmy ohne jegliche Programmiererfahrung. Wenn es zu 100 % schlecht kodiert ist[1], werde ich es nicht verwenden; das wäre heuchlerisch von mir. Ich verstehe, warum es beliebt ist, aber ich werde mich nicht dahinter stellen. Wenn diese Modelle ethisch trainiert worden wären und keine Komponentenknappheit sowie eine Epidemie an KI-generierten Medien verursachen würden, wäre meine Haltung gegenüber diesen Modellen vielleicht weniger negativ, aber das ist nicht die Welt, in der wir leben.

Sicherheitsbedenken gegenüber Plugins im Allgemeinen sind ebenfalls berechtigt und beschränken sich nicht nur auf „Das wurde von KI erstellt“. Das ist ein hartes Problem, das hier aber außerhalb des Themenrahmens liegt. Dieses Thema ist lediglich ein Vorschlag, bei vollständig KI-generierten Assets die Verwendung von Tags zu verlangen.

  1. Ich verweigere die Verwendung von Begriffen wie „Vibe-Coding“ oder „agentische Entwicklung“ ↩︎

2 „Gefällt mir“
49

Ich sehe immer noch nicht, welches Problem hier gelöst werden soll. Kann mir jemand ein Beispiel für ein Plugin geben, das per Vibe Coding erstellt wurde und dabei Müll war, unsicher oder eine Performance-Bremse? Eines, das hier gar nicht beworben hätte werden dürfen, weil es totaler Schrott und eine Zeitverschwendung für alle war?

Und falls es tatsächlich solche Beispiele gibt: Sind sie zahlreich genug, um ein echtes Problem darzustellen?

1 „Gefällt mir“
50

Meiner Meinung nach wäre eine Art selbst zertifizierte Checkliste für Themes ungefähr so nützlich: Wie viel Testing hast du durchgeführt, bist du bereit, Berichte zu Qualität und Sicherheit zu erhalten, und wirst du auf Feedback reagieren?

Oder auch: Wie sieht dein Entwicklungsprozess aus, in nicht mehr als drei Sätzen?

Der Wahrheitsgehalt der Antworten wird nicht viel wert sein, aber der Unterschied zwischen selbst zertifizierten und nicht selbst zertifizierten Themes könnte für jemanden, der überlegt, das Ding zu installieren, ein Signal sein, das etwas wert ist.

4 „Gefällt mir“
51

Ich persönlich vibe-codet nie eine Anwendung, ein Projekt oder eine Software, die ich erstelle. Ich nutze KI-Chats, um Ideen zu besprechen oder um Klarheit zu schaffen, aber nie für das gesamte Projekt. Das ist definitiv manuellere Arbeit, aber zumindest weiß ich, was ich tue, und vertraue es nicht blind einer anderen Entität an.

Aber ich habe gesehen, wie sich das KI-gestützte Programmieren in den letzten Monaten stark weiterentwickelt hat. Es begann vielleicht mit schlecht geschriebenen Code oder voller Sicherheitslücken, aber ich würde sagen, es hat sich seitdem enorm verbessert. Die durch Vibe-Coding erstellten Designs sind noch ziemlich erkennbar (Verläufe, Rahmen, Emojis usw.), selbst in einigen Plugins, die ich auf Meta gesehen habe. Aber was wichtig ist, ist, dass der Autor es für seine eigenen Interessen und die der Community geteilt hat. Nicht damit, damit jemand es niedertrampelt und als „Slop“ (Müll) bezeichnet, sondern weil er damit echten Erfolg hatte und es für andere Foren da draußen teilen möchte, die nach derselben Funktionalität suchen.

Ich verstehe deinen Punkt zu den ethischen Bedenken bezüglich KI, aber das scheint sich eher auf KI im Allgemeinen zu beziehen, wie Unternehmen, die Bücher zerschneiden, der massive Wasserverbrauch und Stromverbrauch usw. Du erwähnst:

Aber wie korreliert das mit der Verwendung von KI-geschriebenen Plugins oder TCs (Theme Customizations)? Wenn du KI nicht magst, gut, nutze sie nicht. Aber die Programmierlandschaft hat sich mit der Einführung von KI dramatisch verändert, und deshalb werden sich auch Dinge wie Plugins und TCs verändern. Wirdst du Discourse komplett aufhören zu benutzen, wenn du weißt, dass ein Teil des Codes mit KI-Hilfe geschrieben wurde? Ich würde es nicht tun, weil ich weiß, dass noch Menschen dahinterstehen.

Wäre es also noch korrekt, es als „slop-coded“ zu bezeichnen und die Verwendung des Begriffs „vibe-coding“ zu boykottieren (persönlich sehe ich mit letzterem keine Probleme)? Vielleicht nicht. Ist es zu hart? Ja. So sehr ich denke, dass du das nicht mögen würdest, manchmal müssen wir uns anpassen. Bedeutet das, dass ich jetzt KI-generierte TCs erstellen und teilen werde? Für mich, nein. Aber bedeutet das, dass ich es als eine Alternative betrachte, die nicht verachtet oder herabgewürdigt werden sollte? Ja. Und ich versuche, das nicht zu tun. Also hoffe ich, dass du das auch kannst.

5 „Gefällt mir“
52

Ich teile hiermit einen kuratierten Artikel zu diesem Thema:

Trail of Bits argumentiert, dass KI-Agenten in Audits am nützlichsten sind, wenn es um die Entwicklung von maßgeschneiderten Tools geht, und nicht nur um das Finden von Bugs. Bei einem Audit der Miden zkVM verwendeten sie Claude und Codex, um einen LSP-Server, einen Decompiler, einen statischen Analyzer und ein Lean-Modell zu erstellen. Dabei entdeckten sie einen schwerwiegenden Bug zur Signaturschmuggelung und 95 Lean-Beweise, die zwei subtile Probleme aufdeckten.

Da Agenten ambitionierte Nebenprojekte günstig machen, haben sich die Ökonomie von Audits in Richtung toolgestützter Reviews verschoben, die komplexe Systeme deutlich gründlicher absichern können als zuvor.

53

Ich nutze KI, um mich bei der Entwicklung meiner Plugins und Komponenten zu unterstützen. Nutzt sie auf eigene Gefahr, aber ich werde sie nicht mit irgendwelchen Warnhinweisen oder Tags versehen – genau wie es auch der Discourse-Kern nicht tut. Ich steuere die Agenten, überprüfe den Code (manchmal mit einem anderen Agenten oder einem zweiten LLM als zusätzliche Augenpaar) und teste sie. Ihr seid natürlich frei, sie nicht zu verwenden, aber schlechter Code, der komplett von einem Menschen geschrieben wurde, habe ich häufiger gesehen als solchen von KI.

7 „Gefällt mir“
54

Tatsächlich halte ich den traditionellen Ansatz, die Qualität eines Produkts anhand des Rufes der dafür verantwortlichen Stelle zu beurteilen, für sinnvoll. Persönlicher Ruf funktioniert gut, wenn eine Person aktiv im Open-Source-Bereich tätig ist. Generell gilt: Wenn jemand in der Vergangenheit gute Arbeit geleistet und auf Feedback reagiert hat, wird er das in der Regel auch weiterhin tun.

2 „Gefällt mir“
55

Die Grundarbeit muss man trotzdem selbst erledigen. Selbst wenn man LLMs verwendet, um deterministische Tools zu erstellen, muss man überprüfen, ob diese Tools tatsächlich die richtigen Aktionen ausführen und nicht einfach nur etwas tun, das statistisch häufig korrekt ist. LLMs zur Erstellung deterministischer Tools zu verwenden, ist besser, als LLMs einfach mit Markdown-Dateien zu prompten und zu hoffen, dass das Ergebnis gleich ausfällt (was immer noch rechtlich und ethisch problematisch ist). Wenn jedoch ein solches deterministisches Tool blindlings mit LLMs gewartet wird, besteht bei neuen Releases das Risiko, dass es im Laufe der Zeit sein deterministisches Verhalten verliert.

Wie Snyk in ihrem VulnBench-Bericht gezeigt hat, ist das Auditieren mit LLMs nicht wirklich zuverlässig:

1 „Gefällt mir“
56

Mir scheint es wirklich sinnvoll, KI-Agenten zu verwenden, um Discourse-Themes zu schreiben.

Das wäre großartig. Es könnte auch sinnvoll sein, die ideale Einrichtung für jemanden ohne ausgeprägten Programmierungshintergrund herauszufinden. Ich vermute, es wäre etwas wie ein KI-Agent mit Zugriff auf eine Entwicklungsversion von Discourse und einer guten Skills-Datei. Dazu noch eine Art automatisierte Sicherheitsprüfung.

2 „Gefällt mir“
58

Natürlich sind Sam und das Team die unumstrittene Autorität und können mich korrigieren, falls ich mich irre. Aber nach viel Experimentieren meinerseits und der Freude, etwas zurückzugeben, habe ich in den letzten Monaten gelernt, dass Discourse Vibe und die gute Nutzung des Harness das empfohlene und mit Abstand ideale Vorgehen sind, um zu starten.

Es ist auch möglich, mit bestimmten Tests auf Github oder sogar mit Discourse Container zu arbeiten, aber die Entwicklungskapazität ist begrenzt, besonders für weniger erfahrene Nutzer wie mich.

Es ist möglich, mit KI „Vibe“-Code für Discourse zu schreiben, und man muss lediglich die finale Überprüfung vornehmen oder diese delegieren, bevor die geleistete Arbeit präsentiert oder in Produktion verwendet wird.

Meinerseits bin ich technisch nicht qualifiziert, um Code zu überprüfen, aber ich kann gut genug Funktionen steuern, wie und wo sie angepasst werden sollen, und gezielt danach fragen, was generiert oder verfeinert werden soll. Ich stelle mir vor, dass jemand kommen und offen zum Sicherheits- und Zuverlässigkeitsaspekt (menschliche Überprüfung immer) des Codes beitragen wird, damit er von der gesamten Community genutzt werden kann. Nicht nur in Meta, sondern Discourse im Allgemeinen. Das war schon von meinem ersten Prompt an mein Ziel.

Gestern habe ich dieses Thema gelesen und war überrascht, wie sehr sich alles entwickelt hat: How hard would it be for non programmers to be able to use the Discourse AI - AI bot to help them create plugins and/or themes

Vor Jahren hätte ich gedacht, ich wäre nicht einmal in der Lage, eine KI zu instruieren, den Code für mich zu erstellen. Und heute, mit den Einschränkungen und der legitimen Kontroverse, die diesbezüglich existiert, ist es Realität.

4 „Gefällt mir“
59

Ja, sich in den letzten Jahr viel verändert. Ich mag es, mit KI-Agenten zu coden, also bin ich hier natürlich voreingenommen.

Um zum eigentlichen Kern dieses Themas zurückzukommen: Ich denke, es gibt viele Gründe, sich über die Auswirkungen der KI auf die Gesellschaft Sorgen zu machen. Ich glaube nicht, dass das Argument, LLMs (oder präziser: KI-Agenten) seien schlecht im Schreiben von Code, auf Dauer standhalten wird. Meine eigenen Bedenken beziehen sich vor allem darauf, was passiert, wenn so viel Arbeit durch ein paar große Tech-Firmen läuft. Dafür bräuchte man hier allerdings einen ganzen Essay.

5 „Gefällt mir“
60

Die Zeiten ändern sich, Open-Weight-Modelle schließen die Lücken schnell auf. Was früher eine 12-monatige Differenz zwischen Frontier- und Open-Modellen war, liegt heute nur noch bei 3 bis 6 Monaten.

Ich erwarte, dass sich KI in den kommenden Jahren viel gleichmäßiger verbreiten wird. Lokale KI ist heute noch eine Ausnahme, wird aber häufiger. Immer mehr Unternehmen werden Intelligenz selbst hosten, genau wie wir es bei Discourse tun.

8 „Gefällt mir“