LLM-generierte Themes und Plugins müssen entsprechend gekennzeichnet werden

Beitragen Seitenfeedback
41

Das ist ein ziemlicher Sprung in deiner Argumentation.

  • Wenn du einen Praktikanten eingestellt hättest oder selbst 10 Nächte damit verbracht hättest, hättest du auch einen FLAC-Player in deine imaginäre App einbauen können. Schlechte Produktentscheidungen sind nicht inhärent mit der Nutzung von LLMs verbunden, und ob das Hinzufügen einer nutzlosen Funktion einen Aufwand wert ist, war schon immer Gegenstand von Diskussionen.

  • Zusätzliche Funktionen machen deine App nicht zwangsläufig langsamer und RAM-hungriger. Dieses Problem wurde vor 40 Jahren durch das Konzept des dynamischen Ladens gelöst.

Genau. Hervorhebung von mir :slight_smile:

3 „Gefällt mir“
42

Nein, diese Unterscheidung sollte nicht getroffen werden.

  • Ist die Software sicher?
  • Löst sie mein Problem?

Wieder zurück zu meinem ursprünglichen Punkt hier:

Wenn wir ein Sicherheitsproblem bei Themes haben, sollten wir über ein System zur Überprüfung sprechen.

Wenn wir ein Qualitätsproblem bei Themes haben, sollten wir über Systeme zur Überprüfung sprechen.

Aber nein, ich werde keine Aufkleber wie „Auf einem Mac entwickelt“, „Mit roter Tastatur entwickelt“ oder „Mit 93,2 % KI entwickelt“ in Themen einführen. Das wird nicht passieren.

Wie viel KI ich verwende: Ich teile gerne meine Workflows in einem separaten Thema, aber ich code nicht mehr per Hand in Vim.“}

7 „Gefällt mir“
43

Es wäre ein genetischer Fehlschluss, alle KI-generierten Plugins allein deshalb abzulehnen, weil sie von einer KI erstellt wurden. Dass etwas KI-generiert ist, mag früher ein brauchbares Heuristik-Kriterium für minderwertige Inhalte gewesen sein, aber mit der Verbesserung der Modelle wird es zunehmend schwieriger, den Unterschied zwischen menschlichen und KI-generierten Ausgaben zu erkennen. Wenn es um Qualität und Sicherheit geht, halte ich es für sicherer, jeden Code als unsicher anzusehen, bis er in einem Art crowdsourced peer review system überprüft wurde.

44

Ich denke, es würde viele Leute interessieren, wenn wir teilen würden, wie das Team heute mit KI arbeitet – von Designern über Entwickler bis hin zu Recht, Marketing und anderen Bereichen.

Ein bisschen über KI zu wissen, wie ich, heißt nicht, zu wissen und zu verstehen, wie ein Unternehmen im Alltag wirklich mit KI arbeitet.

6 „Gefällt mir“
45

Ich habe mir alles hier durchgelesen und kann beide Seiten nachvollziehen. Ich finde es gut, aber gleichzeitig auch schlecht, dass man hier einfach Plugins erstellen und hochladen kann, selbst wenn sie „potenzielle“ Sicherheitslücken enthalten, die eine Discourse-Installation kompromittieren könnten.

Etwas neben dem Thema.

Es gibt einen anderen Forensoftware-Anbieter (WoltLab), der beispielsweise einen Plugin-Store hat. Vor jeder Veröffentlichung werden Plugins und Themes vom Team geprüft. Vielleicht wäre es eine Idee, hier etwas Ähnliches einzuführen. Allerdings stellt sich immer die Frage, wer die Prüfung durchführen würde, und ich kann mir vorstellen, dass dies einen erheblichen Aufwand an Zeit und Personal erfordern würde.

2 „Gefällt mir“
46

Ich kann mit 100 % Sicherheit sagen, dass es absolut keine tragfähige Idee ist, jedes einzelne Plugin und Theme von Drittanbietern zu prüfen. (Oder zumindest nicht manuell von einem Menschen)

47

Was hältst du von einem kuratierten Satz an Tools zum Testen von LLM-generierten Plugins oder TCs, der vom Team beaufsichtigt, gewartet und aktualisiert wird?

Ich weiß, dass jeder die Tests im Grunde selbst ausführen kann, aber ehrlich gesagt weiß nicht jeder, wie man das macht.

Eine einfache und zuverlässige Methode dafür klingt für mich nach dem besten aus beiden Welten.

48

Das ist der eigentliche Punkt dieses Threads:

Es war interessant zu sehen, wie jeder seine eigene Meinung dazu teilt, warum diese Transparenz wichtig sein könnte – sowohl aus moralischer als auch aus sicherheitspolitischer Sicht. Persönlich ist es mir egal, ob etwas von einem Software-Ingenieur mit 30 Jahren Erfahrung erstellt wurde, der seit der Urzeit Ruby programmiert, oder von dem kleinen Timmy ohne jegliche Programmiererfahrung. Wenn es zu 100 % schlecht kodiert ist[1], werde ich es nicht verwenden; das wäre heuchlerisch von mir. Ich verstehe, warum es beliebt ist, aber ich werde mich nicht dahinter stellen. Wenn diese Modelle ethisch trainiert worden wären und keine Komponentenknappheit sowie eine Epidemie an KI-generierten Medien verursachen würden, wäre meine Haltung gegenüber diesen Modellen vielleicht weniger negativ, aber das ist nicht die Welt, in der wir leben.

Sicherheitsbedenken gegenüber Plugins im Allgemeinen sind ebenfalls berechtigt und beschränken sich nicht nur auf „Das wurde von KI erstellt“. Das ist ein hartes Problem, das hier aber außerhalb des Themenrahmens liegt. Dieses Thema ist lediglich ein Vorschlag, bei vollständig KI-generierten Assets die Verwendung von Tags zu verlangen.

  1. Ich verweigere die Verwendung von Begriffen wie „Vibe-Coding“ oder „agentische Entwicklung“ ↩︎

1 „Gefällt mir“
49

Ich sehe immer noch nicht, welches Problem hier gelöst werden soll. Kann mir jemand ein Beispiel für ein Plugin geben, das per Vibe Coding erstellt wurde und dabei Müll war, unsicher oder eine Performance-Bremse? Eines, das hier gar nicht beworben hätte werden dürfen, weil es totaler Schrott und eine Zeitverschwendung für alle war?

Und falls es tatsächlich solche Beispiele gibt: Sind sie zahlreich genug, um ein echtes Problem darzustellen?

1 „Gefällt mir“
50

Meiner Meinung nach wäre eine Art selbst zertifizierte Checkliste für Themes ungefähr so nützlich: Wie viel Testing hast du durchgeführt, bist du bereit, Berichte zu Qualität und Sicherheit zu erhalten, und wirst du auf Feedback reagieren?

Oder auch: Wie sieht dein Entwicklungsprozess aus, in nicht mehr als drei Sätzen?

Der Wahrheitsgehalt der Antworten wird nicht viel wert sein, aber der Unterschied zwischen selbst zertifizierten und nicht selbst zertifizierten Themes könnte für jemanden, der überlegt, das Ding zu installieren, ein Signal sein, das etwas wert ist.

4 „Gefällt mir“
51

Ich persönlich vibe-codet nie eine Anwendung, ein Projekt oder eine Software, die ich erstelle. Ich nutze KI-Chats, um Ideen zu besprechen oder um Klarheit zu schaffen, aber nie für das gesamte Projekt. Das ist definitiv manuellere Arbeit, aber zumindest weiß ich, was ich tue, und vertraue es nicht blind einer anderen Entität an.

Aber ich habe gesehen, wie sich das KI-gestützte Programmieren in den letzten Monaten stark weiterentwickelt hat. Es begann vielleicht mit schlecht geschriebenen Code oder voller Sicherheitslücken, aber ich würde sagen, es hat sich seitdem enorm verbessert. Die durch Vibe-Coding erstellten Designs sind noch ziemlich erkennbar (Verläufe, Rahmen, Emojis usw.), selbst in einigen Plugins, die ich auf Meta gesehen habe. Aber was wichtig ist, ist, dass der Autor es für seine eigenen Interessen und die der Community geteilt hat. Nicht damit, damit jemand es niedertrampelt und als „Slop“ (Müll) bezeichnet, sondern weil er damit echten Erfolg hatte und es für andere Foren da draußen teilen möchte, die nach derselben Funktionalität suchen.

Ich verstehe deinen Punkt zu den ethischen Bedenken bezüglich KI, aber das scheint sich eher auf KI im Allgemeinen zu beziehen, wie Unternehmen, die Bücher zerschneiden, der massive Wasserverbrauch und Stromverbrauch usw. Du erwähnst:

Aber wie korreliert das mit der Verwendung von KI-geschriebenen Plugins oder TCs (Theme Customizations)? Wenn du KI nicht magst, gut, nutze sie nicht. Aber die Programmierlandschaft hat sich mit der Einführung von KI dramatisch verändert, und deshalb werden sich auch Dinge wie Plugins und TCs verändern. Wirdst du Discourse komplett aufhören zu benutzen, wenn du weißt, dass ein Teil des Codes mit KI-Hilfe geschrieben wurde? Ich würde es nicht tun, weil ich weiß, dass noch Menschen dahinterstehen.

Wäre es also noch korrekt, es als „slop-coded“ zu bezeichnen und die Verwendung des Begriffs „vibe-coding“ zu boykottieren (persönlich sehe ich mit letzterem keine Probleme)? Vielleicht nicht. Ist es zu hart? Ja. So sehr ich denke, dass du das nicht mögen würdest, manchmal müssen wir uns anpassen. Bedeutet das, dass ich jetzt KI-generierte TCs erstellen und teilen werde? Für mich, nein. Aber bedeutet das, dass ich es als eine Alternative betrachte, die nicht verachtet oder herabgewürdigt werden sollte? Ja. Und ich versuche, das nicht zu tun. Also hoffe ich, dass du das auch kannst.

5 „Gefällt mir“
52

Ich teile hiermit einen kuratierten Artikel zu diesem Thema:

Trail of Bits argumentiert, dass KI-Agenten in Audits am nützlichsten sind, wenn es um die Entwicklung von maßgeschneiderten Tools geht, und nicht nur um das Finden von Bugs. Bei einem Audit der Miden zkVM verwendeten sie Claude und Codex, um einen LSP-Server, einen Decompiler, einen statischen Analyzer und ein Lean-Modell zu erstellen. Dabei entdeckten sie einen schwerwiegenden Bug zur Signaturschmuggelung und 95 Lean-Beweise, die zwei subtile Probleme aufdeckten.

Da Agenten ambitionierte Nebenprojekte günstig machen, haben sich die Ökonomie von Audits in Richtung toolgestützter Reviews verschoben, die komplexe Systeme deutlich gründlicher absichern können als zuvor.

53

Ich nutze KI, um mich bei der Entwicklung meiner Plugins und Komponenten zu unterstützen. Nutzt sie auf eigene Gefahr, aber ich werde sie nicht mit irgendwelchen Warnhinweisen oder Tags versehen – genau wie es auch der Discourse-Kern nicht tut. Ich steuere die Agenten, überprüfe den Code (manchmal mit einem anderen Agenten oder einem zweiten LLM als zusätzliche Augenpaar) und teste sie. Ihr seid natürlich frei, sie nicht zu verwenden, aber schlechter Code, der komplett von einem Menschen geschrieben wurde, habe ich häufiger gesehen als solchen von KI.

5 „Gefällt mir“
54

Tatsächlich halte ich den traditionellen Ansatz, die Qualität eines Produkts anhand des Rufes der dafür verantwortlichen Stelle zu beurteilen, für sinnvoll. Persönlicher Ruf funktioniert gut, wenn eine Person aktiv im Open-Source-Bereich tätig ist. Generell gilt: Wenn jemand in der Vergangenheit gute Arbeit geleistet und auf Feedback reagiert hat, wird er das in der Regel auch weiterhin tun.

1 „Gefällt mir“