KI-Halluzinationen für Suchmaschinen identifizieren

Merkmal
1

Für diejenigen von uns, die jetzt mit Halluzinationen in öffentlichen Daten leben, wissen wir, dass die Identifizierung der Halluzinationen zeitaufwendig ist.

Als ich über das Problem nachdachte, erinnerte ich mich, dass eine Suchmaschine, wenn man die Funktion Details ausblenden in einem Beitrag verwendet, gute Chancen hat, diese nicht zu indizieren. Ich weiß das, weil ich die Funktion oft benutze.

Während die Funktion Details ausblenden einen Teil der Lösung darstellt, verbirgt sie Informationen, die von Anfang an sichtbar sein sollten. Wenn stattdessen die ausgewählten Daten mit Metadaten versehen werden, die darauf hinweisen, dass sie eine Halluzination enthalten, und die Metadaten von der Erstellung bis zur Verwendung durch eine API oder einen Betrachter durchlaufen können, um die Daten mit der Halluzination zu kennzeichnen, würde dies hoffentlich das Problem lösen. Auch eine Option für ein Symbol, ähnlich wie Details ausblenden, aber für Halluzinationen, wäre schön.

Ich weiß, dass viele denken werden, dass dies nicht nur ein Discourse-Problem ist, und ich stimme zu, aber Discourse ist eine ausreichend große Entität in diesem Bereich, dass sie eine Gruppe mit anderen Entitäten bilden und einen Standard festlegen könnten, um das Problem anzugehen, da es mit der Zeit nur noch schlimmer wird. :slightly_smiling_face:

2 „Gefällt mir“
2

Ist es sicher anzunehmen, dass Sie sich auf Halluzinationen beziehen, wenn es um ungenaue Daten geht, die von einer KI erzeugt werden? Gibt es einen Vorteil, diese Daten anders zu behandeln als irreführende, von Menschen erzeugte Daten? Sind wir an einem Punkt angelangt, an dem die Menschen diese Daten als maßgeblicher behandeln als menschliche Poster?

6 „Gefällt mir“
3

Vielen Dank, dass Sie sich die Zeit genommen haben, dies zu lesen und sinnvolle Fragen zu stellen.

Ja!

Derzeit nein.

Wenn Sie jedoch Zugang zu einem Anwalt in/für das Unternehmen haben, könnte es von Vorteil sein, diesen zu fragen. Dies ist eine der Dinge, bei denen Regierungen Gesetze erlassen wollen, und obwohl ich kein Anwalt bin, ist es besser, dem Staat einen Plan vorzulegen, bevor Gesetze erlassen werden, als auf das Gesetz warten zu müssen und sich daran halten zu müssen.

Ja, viele Forscher glaubten, Zitate seien echt, bis sie sie nicht mehr finden konnten. Ich sammle solche nicht, kann aber danach Ausschau halten und sie notieren, wenn Sie möchten.

Von KI generiertes Foto gewinnt Preis!

Ich verstehe, worauf Sie hinauswollen, aber das ist nicht die Frage, die ich stellen würde. Vielleicht eher diese.

Sind sich die Menschen bewusst, dass KI jetzt menschenähnliche Texte erstellt, die korrekt klingen und es nicht sind?
Sind sich die Menschen bewusst, dass KI Bilder erstellt, bei denen Menschen überzeugt sind, dass sie von einem anderen Menschen erstellt wurden? Oder die sogar den Anschein erwecken, mit einer Kamera aufgenommen worden zu sein, aber stattdessen von KI generiert wurden?
Möchten Menschen wie Forscher, Lehrer und andere, die ein Interesse an sachlichen Informationen haben, wissen, dass Halluzinationen als solche mit Metadaten gekennzeichnet sind? Oder aus einer Quelle stammen, die bekanntermaßen Halluzinationen erzeugt?

Ein größeres Problem sind andere, die diese Menschen ausnutzen werden, die davon nichts wissen. Wenn die Daten als Halluzination markiert sind und die Daten von den Metadaten bereinigt werden, dann wäre ich nicht überrascht, wenn ein Anwalt dies nutzen könnte, um Vorsatz zu beweisen.

Nochmals vielen Dank für Ihr Interesse. Derzeit habe ich nicht vor, dies weiter zu verfolgen, da Sie die Idee anscheinend verstanden haben, aber wenn Sie weitere Fragen haben, beantworte ich diese gerne. Persönlich würde ich lieber in einer Welt leben, in der wir keine Spamfilter, Virenscanner und jetzt anscheinend auch keine Halluzinationsprüfungen brauchen, weil Leute die Technologie missbrauchen wollen. :slightly_smiling_face:

4

Eine meiner Sorgen bei KI ist, dass Informationen immer weiter verdünnt werden, wenn KI mit Daten trainiert wird, die von KI generiert wurden. Um dies zu vermeiden, könnte es im Interesse von Organisationen liegen, die LLMs im Internet trainieren, zu wissen, wie die Daten, auf denen sie das LLM trainieren, generiert wurden. Eine Art Standard könnte hier nützlich sein. Ich würde es zum Beispiel hassen zu sehen, dass LLMs auf die Antwort von ChatGPT auf die Frage „Was sind die besten Mountainbike-Strecken in Nanaimo für einen Mountainbiker auf mittlerem Niveau?“ als maßgebliche Daten über Mountainbiking in Nanaimo zurückgreifen.

4 „Gefällt mir“
5

In diesem Zusammenhang wäre es weitaus zugänglicher, die Daten danach zu beschreiben, was sie sind, anstatt ein Argument über computergenerierten Text zu verflechten, insbesondere wenn man mit einem Publikum spricht, das möglicherweise nicht über die Hintergrundinformationen verfügt.

Die eigene Voreingenommenheit (ob wahr oder nicht) in die Frage einzubetten, ist einigermaßen unaufrichtig.

Zum Beispiel:

Es wäre praktisch, eine Standardmethode zu haben, um von einem generativen Sprachmodell (Computer-KI) geschriebenen Text abzugrenzen.

Wir haben bereits einige Methoden, z. B.: @discobot roll 4d6

In Abwesenheit eines expliziten Autors ist eine ordnungsgemäße Zitierung wahrscheinlich der beste Ansatz.

2 „Gefällt mir“
6

:game_die: 4, 6, 4, 5

1 „Gefällt mir“
7

Ja, die breite Öffentlichkeit tappt bereits in die Falle, ChatGPT wie eine Suchmaschine zu nutzen, die einigermaßen definitive Ergebnisse liefert.

Natürlich ist es das nicht: Es ist ein professioneller Betrüger!

„60 Minutes“ bat ChatGPT um Buchempfehlungen zum Thema volkswirtschaftliche Auswirkungen der Inflation. Es lieferte pflichtbewusst die Titel und Autoren von sechs Büchern: keines davon existiert!

Ich habe ChatGPT zweimal gefragt, ob beim Goodwood Festival of Speed jemand gestorben sei.

Es sagte mir beide Male, dass dies nur einmal passiert sei, nannte mir aber jedes Mal ein anderes Jahr und einen anderen Namen.

Dies ist eine enorme Einschränkung und definitiv ein Problem.

Es ist ein großartiges Werkzeug, aber Sie sollten es derzeit nicht für die Suche ohne entsprechende Plugins verwenden.

3 „Gefällt mir“
8

Wenn ein Forum mit generierten Inhalten (entweder von Benutzern oder von KI generiert) genutzt wird, sollte der Betrachter / Nutzer Vorsicht walten lassen.

Ein Forenbetreiber wird niemals die Verantwortung für alle auf seinem Forum veröffentlichten generierten Inhalte übernehmen / übernehmen wollen, da diese Verantwortung auch eine Haftung implizieren würde. Indem ein Forenbetreiber bestimmte Beiträge als „faktisch falsch“ kennzeichnet, könnte er unbeabsichtigt andeuten, dass alle nicht gekennzeichneten Beiträge „faktisch richtig“ sind, was potenziell erhebliche Probleme verursachen könnte.

Dies führt zu meinem Punkt, dass die Beurteilung der sachlichen Richtigkeit und praktischen Nutzbarkeit von Informationen in Forumsbeiträgen in der Verantwortung des Verbrauchers und nicht des Herausgebers liegt.

3 „Gefällt mir“
9

Wenn dies eine Antwort an mich ist, dann verstehen Sie nicht, was die Funktion tun würde.

Die Funktion würde Benutzern die Möglichkeit geben, Teile von Daten als potenziell Halluzinationen enthaltend zu identifizieren. Ich bitte auch keine Entität, die Verantwortung für die Identifizierung zu übernehmen, sondern den Benutzern bei der Erstellung eine Möglichkeit zu geben, mit Metadaten zu identifizieren, dass sie Halluzinationen enthalten könnten. Daher die Erwähnung von Hide Details (Details ausblenden), der Benutzer wählt, ob er dies bei Bedarf verwendet, und es gilt nur für so viel oder so wenig, wie der Benutzer wählt, es kann sogar mehrmals in derselben Antwort verwendet werden.

10

Bitten Sie nicht einfach um einen Faktenchecker?

Sie möchten also unabhängig von der Quelle (und hauptsächlich, weil Sie es nicht wissen werden) einen Beitrag auf Falschheiten überprüfen.

Ironischerweise kann ich mir vorstellen, dass die Lösung KI für einige der Verarbeitung natürlicher Sprache für diese Aufgabe verwenden könnte, aber ich schweife ab …

Die bedauerliche wahrscheinliche Komplexität hier ist, dass sie mit politischer Voreingenommenheit oder überall dort zu kämpfen hat, wo Ideologie oder Dogma beteiligt sein könnten, z. B. in einigen Bereichen der Medizin, wo es keine festen Fakten gibt, auf die man sich verlassen kann.

Aber ich kann deutlich sehen, dass die Bestätigung einer offensichtlichen Tatsache einfach sein könnte, z. B. das Geburtsdatum und der Geburtsort einer berühmten Persönlichkeit. Das könnte und sollte sicherlich automatisiert werden?

Definitiv ein interessanter Bereich, den man sich ansehen kann!

1 „Gefällt mir“
11

Diese vielen und vielfältigen Antworten auf eine Feature-Anfrage waren nicht erwartet. Normalerweise sitzen sie nach dem Posten da und verstauben, die Antworten werden geschätzt.

Hier ist ein Durchlauf von zwei Szenarien, die sich auf diese Anfrage beziehen und hoffentlich ein besseres Verständnis der Feature-Anfrage vermitteln werden.

  1. Benutzer identifiziert Halluzinationen
    Ein Benutzer verwendet eine LLM, z. B. ChatGPT, um Informationen über gregorianische Gesänge zu erhalten. Sie fügen die ChatGPT-Vervollständigung in eine Discourse-Antwort ein. Für die Teile der Antwort/Vervollständigung, die Halluzinationen aufweisen, wählt der Benutzer die Daten aus, klickt auf ein Symbol für Halluzinationen und die Metadaten für den Abschnitt, denken Sie an HTML span oder ähnliches, werden aktualisiert, um anzuzeigen, dass der Span eine Halluzination enthält.

Die Spans könnten so klein sein wie eine Option für eine Befehlszeile. Für diese von ChatGPT generierte Befehlszeile

gregorio -i --gregfont=“Caeciliae” myfile.gabc

scheint die Option gregfont eine Halluzination zu sein, daher sollte dieser Abschnitt als Halluzination markiert werden --gregfont="Caeciliae".

Wenn man sich das HTML vor und nach der Annotation ansehen würde, würde man Folgendes sehen:

Vorher

<pre>
   <code class="hljs language-bash">gregorio -i --gregfont=<span class="hljs-string">"Caeciliae"</span> myfile.gabc
   </code>
</pre>

Nachher

<pre>
   <code class="hljs language-bash">gregorio -i <span class="hallucination">--gregfont=<span class="hljs-string">"Caeciliae"</span></span> myfile.gabc
   </code>
</pre>
  1. API verbraucht Daten mit Halluzinationen
    Ein Benutzer sucht nach einer Befehlszeile zum Erstellen von gregorianischen Notenblättern, und passt die Abfrage an, um keine Halluzinationen einzuschließen. Während die Suchmaschine Ergebnisse generiert, findet sie einen Treffer für eine Seite mit dem Befehl

gregorio -i --gregfont=“Caeciliae” myfile.gabc

Die Suchmaschine überprüft dann die Befehlszeilen auf der Seite und findet die spezifische Zeile von Interesse. Die Suchmaschine überprüft dann die Befehlszeile, um festzustellen, ob sie eine Halluzination enthält, findet das Span-Element mit der Halluzination und schließt dies nicht in das Suchergebnis ein.

Offensichtlich könnte man ein Plugin für Tools wie Chrome erstellen, um die benötigten Spans hinzuzufügen, aber es muss auch einen Standard geben, denken Sie an RFC, der Metadaten, um sie für die Verwendung mit APIs analysierbar zu machen.

Die obigen Szenarien wurden für Webseiten zugeschnitten, aber ähnliches sollte für LaTeX usw. gelten.

Während die obigen Szenarien nur einen Skalar zur Identifizierung einer Halluzination verwendeten, könnten die Metadaten komplexer sein, denken Sie an JSON oder algebraischen Datentyp.

Gregorio Referenzen

12

Meiner Meinung nach ist dies eine Anforderung für eine Funktion, die in einigen, aber nicht allen Communities nützlich sein wird.

Ich persönlich würde es begrüßen, wenn maschinell erzeugter Text immer in einem spoilerähnlichen Mechanismus verborgen wäre: Ich möchte wissen, dass es sich darum handelt, und ich möchte es wissen, bevor ich Zeit in das Lesen investiere.

Es wäre auch eine Gelegenheit, etwas in die lokalen Regeln aufzunehmen: Das Versäumnis, maschinell erzeugten Text abzugrenzen, ist ein Verstoß, der gemeldet werden kann.

Das Einbetten von maschinell erzeugtem Text in einem spoilerähnlichen Mechanismus ermöglicht es dem Poster auch, einen Kommentar oder eine Beschreibung hinzuzufügen: Sie könnten den Text einfügen, weil er amüsant falsch, lehrreich falsch oder nützlich ist.

Das Problem, dass zukünftige Sprachmodelle teilweise auf den Ausgaben älterer Sprachmodelle trainiert werden … das ist wahrscheinlich ein großes Problem, größer als Spoiler-Tags.

1 „Gefällt mir“
13

Das ist alles schön und gut, aber der erste Schritt ist doch sicherlich, es als maschinell produziert zu identifizieren? Da Sie einige Benutzer nicht kennen …

Das ist vielleicht unmöglich und alles, was Sie tun können, ist irgendwie die Genauigkeit zu überprüfen …

1 „Gefällt mir“
14

Meine Überlegung ist, dass es sich um ein Moderationsproblem handelt. Manche Texte riechen falsch, und es werden Anfragen gestellt, und sie werden als „maschinell generiert, aber nicht als solche gekennzeichnet“ oder als „wahrscheinlicher Spam“ eingestuft.

Ich glaube, ich habe mitbekommen, dass einige Leute versuchen, Dienste zu entwickeln, die maschinell generierten Text erkennen können, aber ich weiß nicht, wie effektiv sie sind oder wie teuer sie sein werden. In der Welt der Bildung geht es ums Schummeln, und es gibt Motivationen, dies zu erkennen.

1 „Gefällt mir“