Для тех из нас, кто сейчас сталкивается с галлюцинациями в общедоступных данных, известно, что их выявление отнимает много времени.
Поэтому, размышляя над этой проблемой, я вспомнил, что если использовать функцию «Скрыть детали» в посте, есть высокая вероятность, что уважаемый поисковый движок не проиндексирует этот контент. Я знаю это, так как часто пользуюсь этой функцией.
Хотя функция «Скрыть детали» частично решает проблему, она скрывает информацию, которая должна быть видна сразу. Если же выбранные данные помечать метаданными, указывающими на наличие галлюцинации, и эти метаданные будут передаваться от момента создания до использования API или просмотрщиком для обозначения данных с галлюцинацией, это, надеюсь, решит проблему. Также было бы здорово иметь иконку, аналогичную функции «Скрыть детали», но специально для галлюцинаций.
Я знаю, что многие подумают, что это проблема не только Discourse, и я согласен. Однако Discourse — достаточно крупная организация в этой сфере, чтобы создать группу вместе с другими участниками и установить стандарт для решения этой проблемы, которая со временем будет только усугубляться.
Можно ли предположить, что речь идёт о галлюцинациях в контексте неточных данных, сгенерированных искусственным интеллектом? Есть ли смысл относиться к таким данным иначе, чем к вводящей в заблуждение информации, созданной людьми? Дошли ли мы уже до того момента, когда люди воспринимают эти данные как более авторитетные, чем посты от людей?
Спасибо, что нашли время прочитать это и задать содержательные вопросы.
Да!
На данный момент — нет.
Однако, если у вас есть доступ к юристу в компании или для неё, то консультация с ним по этому вопросу может быть полезной. Это одна из тех сфер, где правительства рассматривают возможность создания законов. И хотя я не юрист, но представление плана правительству до принятия законов лучше, чем когда законы уже приняты и приходится им подчиняться.
Да, многие исследователи считали ссылки достоверными, пока не обнаружили, что их не существует. Я не занимаюсь сбором таких случаев, но могу следить за ними и сообщать о них, если вы хотите.
Я понимаю, к чему вы клоните, но это не тот вопрос, который я бы задал. Возможно, лучше задать следующие:
Осознают ли люди, что ИИ теперь создаёт текст, похожий на человеческий, который звучит убедительно, но не является правдивым?
Осознают ли люди, что ИИ создаёт изображения, в которых люди убеждены, будто они сделаны другим человеком? Или даже выглядят так, будто сделаны камерой, но на самом деле сгенерированы ИИ?
Хотели бы люди, такие как исследователи, учителя и другие, чьи интересы связаны с достоверной информацией, знать, что галлюцинации помечаются соответствующими метаданными? Или что они происходят из источника, известного своей склонностью к генерации галлюцинаций?
Более серьёзная проблема заключается в том, что другие могут воспользоваться людьми, которые не знают об этом. Если данные помечены как галлюцинация, но метаданные о теге удалены, я не удивлюсь, если юрист сможет использовать это для доказательства умысла.
Ещё раз спасибо за ваш интерес. На данный момент я не планирую развивать эту тему дальше, так как, похоже, вы уже поняли суть. Но если у вас есть другие вопросы, я не против ответить. Лично я предпочёл бы жить в мире, где не нужны были бы спам-фильтры, антивирусы и теперь, кажется, проверки на галлюцинации, потому что люди хотят злоупотреблять технологиями.
Одна из моих обеспокоенностей по поводу ИИ заключается в том, что по мере обучения ИИ на данных, сгенерированных самим ИИ, информация будет становиться всё более размытой. Чтобы избежать этого, организациям, обучающим большие языковые модели (LLM) на данных из интернета, может быть выгодно знать, как были созданы данные, на которых они обучают свои модели. Для этого мог бы быть полезен какой-то стандарт. В качестве примера: мне бы не хотелось, чтобы LM полагались на ответ ChatGPT на вопрос «Какие лучшие маршруты для горного велосипеда в Нанимо подходят для райдера среднего уровня?» как на авторитетные данные о катании на горном велосипеде в Нанимо.
Исходя из этого, гораздо проще описать данные тем, что они есть, вместо того чтобы запутывать аргументацию вокруг сгенерированного компьютером текста, особенно при общении с аудиторией, которая может не обладать соответствующими фоновыми знаниями.
Включение собственной предвзятости (правдивой или нет) в вопрос является несколько неискренним.
Например:
Было бы удобно иметь стандартный способ разграничения текста, написанного генеративной языковой моделью (компьютерный ИИ).
У нас уже есть некоторые методы, например: @discobot roll 4d6
При отсутствии явного автора, правильным цитированием, вероятно, будет лучший подход.
Да, широкая публика уже попадает в ловушку использования ChatGPT как поисковой системы, предоставляющей достаточно точные результаты.
Конечно, это не так: это виртуозный мошенник!
Программа «60 минут» попросила ChatGPT порекомендовать книги о влиянии инфляции на экономику. Он добросовестно ответил названиями и авторами шести книг, ни одна из которых не существует!
Я дважды спрашивал ChatGPT, случались ли смертельные случаи на фестивале скорости Goodwood.
Оба раза он отвечал, что это происходило только один раз, но каждый раз называл разные год и имя.
Это огромное ограничение и определённо проблема.
Это отличный инструмент, но сейчас не следует использовать его для поиска без соответствующих плагинов.
При использовании форума с генерируемым контентом (будь то контент, созданный пользователями, или сгенерированный ИИ), именно зритель или потребитель должен проявлять осторожность.
Владелец форума никогда не будет и не должен брать на себя ответственность за весь публикуемый на его форуме генерируемый контент, поскольку принятие такой ответственности также подразумевает юридическую ответственность. Помечая конкретные сообщения как «фактически неверные», владелец форума может непреднамеренно создать впечатление, что все непомеченные сообщения являются «фактически верными», что может привести к серьёзным проблемам.
Это подводит меня к мысли, что оценка фактической точности и практической применимости информации в сообщениях форума лежит на потребителе, а не на издателе.
Если это ответ мне, то вы не понимаете, что будет делать эта функция.
Эта функция даст пользователям возможность помечать части любых данных как потенциально содержащие галлюцинации. Я также не прошу какую-либо организацию брать на себя ответственность за выявление таких случаев, а предлагаю предоставить пользователям возможность при создании контента с помощью метаданных указывать, что он может содержать галлюцинации. Поэтому упоминается Hide Details (Скрыть детали): пользователь сам решает, когда использовать эту опцию, и она применяется к тому объёму текста, который он выберет — от минимального до максимального. Её можно использовать несколько раз в одном и том же ответе.
То есть независимо от источника (и в основном потому, что вы не сможете его знать), вы хотели бы проверять посты на ложность.
Иронично, что я могу представить, что решение может использовать ИИ для обработки естественного языка в этой задаче, но я отвлекся…
К сожалению, вероятная сложность здесь в том, что система будет испытывать трудности с политической предвзятостью или любыми областями, где задействована идеология или догма, например, в некоторых сферах медицины, где нет чётких фактов, на которые можно опереться.
Но я чётко вижу, что подтверждение очевидного факта могло бы быть простым, например, дата и место рождения известной личности. Это, безусловно, можно и должно автоматизировать?
Определённо интересная область для наблюдения, точно!
Столь многочисленные и разнообразные ответы на запрос о новой функции не были ожидаемы; обычно после публикации они просто остаются без внимания. Спасибо за ваши отклики.
Ниже приведено пошаговое описание двух сценариев, связанных с этой темой, которые, как мы надеемся, помогут лучше понять суть запроса.
Пользователь выявляет галлюцинации
Пользователь обращается к LLM (например, ChatGPT) за информацией о григорианских песнопениях. Затем он вставляет сгенерированный ответ в ответ на форуме Discourse. Для тех частей ответа, которые содержат галлюцинации, пользователь выделяет соответствующий текст, нажимает на иконку галлюцинаций, и метаданные для этого фрагмента (по аналогии с HTML-тегом или подобным) обновляются, указывая на наличие галлюцинации.
Выделение может быть настолько мелким, как отдельная опция командной строки. Например, для следующей команды, сгенерированной ChatGPT:
gregorio -i --gregfont=“Caeciliae” myfile.gabc
кажется, что опция --gregfont является галлюцинацией, поэтому этот фрагмент --gregfont="Caeciliae" должен быть помечен как галлюцинация.
Если просмотреть HTML-код до и после аннотирования, можно увидеть следующее:
Пользователь ищет команду для создания нотных листов григорианского хорала и корректирует запрос так, чтобы исключить галлюцинации. По мере генерации результатов поиска движок находит совпадение со страницей, содержащей команду:
gregorio -i --gregfont=“Caeciliae” myfile.gabc
Затем поисковый движок проверяет команды на странице, находит конкретную команду, вызывающую интерес, и анализирует её на наличие галлюцинаций. Обнаружив элемент с меткой галлюцинации, движок исключает этот результат из выдачи.
Очевидно, что можно создать плагин для инструментов вроде Chrome, чтобы добавлять необходимые теги , однако также необходим стандарт, аналогичный RFC, определяющий метаданные, чтобы их можно было парсить для использования в API.
Приведённые выше сценарии адаптированы для веб-страниц, но аналогичный подход должен работать и для LaTeX и других форматов.
Мне кажется, это запрос на функцию, которая будет полезна в некоторых, но не во всех сообществах.
Лично я был бы рад видеть, чтобы сгенерированный машиной текст всегда был скрыт в механизме, похожем на спойлер: я хочу знать, что это именно так, и хочу знать это до того, как потрудуясь читать.
Это также дало бы возможность добавить что-то в локальные правила: невыделение сгенерированного машиной текста является нарушением, за которое можно пожаловаться.
Размещение сгенерированного машиной текста в механизме, похожем на спойлер, также позволяет автору добавить комментарий или описание: они могут включать текст, потому что он забавно ошибочен, поучительно ошибочен или потому что он полезен.
Вопрос о том, что будущие языковые модели будут обучаться частично на выводах более старых языковых моделей… это, вероятно, большая проблема, даже большая, чем теги спойлеров.
Это всё хорошо и правильно, но surely первый шаг — определить, что это сгенерировано машиной? Учитывая, что вы не знаете некоторых пользователей даже по имени…
Возможно, это невозможно, и всё, что вы можете сделать, — это каким-то образом проверять точность…
Мой взгляд на это таков: это проблема модерации. Некоторые тексты вызывают подозрения, проводится проверка, и они помечаются как «сгенерированные машиной, но без соответствующей метки» или как «вероятный спам».
Похоже, что некоторые люди пытаются создать сервисы для обнаружения текста, сгенерированного искусственным интеллектом, но я не знаю, насколько они эффективны и какой будут стоить. В сфере образования это вопрос списывания, и здесь есть мотивация для выявления таких случаев.
4, 6, 4, 5