Discourse AI — AI-триаж

На это есть один ответ: ИИ плохо справляется с этим.

У вас несколько романтическое представление о том, что такое ИИ, на что он способен или как человек может с ним взаимодействовать.

Но существует такая полуавтоматическая функция, как ИИ-помощник. Вы можете попробовать его. Однако есть причина, по которой даже здесь заголовки, созданные ИИ, встречаются относительно редко.

Что он может делать снова: относительно хорошо — это корректура и перевод. Не так уж удивительно, ведь это языковые модели, работающие с вероятностями. Но даже в этом случае он испытывает трудности, когда должен угадать используемый язык.

Передача всех семантических возможностей ИИ привела бы к увеличению человеческой работы на фоне. Я живу в мире иллюзий в административном плане. У меня нет проблемных пользователей и спама. И всё же у меня бывают ложные срабатывания — довольно редко, но они случаются. И при попытке исправить это фраза «администраторы или авторизованные пользователи могут редактировать это и давать обратную связь ИИ» пишется легче, чем реализуется на практике.

Мой способ письма иногда сложен для ИИ, который лучше всего знает английский. Я стараюсь держать структуру английского языка правильной, но то, как и в каком порядке использовать местоимения и времена, — это то, что я не могу сделать. Когда ИИ сталкивается с ситуацией, где я пишу по-фински, используя английские слова, он иногда исправляет меня совершенно неправильно и довольно часто упускает контекст и суть.

Я имею в виду, какие возможности у ИИ, когда он получает предложение, состоящее лишь из иероглифов, то есть смайликов и реакций? Или когда тема состоит только из заголовка? Классификация таких записей в правильные категории и теги для ИИ почти невозможна.

ИИ работает хорошо, если его процент успеха составляет 85–90 %, а исправление оставшихся 10–15 % не требует слишком больших затрат. Это приемлемо. Но если модератор совершает столько же ошибок, администратор очень быстро сменит команду модерации. В то же время это означает, что из 1000 постов 100–150 окажутся в неправильной категории с неверными тегами, а заголовки будут результатом серьёзных галлюцинаций.

ChatGPT — более дорогой ИИ-инструмент, чем любой из тех, что мы используем на форумах. Он дал решение на один вопрос о Varnish Cache. Оно выглядело правильным, но не работало. Я обратился к ChatGPT в первую очередь, чтобы сэкономить время, потому что мне было лень писать необходимую структуру if самостоятельно.

Причина заключалась в том, что ChatGPT не увидел разницы между County-Code и Country-Code. Общение с ChatGPT и последующее исправление проблемы заняли больше времени, чем если бы я сделал это с нуля самостоятельно.

Зачем я его использую? Из-за этого 85-процентного процента успеха.

Но когда он не может сказать, сколько букв «r» в слове strawberry, мы хотели бы использовать его для работы со словами и контекстом — ведь в большинстве случаев он справляется. Но когда он ошибается, и это касается массовых задач… исправление может и будет довольно затратным, потому что у нас есть и другие технологии.

ИИ испортил мои резюме и одновременно перевёл их. Удалить эти записи легко. Но создание новых стоит мне 100 долларов. Что, если бы он (если бы это было возможно) поместил все темы в неправильные категории с неверными тегами? Исправимо, но это дорогая ошибка.

ИИ ещё не дорос до того, чтобы (и, возможно, никогда не дорастёт) делать «всё». Это больше или меньше научная фантастика. Но при наличии ограничений и хорошо структурированных руководств он может выполнять некоторые задачи относительно хорошо. Однако иметь дело с размытой реальностью… нет.

Мне нравится идея форума без категорий, где теги логичны и основаны на потребностях людей в поиске информации, и где всё автоматизировано, хотя бы теоретически.

2 лайка

Пользователи, способные создавать ценный контент для сообщества, видят эти разделы, но новые участники обычно не уделяют внимания заголовкам, категориям или тегам. В Q&A-сообществе всё, что ожидается, — это задать вопрос и получить ответ (например, как от бота на базе ИИ). Я хочу, чтобы эта функция была доступна новичкам, ищущим ответы на свои срочные вопросы, но при этом такие вопросы должны публиковаться в общем доступе. Когда используется ИИ, такие темы не приносят пользы сообществу и остаются в тени. Было бы полезнее обогатить контент сайта и сделать эти темы доступными для общего использования по тем же вопросам.

Я также создаю заголовки и теги с помощью ИИ, и в этом отношении у меня всё очень успешно. Уверен, что при правильном промпте ИИ сможет давать хорошие результаты в плане категорий и тегов. Конечно, это не означает, что можно просто оставить всё как есть: администраторы могут перепроверять такие темы и вносить необходимые правки, но мы можем сэкономить время, делегировав ИИ эту задачу изначально. Контент, который оказался не в той категории, можно пометить как неподходящий, или администратор может исправить это при обнаружении. Цель — облегчить эту работу.

На самом деле я могу реализовать это через простой вебхук. При создании новой темы отправляется запрос на указанный URL, ИИ выбирает правильную категорию (на сайте) и теги, после чего тема обновляется через API. Однако логичнее было бы разработать уже существующую функцию.


Я согласен с тем, что вы написали. Тогда давайте разовьём ИИ, запустим его как агента и позволим ИИ предлагать варианты для созданных или отредактированных тем. Например, подходящие категории, теги и т. д. для новой темы. Если единственное изменение, которое нужно внести, — это подтвердить тему кнопкой, и она сразу обновится. Если нет — быстро отредактировать и подтвердить.

Это, вероятно, потребует дополнительных затрат, но может стать хорошим инструментом для администраторов, которые хотят облегчить свою работу, не отказываясь от человеческого контроля. ИИ, который отслеживает активность на форуме и информирует администратора или людей из выбранной группы об этом. Хм, идея не кажется плохой (хотя и немного не по теме, конечно).

Вы знаете своё сообщество лучше меня. :person_shrugging:

Тогда, возможно, стоит поручить ИИ это делать, пока пользователь создаёт тему?

Обычно я делаю это, запуская простую PHP-страницу, которую подготовил заранее, когда у меня возникает вопрос, вызывающий любопытство. Например, когда я хочу узнать что-то вроде «что такое золотое сечение», я ввожу это на созданную мной страницу, и она взаимодействует с ИИ, добавляя запись на сайт (за исключением категории). Иными словами, она сама формирует заголовок, вопрос и теги. Это показывает, что ИИ действительно может быть успешен в этом плане.

Пример: Profil - nuran-kilic - Soru Cevap

Возможно, мы можем скрыть такие поля (для тех, кто хочет отредактировать, можно добавить простую кнопку) и позволить пользователю быстро создать тему, введя только вопрос или название темы. Эти поля можно будет отредактировать позже, или мы можем сделать это сами с помощью простого запроса через WebSocket. Однако Discourse отлично справляется с задачами ИИ, поэтому нас не удивит, если у него появится такая поддержка.

Возможно, я вернусь с более продуманным планом, не отклоняясь слишком сильно от темы. Спасибо за ваше терпение ко мне :slight_smile:

Почему бы просто не прочитать статью в Википедии, которая позволяет ИИ создать ответ, который не так хорош?

1 лайк

Успешность — это вопрос определения и не то же самое, что способность что-то делать.

Чтобы хоть как-то оставаться в теме: для меня успешность в выявлении спама равна нулю или, наоборот, очень высока — в зависимости от определения. Она равна нулю, потому что все найденные им случаи оказались ложными срабатываниями. Она очень высока, потому что всё остальное, что он не отметил как спам, им не было отмечено.

В обоих случаях у него есть способность что-то делать.

То же самое произойдёт, когда ИИ будет классифицировать темы. И, это чистое моё мнение, он почти никогда не пишет достаточно хороших статей для публикации.

Мы так делали и до появления ИИ, но суть здесь в моей идее более эффективного использования искусственного интеллекта в системах Discourse. Вы проделали отличную работу, но невозможно настроить всё под каждого, поэтому мы можем создать плагин. Позволю себе небольшую жалобу: я уже три дня пытаюсь настроить среду разработки для Discourse. Было бы здорово, если бы кто-нибудь из сообщества составил хорошее руководство по установке на эту тему :slight_smile:

В последний раз, когда я проверял, скрипты в этих руководствах были устаревшими. Поддерживать среду разработки в актуальном состоянии непросто.

Похоже, рекомендуемый способ — это версия для разработки на Docker, но у меня тоже не очень получается. Не совсем понятно, как это делают другие.

1 лайк

Я попробую, и если получится — поделюсь. На облаке у меня не вышло: то работает, то вылетает. Попробую локально (Windows). В конце концов я обязательно выделю на это время. Если кто-то сделает это раньше меня — буду рад :slight_smile:

Есть ли способ провести сортировку списка существующих тем в конкретной категории?

Пост был разделен на новую тему: Скрывать посты «в реальном времени», когда автоматизация их скрывает