Контекст: Несколько лет назад мы запустили сообщество как раз в тот момент, когда пандемия начала набирать обороты. Затем на протяжении нескольких лет мы были вынуждены направить все ресурсы на другие инициативы. Мы наблюдали высокую активность участников, но после того, как прекратили работу по программированию и управлению сообществом, активность на форумах практически остановилась. Сейчас мы планируем снова уделить больше времени реализации нашей стратегии развития сообщества и его управлению, поэтому этот вопрос для нас наиболее актуален!
Сейчас мы замечаем, что многие пользователи, присоединяющиеся к сообществу, делают это либо:
Чтобы разместить ссылку на свой спамный сайт, ориентированный на партнерские ключевые слова;
Чтобы разместить сообщение, которое явно сгенерировано LLM / GPT.
Вот пример сообщения, которое вчера попало в очередь модерации:
Примечание: пользователь создал аккаунт в тот же день.
Нажмите, чтобы просмотреть скриншот модерации сообщения
При чтении модерированного сообщения от нового пользователя становится очевидно, что оно неискреннее и, скорее всего, сгенерировано GPT или подобной системой.
Есть ли оптимальные способы предотвратить появление таких пользователей в сообществе?
Существуют ли методы, позволяющие не допускать ввода пользователями стандартных ответов от LLM, независимо от их эгоистичных или злонамеренных мотивов?
Как часто это происходит? Мне интересно, не нацелена ли ваш сайт специально по какой-то причине.
Я рискну предположить, что это связано с одним или обоими этими сайтами: http://bestpickleballpaddle.com/, https://thepickleballpaddles.com/. (Обратите внимание, это реальные сайты, но давайте не будем направлять на них слишком много трафика отсюда.)
Самая очевидная мотивация, которую я могу придумать для генерации поста, подобного тому, что на вашем скриншоте, — это завоевать доверие на сайте, чтобы в будущем публиковать спам-ссылки. Если это проблема, возможно, стоит изменить значение настройки вашего сайта минимальный уровень доверия для публикации ссылок с значения по умолчанию (уровень доверия 0) на уровень доверия 1 или 2. Если есть некоторые домены, на которые вы готовы разрешить пользователям любого уровня доверия публиковать ссылки, вы можете добавить эти домены в настройку сайта разрешенные домены для ссылок.
Я просто высказываю предположения, но мне интересно: вместо того чтобы прилагать много усилий к попыткам отлавливать контент, сгенерированный LLM, не лучше ли попытаться снизить мотивацию к созданию таких постов в первую очередь? Меня беспокоит, что со временем обнаруживать контент, сгенерированный LLM, будет всё сложнее. Ложное определение контента как сгенерированного LLM может стать проблемой.
Другой подход, который может быть полезен в некоторых случаях, — использовать членство в организации или активность на другой платформе в качестве критерия для создания учётной записи Discourse или для получения уровня доверия, позволяющего публиковать ссылки на сайте Discourse. Например, в вашей форме регистрации есть необязательное поле для указания уровня рейтинга пользователя по версии USAPA. Если членство в USAPA даёт участникам профильную страницу на их сайте, вы можете сделать членство в USAPA обязательным условием для регистрации на вашем сайте, добавив поле «Ссылка на профиль USAPA» как обязательное в форме регистрации. Затем вы можете включить настройку сайта Discourse требовать одобрения пользователей и одобрять пользователей только после подтверждения их членства в USAPA. Другой вариант — чтобы Discourse добавил функцию, позволяющую ограничивать уровень доверия пользователя на основе пользовательского критерия. Например, не разрешать пользователю переходить за уровень доверия 1, пока не будет подтверждено его членство в USAPA.
Я использую членство в USAPA лишь как пример. Я понимаю, почему вы можете не хотеть требовать членства в USAPA от пользователей вашего сайта. Идея установления доверия через членство или активность на другом сайте связана с плагином, обсуждаемым здесь: $10k Bounty: Gitcoin Passport plug-in for Discourse.
Почти наверняка у этого есть какая-то скрытая цель, даже если она пока не очевидна.
Недавно у меня был пользователь, который выглядел вполне убедительно и добрался до уровня доверия 2, прежде чем открыто начал продвигать свой продукт, хотя изначально лишь намёками.
Настройка минимального уровня доверия для публикации ссылок полезна: подозрительные аккаунты начнут предлагать людям искать что-то через Google вместо того, чтобы публиковать ссылки — это ещё один тревожный сигнал.
Иногда приходится ждать, пока накопится достаточно доказательств, чтобы быть уверенным в необходимости блокировки аккаунта.
К сожалению, отсрочка действий означает, что впоследствии потребуется больше работы по очистке.
Есть ли проверка на «подозрительно быстрый набор текста» при копировании и вставке? Разве что всё это робот, специально запрограммированный печатать медленно, чтобы имитировать человека…
Итак (если я правильно понимаю), хорошее здесь то, что этого человека поймала существующая инфраструктура. Он беспокоил персонал, но не пользователей.
Я думаю, Саймон попал в точку:
Мне было бы интересно узнать, насколько часто это происходит. Тот факт, что этот человек установил релевантный аватар, с релевантным именем пользователя, на релевантном форуме… заставляет меня предположить, что это отчасти человеческий фактор.
Может быть, это просто чрезмерно рьяный стажёр по маркетингу?
У меня была похожая проблема. Нарушитель в настоящее время отстранён. Существуют веб-сайты, которые помогают выявлять тексты, сгенерированные ИИ, что полезно, но это не долгосрочное решение. — ИИ будет становиться всё лучше, пока разница станет неразличимой.
Я являюсь модератором категории на форуме OpenAI Discourse (ссылка) (не сотрудник OpenAI), поэтому рекомендую ознакомиться с обратной связью на форуме относительно изменений ChatGPT с течением времени (ссылка). Хотя в целом ваше утверждение верно, я хочу добавить немного ясности в отношении ChatGPT.
С момента появления ChatGPT и в течение многих месяцев его возможности улучшались: ответы становились
более связными,
более соответствовали запросу,
более лаконичными и короткими по объёму.
Затем было внесено изменение, в результате которого ответы стали
менее связными,
меньше соответствовать запросу,
менее лаконичными и более длинными.
Многие пользователи на форуме отметили, что будто бы ChatGPT был откатан к версии нескольких месяцев назад. Те, кто использует ChatGPT для написания кода (как и я), заметили это особенно ярко, так как с изменением стало появляться больше синтаксических ошибок.
Таким образом, следует помнить: если вы пытаетесь определить контент, сгенерированный ChatGPT, это «движущаяся мишень», и он не всегда становится лучше. Как программист, я считаю, что эта информация может быть ценной при попытке выявить такой контент.
Кроме того, будучи модератором сайта, я не обладаю никакой внутренней информацией, поскольку не являюсь сотрудником OpenAI. Поэтому, если вы слышали о инструментах, которые встраивают информацию для идентификации контента ChatGPT, я не могу предоставить сведения об этом.
Для тех, кто не использует ChatGPT, вот простой пример на основе вышеприведённого текста.
Вычитайте текст, используйте дружелюбный тон, будьте лаконичны.
```
К сведению.
Я являюсь модератором категории на форуме OpenAI Discourse ([ссылка](https://community.openai.com/about)), поэтому рекомендую ознакомиться с обратной связью на форуме относительно изменений ChatGPT с течением времени ([ссылка](https://community.openai.com/t/gpt-4-has-been-severely-downgraded-topic-curation/304946)). Хотя в целом ваше утверждение верно, я хочу добавить немного ясности.
С момента появления ChatGPT и в течение многих месяцев его возможности улучшались: ответы становились
* более связными,
* более соответствовали запросу,
* более лаконичными и короткими по объёму.
Затем было внесено изменение, в результате которого ответы стали
* менее связными,
* меньше соответствовать запросу,
* менее лаконичными и более длинными.
Многие пользователи на форуме отметили, что будто бы ChatGPT был откатан к версии нескольких месяцев назад. Те, кто использует ChatGPT для написания кода (как и я), заметили это особенно ярко, так как с изменением стало появляться больше синтаксических ошибок.
Таким образом, следует помнить: если вы пытаетесь определить контент, сгенерированный ChatGPT, это «движущаяся мишень», и он не всегда становится лучше. Как программист, я считаю, что эта информация может быть ценной при попытке выявить такой контент.
Кроме того, будучи модератором сайта, я не обладаю никакой внутренней информацией, поскольку не являюсь сотрудником OpenAI. Поэтому, если вы слышали о инструментах, которые встраивают информацию для идентификации контента ChatGPT, я не могу предоставить сведения об этом.
```
Ответ
К сведению,
Я хочу прояснить несколько важных моментов, касающихся изменений в ChatGPT с течением времени. Будучи модератором категории на форуме OpenAI Discourse, я внимательно слежу за обратной связью сообщества относительно развития ChatGPT (ссылка).
Изначально, после выпуска, ChatGPT демонстрировал стабильное улучшение своих возможностей в течение нескольких месяцев. Ответы становились более связными, лучше соответствовали заданным запросам и становились более лаконичными и краткими.
Однако последующее обновление привело к некоторым setbacks. Пользователи заметили, что ответы стали менее связными, меньше соответствовать запросам и увеличились в объёме. Это вызвало сравнения с предыдущей версией ChatGPT, которая, казалось, была шагом назад. В частности, те, кто использует ChatGPT для генерации кода, ощутили это влияние особенно остро, так как заметили увеличение количества синтаксических ошибок после изменений.
Важно понимать, что выявление контента, сгенерированного ChatGPT, стало «движущейся мишенью». Хотя ранее наблюдалось стабильное улучшение, сейчас это не всегда так. Как программист, я считаю эту информацию ценной, особенно при попытке отличить контент, созданный человеком, от сгенерированного ИИ.
Я должен подчеркнуть, что, несмотря на то что я являюсь модератором сайта, я не сотрудник OpenAI и не обладаю никакой внутренней информацией. Поэтому, если существуют инструменты или методы для идентификации контента ChatGPT, я не могу предоставить информацию по этому вопросу.
Спасибо за внимание, надеюсь, это прояснение поможет понять текущее состояние развития ChatGPT.
По состоянию на 20 июля 2023 года классификатор ИИ больше не доступен из-за низкой точности. Мы работаем над учётом обратной связи и в настоящее время исследуем более эффективные методы установления происхождения текста, а также взяли на себя обязательство разработать и внедрить механизмы, позволяющие пользователям определять, являются ли аудио- или визуальный контент созданными с помощью ИИ.
@EricGT Отличные замечания! Да, это действительно динамичная цель. Меня не беспокоит конкретно ChatGPT. Кошка уже выскочила из мешка, так сказать, и я думаю, что это лишь вопрос времени, прежде чем кто-то недобросовестный использует эту технологию в умышленно вредоносных целях.
Да, это (включая искусственное продвижение без URL), а также использование ссылок и рекламы, которые они могут добавить в свои профили — либо для прямой реакции, либо для SEO. В других случаях — для создания ферм аккаунтов для рассылки спама в личных сообщениях. Насколько мне известно, это основные случаи.
