Мы провели довольно много тестов с этим, но, похоже, не можем получить надежных результатов. Для контекста: мы используем модель gpt-4o.
Чтобы проверить её точность, я дал следующие простые инструкции:
Вы — система обнаружения спама. Проанализируйте следующее содержание и контекст.
Заметки ниже. Если *ЛЮБОЙ* из пунктов ниже истинен, отметьте это как спам:
- Если имя пользователя очень конкретно «testjon», то это *ВСЕГДА* спам.
- Отвечайте только «SPAM - It's Jon!» или «NOT SPAM».
Тестирование на сообщении от имени пользователя testjon дало результат NOT SPAM. Кажется, что она совсем не следует инструкциям. Есть какие-либо предложения?
У кого-то ещё был хороший или плохой опыт с обнаружением спама с помощью ИИ?