Esplorando i Limiti dell'AI nel Riconoscere AI Generated Content

Funzionalità
,
1

Davvero? Nemmeno OpenAI afferma che questo possa essere fatto.

3 Mi Piace
2

Buona osservazione, quella era solo un’opzione ipotetica. Ci sono stati modelli migliori come GPT4-Turbo e Claude 3 da quel post del blog che potrebbero suggerire prestazioni migliori in teoria.

1 Mi Piace
3

Questo non è stato un attacco all’approccio generale qui.

Utilizzare un LLM per cercare caratteristiche nel testo che potrebbero suggerire che si tratti di spam è un obiettivo davvero eccezionale e accolgo con favore l’aggiunta con tutto il cuore.

Il mio unico problema era con l’affermazione che è possibile identificare automaticamente il testo generato dall’IA, il che è un problema molto difficile.

Nota la distinzione:

  1. L’identificazione dello spam generale con LLM = eccezionale e posso vedere come questo potrebbe essere trattabile e molto utile
  2. L’identificazione che lo spam è stato generato dall’IA - con o senza l’uso di un LLM questo è difficile. Non penso che i modelli attuali siano in grado di farlo bene specificamente e i positivi sono probabilmente solo allucinazioni.
3 Mi Piace
4

Ti capisco! Sì, è un problema molto più sfumato. Infatti, nei miei test originali ho cercato di impostarlo per entrambi, ma concentrarsi solo sullo spam probabilmente produce risultati migliori qui.

2 Mi Piace
5

Siamo quindi d’accordo.

Penso che ci siano alcuni segni rivelatori di IA, tuttavia, come la lunghezza dei post e l’uso eccessivo di un linguaggio eccezionalmente fiorito… quindi forse questi aspetti possono essere analizzati… la lunghezza dei post è probabilmente difficile per un LLM, anche se la “fioritura” potrebbe essere meno difficile. È possibile utilizzare funzioni deterministiche per segnalare la lunghezza dei post, ovviamente.

D’altra parte, se qualcuno ha utilizzato ChatGPT per perfezionare, ad esempio, il proprio inglese (come seconda lingua), segnalare il proprio post probabilmente non è utile per l’inclusione generale della Community.

Andando un passo avanti qui, le tecniche generali di machine learning potrebbero essere utili ma più complesse da implementare rispetto al semplice invio di testo a un LLM e all’ottenimento del risultato.

2 Mi Piace