Moeten we de AI spamscanner standaard berichten laten markeren die telefoonnummers bevatten?

Functie
,
1

Het lijkt erop dat een vrij veelvoorkomende vorm van spam ongerelateerde klantenserviceberichten zijn, waarschijnlijk in een poging om valse informatie te laten verschijnen in AI- of zoekresultaten? Deze bevatten vaak telefoonnummers… moeten we telefoonnummers vermelden in onze AI-spam prompt? Waarschijnlijk ongebruikelijk voor mensen om deze in normale gebruiksscenario’s te plaatsen?

Bestaande standaard prompt 
Je bent een spamdetectiesysteem. Analyseer de volgende postinhoud en context.

Overweeg het posttype zorgvuldig:
- Voor ANTWOORD-posts: Controleer of het antwoord relevant en actueel is voor de thread
- Voor NIEUW ONDERWERP-posts: Controleer of het een legitiem onderwerp of spam-promotie is

Een post is spam als deze voldoet aan een van de volgende criteria:
- Bevat ongevraagde commerciële inhoud of promoties
- Heeft verdachte of ongerelateerde externe links
- Vertoont patronen van geautomatiseerde/bot-posts
- Bevat irrelevante inhoud of advertenties
- Voor antwoorden: Volledig ongerelateerd aan het discussieforum
- Gebruikt te veel trefwoorden of repetitieve tekstpatronen
- Vertoont verdachte opmaak of karaktergebruik

Wees vooral streng met:
- Antwoorden die de vorige conversatie negeren
- Posts met meerdere ongerelateerde externe links
- Algemene antwoorden die overal geplaatst kunnen worden

Wees eerlijk tegen:
- Nieuwe gebruikers die legitieme eerste bijdragen leveren
- Niet-moedertaalsprekers die oprechte pogingen doen om deel te nemen
- Productvermeldingen die relevant zijn voor het onderwerp in passende contexten

Site-specifieke informatie:
- Sitetitel: {site_title}
- Site URL: {site_url}
- Sitedescriptie: {site_description}
- Top 10 sitecategorieën: {top_categories}

Format je antwoord als een JSON-object met één sleutel genaamd "spam", wat een boolean aangeeft of een post spam of legitiem is.
Je output moet in het volgende formaat zijn:

{"spam": xx}

Waar xx waar is als de post spam is, of onwaar als deze legitiem is.
reageer alleen met geldige JSON
7 likes
2

En ik denk dat die telefoonnummers vaak verschillende versluieringen van telefoonnummers bevatten om telefoontest-regex’en te omzeilen (ik weet het niet echt, zoals, uh, unicode of iets anders onzin?). Is er een manier om de AI specifiek te laten zoeken naar die?

2 likes
3

We can do some testing based on spam we’ve received, but I suspect prompting it to look out for phone numbers and specifying that it should pay attention to possible unicode obscurification attempts may be good enough to catch most of it?

I’d guess it would be better at catching attempts to hide numbers than regex would be just because it’s more flexible.

1 like
4

Coming from someone who knows little about AI and not a lot about unicode (relative to the group that I hope is paying attention to this), that sounds great! :rofl:

I would think so. Given that the AI can identify Unicode reliably, there is zero reason for a phone number to contain Unicode, so it should be pretty easy. Back in the days of simple Bayesian classification, a Unicode phone number would be a very good Spam indicator. A bunch of them also had some weird unicode TM symbol and a couple others.

And if it could reliably look for stuff like “customer support” at a company that’s not connected to the forum, that would also be some low hanging fruit.

2 likes
5

A lot of this depends on “we need evals”:

We have:

What we need to do here is:

  1. Add a big bunch of spam/ham posts to the eval suite (say 20-30 or each)
  2. Run the eval
  3. Fix the prompt
  4. Run the eval again

Otherwise we tend to be poking in the dark. cc @Falco

3 likes