이것이 버그인지 100% 확신하지는 못합니다. 하지만 감시 단어(watched words)가 이상하게 인코딩된 게시물과 매칭되지 않습니다. 또는 제가 매칭되도록 정규 표현식을 작성하지 못하고 있는 것일 수도 있습니다.
최근 스팸 공격을 많이 받고 있습니다. 처음에는 감시 단어가 도움이 되었지만, 지금은 이상한 인코딩으로 게시물을 올리고 있습니다. 스팸은 다음과 같은 모습입니다:
"helpline"이라는 단어를 필터링하고 있었는데, 여기 붙여넣은 것입니다:
𝐇𝐞𝐥𝐩𝐥𝐢𝐧𝐞
하지만 그들이 게시하는 내용을 ASCII로 보면 아래 표와 같습니다. 어떤 종류의 이상한 인코딩인 것 같습니다. MIME일까요?
“스팸 방지 팁” 관련 스레드를 확인하며 보안 조치를 더 강화하고 있습니다. 하지만 이런 유형의 게시물은 처리하기가 까다롭습니다.
이것은 인코딩 문제가 아닙니다… 여러분이 찾는 용어는 Confusable 유니코드 문자입니다.
단순히 글자 C만으로도 다음과 같은 경우가 생깁니다:
ℂ 𝕮 C 𝙲 𝑪 𝒞 𝖢 𐌂 𝗖 ꓚ Ꮯ 𐔜 С Ｃ Ⲥ 𝓒 Ⅽ ℭ 𝘊 𐐕 𝘾 🝌 𝐂 𑣲 𑣩 Ϲ 𐊢 𝐶
이것은 기능 요청으로 제시하는 것이 가장 적절할 것입니다. 예를 들어 “Watched Words 적용 전 혼동 가능한 유니코드 문자 치환” 옵션과 같은 것입니다.
참고로, 혼동 가능한 문자 집합은 공개 데이터이며 컨소시엄에서 게시합니다. 예:
# C Ⅽ Ｃ ௐ С Ꮯ Ⲥ ꓚ Ϲ ℂ ℭ 𝐂 𝐶 𝑪 𝒞 𝓒 𝕮 𝖢 𝗖 𝘊 𝘾 𝙲
( C ) 0043 LATIN CAPITAL LETTER C
← ( Ⅽ ) 216D ROMAN NUMERAL ONE HUNDRED
← ( Ｃ ) FF23 FULLWIDTH LATIN CAPITAL LETTER C # →С→
← ( ௐ ) 0BD0 TAMIL OM # →С→
← ( С ) 0421 CYRILLIC CAPITAL LETTER ES
← ( Ꮯ ) 13DF CHEROKEE LETTER TLI
← ( Ⲥ ) 2CA4 COPTIC CAPITAL LETTER SIMA # →Ϲ→
← ( ꓚ ) A4DA LISU LETTER CA
← ( Ϲ ) 03F9 GREEK CAPITAL LUNATE SIGMA SYMBOL
← ( ℂ ) 2102 DOUBLE-STRUCK CAPITAL C
← ( ℭ ) 212D BLACK-LETTER CAPITAL C
← ( 𝐂 ) 1D402 MATHEMATICAL BOLD CAPITAL C
← ( 𝐶 ) 1D436 MATHEMATICAL ITALIC CAPITAL C
← ( 𝑪 ) 1D46A MATHEMATICAL BOLD ITALIC CAPITAL C
← ( 𝒞 ) 1D49E MATHEMATICAL SCRIPT CAPITAL C
← ( 𝓒 ) 1D4D2 MATHEMATICAL BOLD SCRIPT CAPITAL C
← ( 𝕮 ) 1D56E MATHEMATICAL BOLD FRAKTUR CAPITAL C
← ( 𝖢 ) 1D5A2 MATHEMATICAL SANS-SERIF CAPITAL C
← ( 𝗖 ) 1D5D6 MATHEMATICAL SANS-SERIF BOLD CAPITAL C
← ( 𝘊 ) 1D60A MATHEMATICAL SANS-SERIF ITALIC CAPITAL C
← ( 𝘾 ) 1D63E MATHEMATICAL SANS-SERIF BOLD ITALIC CAPITAL C
← ( 𝙲 ) 1D672 MATHEMATICAL MONOSPACE CAPITAL C
(하하, 크로미움이 이 단순화를 구현하고 있다는 것을 방금 발견했습니다. 𝑪를 검색하려고 할 때 글자 C의 대부분의 혼동 가능한 인스턴스를 찾았습니다 - 여기서 시도해 보세요!)
이 데이터를 사용하는 알고리즘의 예는 파이썬으로 여기에 구현되어 있습니다.
@billgraziano 님의 마지막 스크린샷에서 게시하신 첫 번째 앰퍼샌드 인코딩된 숫자 문자 참조 ( 𝐇 ) 은 다음과 같습니다:
← ( 𝐇 ) 1D407 MATHEMATICAL BOLD CAPITAL H
(𝐇의 서수(ordinal)는 10진수로 119815, 16진수로 1D407로 인코딩됩니다)
따라서 사용할 수 있는 "helpline"에 대한 완전한 대소문자 구분 없는 정규 표현식은 다음과 같습니다:
[HＨℋℌℍ𝐇𝐻𝑯𝓗𝕳𝖧𝗛𝘏𝙃𝙷Η𝚮𝛨𝜢𝝜𝞖ⲎНᎻᕼꓧ𐋏ⱧҢĦӉӇhｈℎ𝐡𝒉𝒽𝓱𝔥𝕙𝖍𝗁𝗵𝘩𝙝𝚑һհᏂɦꚕᏲħℏћ][E⋿Ｅℰ𝐄𝐸𝑬𝓔𝔈𝔼𝕰𝖤𝗘𝘌𝙀𝙴Ε𝚬𝛦𝜠𝝚𝞔ЕⴹᎬꓰ𑢦𑢮𐊆Ɇe℮ｅℯⅇ𝐞𝑒𝒆𝓮𝔢𝕖𝖊𝖾𝗲𝘦𝙚𝚎ꬲеҽɇҿ][L𝈪Ⅼℒ𝐋𝐿𝑳𝓛𝔏𝕃𝕷𝖫𝗟𝘓𝙇𝙻ⳐᏞᒪꓡ𖼖𑢣𑢲𐐛𐔦ŁLjLJl\|∣⏽￨1۱𐌠𝟏𝟙𝟣𝟭𝟷IＩⅠℐℑ𝐈𝐼𝑰𝓘𝕀𝕴𝖨𝗜𝘐𝙄𝙸Ɩｌⅼℓ𝐥𝑙𝒍𝓁𝓵𝔩𝕝𝖑𝗅𝗹𝘭𝙡𝚕ǀΙ𝚰𝛪𝜤𝝞𝞘ⲒІӀⵏᛁꓲ𖼨𐊊𐌉łɭƗƚɫŀĿᒷ🄂⒈⒓㏫㋋㍤⒔㏬㍥⒕㏭㍦⒖㏮㍧⒗㏯㍨⒘㏰㍩⒙㏱㍪⒚㏲㍫ljIJ‖∥Ⅱǁ𐆙⒒Ⅲ𐆘㏪㋊㍣Ю⒑㏩㋉㍢ʪ₶ⅣⅨɮʫ㏠㋀㍙][PＰℙ𝐏𝑃𝑷𝒫𝓟𝔓𝕻𝖯𝗣𝘗𝙋𝙿Ρ𝚸𝛲𝜬𝝦𝞠ⲢРᏢᑭꓑ𐊕ᒆp⍴ｐ𝐩𝑝𝒑𝓅𝓹𝔭𝕡𝖕𝗉𝗽𝘱𝙥𝚙ρϱ𝛒𝛠𝜌𝜚𝝆𝝔𝞀𝞎𝞺𝟈ⲣрƥᵽᑷ][L𝈪Ⅼℒ𝐋𝐿𝑳𝓛𝔏𝕃𝕷𝖫𝗟𝘓𝙇𝙻ⳐᏞᒪꓡ𖼖𑢣𑢲𐐛𐔦ŁLjLJl\|∣⏽￨1۱𐌠𝟏𝟙𝟣𝟭𝟷IＩⅠℐℑ𝐈𝐼𝑰𝓘𝕀𝕴𝖨𝗜𝘐𝙄𝙸Ɩｌⅼℓ𝐥𝑙𝒍𝓁𝓵𝔩𝕝𝖑𝗅𝗹𝘭𝙡𝚕ǀΙ𝚰𝛪𝜤𝝞𝞘ⲒІӀⵏᛁꓲ𖼨𐊊𐌉łɭƗƚɫŀĿᒷ🄂⒈⒓㏫㋋㍤⒔㏬㍥⒕㏭㍦⒖㏮㍧⒗㏯㍨⒘㏰㍩⒙㏱㍪⒚㏲㍫ljIJ‖∥Ⅱǁ𐆙⒒Ⅲ𐆘㏪㋊㍣Ю⒑㏩㋉㍢ʪ₶ⅣⅨɮʫ㏠㋀㍙][Ii˛⍳ｉⅰℹⅈ𝐢𝑖𝒊𝒾𝓲𝔦𝕚𝖎𝗂𝗶𝘪𝙞𝚒ı𝚤ɪɩιιͺ𝛊𝜄𝜾𝝸𝞲іꙇӏꭵᎥ𑣃⍸ɨᵻᵼⅱⅲijⅳⅸ][NＮℕ𝐍𝑁𝑵𝒩𝓝𝔑𝕹𝖭𝗡𝘕𝙉𝙽Ν𝚴𝛮𝜨𝝢𝞜Ⲛꓠ𐔓𐆎ƝNjNJ№n𝐧𝑛𝒏𝓃𝓷𝔫𝕟𝖓𝗇𝗻𝘯𝙣𝚗ոռɳƞη𝛈𝜂𝜼𝝶𝞰ᵰnj][E⋿Ｅℰ𝐄𝐸𝑬𝓔𝔈𝔼𝕰𝖤𝗘𝘌𝙀𝙴Ε𝚬𝛦𝜠𝝚𝞔ЕⴹᎬꓰ𑢦𑢮𐊆Ɇe℮ｅℯⅇ𝐞𝑒𝒆𝓮𝔢𝕖𝖊𝖾𝗲𝘦𝙚𝚎ꬲеҽɇҿ]
@supermathie 정말 많이 도와주셨어요! 그게 맞았네요.
감시 단어(Watched Words)에 정규식을 활성화하고, 이것저것 조리를 해봤으니 이제 어떻게 될지 지켜봐야겠습니다. 스팸 차단 관련 다른 팁들도 적용해 보고 있어요.
수년 동안 스팸이 거의 없었는데, 누군가 제 깔끔한 포럼을 찾아낸 것 같네요 