사용자들이 비례하지 않을 정도로 많은 치어를 잃고 있습니다

안녕하세요!

채팅으로 메시지를 보냈는데, 확인하셨는지 잘 모르겠습니다.

Originally sent in @Falco
hiddenseal

사용자 중 일부가 시간이 지나면 Cheer 점수가 10~20점 정도 낮아지는 것을 발견했습니다.

누군가 좋아요를 취소하거나 해결책을 승인하면 점수가 내려갈 수 있겠지만, 보통 rake를 실행하면 숫자가 올라가거든요.

이것이 버그처럼 보인다면, 문제를 파악하는 데 도움이 될 수 있는 방법을 알려주세요.

2개의 좋아요

과거에 제가 취했던 방법은 각 점수화 대상에서 SQL을 추출한 후, Data Explorer를 통해 이를 수동으로 실행하여 예상 결과와 비교하고 차이의 원인을 격리하는 것이었습니다.

3개의 좋아요

PM을 확인도 없이 공개로 만들어 버린 것 같아서 좀 불편한 기분이 들긴 하지만, 어쨌든 그게 핵심은 아닙니다.

특정 사용자를 하나 골랐습니다.

Scorable 데이터 쿼리 값 프로필 정보
day_visited 259 259
like_given 261 253
like_received 219 219
post_created 374 141
post_read 31 10.6k
solutions 180 21
time_read 5 3d
topic_created 230 41

표준 배수를 사용하고 있습니다. 세 번째 열은 참고용으로 제공되었습니다. 두 번째 열의 합계는 1559입니다. 사용자 프로필의 “Cheers” 점수는 1458입니다.

UPD: 추가 정보: 모든 카테고리가 점수 산정에 포함되므로, “time_read” 점수(또는 posts_read)가 왜 이렇게 낮은지 설명하기가 정말 어렵습니다. 하지만 세 번째 열의 데이터 없이도 초기 우려 사항이 드러납니다. 데이터 쿼리의 합계가 리더보드/프로필에 표시된 값보다 높으며, 이는 rake 명령 실행 후 숫자가 증가하는 이유를 설명합니다.

3개의 좋아요

포럼에서 한 사용자가 제가 직접 그 사용자의 포인트를 깎았다고 주장했습니다. 말할 필요도 없이, 저도 관련 문제를 확인하고 있습니다.

원인으로 생각할 수 있는 유일한 것은 각 채점 대상 항목에 부여되는 포인트를 변경한 것입니다(대체로 더 높게 변경했음). 그리고 이 변경은 아마도 2주 전에 이루어졌습니다.

이것이 버그인지 확인하기 위해 이 주제를 계속 지켜볼 예정입니다. 저도 조사를 진행할 예정이며, 업데이트 사항이 있으면 여기에 공유하겠습니다.

2개의 좋아요

@falco 에게도 비슷한 일을 했다는 식으로 말한 적이 있습니다. :slightly_smiling_face:

그저 내 포인트가 자주 줄어드는 걸 알아차릴 뿐, 그걸 추적하는 건 내 머리로는 너무 복잡해서 감이 안 잡혀요. 아마 자동 타이머 주제에서 삭제된 게시글 때문일 수도 있지만, 그래도 제 이야기를 좀 덧붙여 볼게요. :slight_smile:

(만약 뭔가 이상하다면) 이건 관련이 있을 수도 있겠다는 생각이 들었어요:

5개의 좋아요

문제는 점수가 정당한 이유로(일부 게시물이 삭제되거나 좋아요가 제거되는 경우) 하락했다면, 아래 명령어를 실행한 후 점수가 다시 오르는 것을 확인해서는 안 된다는 점입니다.

rake gamification_scores:backfill_scores_from[2000-01-01]

하지만 제 경우에는 이 명령어를 실행한 후 점수가 증가하는 것을 확인했습니다.

1개의 좋아요

리더보드의 포크된 버전을 실행 중입니다. 이 버전에서는 개인별 순위와 특정 그룹 집합에 대한 합산 점수를 함께 표시합니다. 앞서 언급했듯이 8월 전체 기간으로 설정해 두었는데, 일부 멤버들이 점수가 사라진다고 불만을 제기했습니다.

rake 명령을 실행한 결과 저의 점수도 복원되었기 때문에, 게이미피케이션 코드에 버그가 있을 가능성이 있음을 시사합니다. 근본 원인은 아직 찾지 못했지만(죄송합니다!) 백필링으로 인해 문제가 해결되었다는 점을 이곳에서 업데이트하고 싶었습니다.

4개의 좋아요

아마도 비교적 최근 여기에서 백필(backfill) 작업이 이루어진 것 같은데, 원래보다 훨씬 더 과거까지 범위를 확장한 것 같습니다. 그래서 갑자기 어디서 왔는지 모르게 4,000개의 치어(cheer)를 얻게 되었죠. 저는 메타(Meta)에 가입한 지 겨우 1년 조금 넘었기 때문에, 제 모든 데이터가 원래 설정된 기간 내에 포함되어 있을 거라고 생각했습니다. 그래서 이 상황이 좀 이상하게 느껴졌거든요. 다만, 그 전에는 매주 몇백 개씩 치어가 줄어들고 있기는 했습니다.

2개의 좋아요

저의 사용자들에게도 흔한 주제입니다. 점수는 서서히 감소하다가, rake가 발생하면 약 300~400만큼 급격히 오르는 경향이 있습니다.

1개의 좋아요

제 사이트의 특정 사용자가 계속해서 포인트를 잃고 있는데, 원인이 전혀 모르겠습니다. 며칠 전에는 200포인트를 잃었다고 하며 캐시된 스크린샷을 보여주었는데, 사실이었습니다. 스크린샷에 있던 다른 약 10명의 사용자 중 누구도 불일치하는 점이 없었거든요. 그런데 오늘도 다시 200포인트가 줄었고, 역시 다른 사용자들은 아무 변화가 없었습니다.

어떤 포인트 값도 조정된 적이 없는데(이건 다른 사용자에게도 영향을 줄 거라고 생각하는데), 삭제되거나 추적되지 않는 카테고리로 이동된 토픽이나 게시글도 없습니다. 삭제된 사용자도 없구요.

이 특정 사용자가 다른 사람들과 달리 매일 수백 개의 게시글에 '감사(Thank)'를 누르는 것(아마 포인트를 노린 스팸인 것 같지만, 저는 그건 신경 쓰지 않습니다)이 유일한 차이점입니다. 이게 어떻게 포인트 감소로 이어질 수 있을지 상상조차 되질 않는데, 뭔가 원인이 있는 것 같습니다… 아이디어가 있으신 분 계신가요? 또한 관리자가 개별 사용자의 포인트를 임의로 변경할 수 있는 기능이 계획되어 있나요? 그런 기능이 있으면 이 문제도 해결될 텐데 말이죠.

다른 사용자들도 영향을 받았는지 확신할 수는 없습니다. 저나 대부분의 사람들이 그걸 그렇게까지 신경 쓰지 않으니까요. 하지만 이 사용자는 상위 20위 안에 들며, 스크린샷을 통해 직접 비교할 수 있는 주변 다른 사용자들은 분명히 영향을 받지 않았습니다. 이 사용자는 이 문제로 매우 속상해하고 있고, 계속 주시하고 있는 상태입니다.

수정: 참고로 처음 설치했을 때(플러그인이 사용 가능해진 직후) rake 명령어를 실행한 적이 있습니다. 방금 다시 실행해 보니 모든 사용자의 포인트가 올랐는데, 증가량이 완전히 불규칙했습니다. 제 포인트는 10k 올랐고, 그 사용자는 1000, 2위는 2k, 6위는 50 올랐습니다. (50k가 아니라 50입니다.) 모든 사용자의 포인트가 무언가 올랐습니다(대략 상위 200위까지, 그 아래 2~300포인트를 가진 사용자들은 포인트가 전혀 변하지 않았습니다). 하지만 증가량이 매우 불규칙합니다. 다만 포인트가 돌아왔다는 사실은 뭔가 삭제/제거된 것과 관련이 없음을 의미합니다. 또한 포인트 계산 방식을 조정하면 rake를 실행하지 않아도 합계가 자동으로 조정된다면, 변경 시점에 사용자가 포인트가 오를/내려야 하는데, 수개월 후에 그런 일은 일어나지 않습니다(수개월 동안 아무것도 변경하지 않았거든요). 만약 그 시점 이후에 획득한 포인트만 변경된 거라면, 다시 말하지만 포인트가 줄어드는 일은 없어야 합니다. rake가 하는 일이 포인트를 재조정하는 것뿐이라면, 이건 어딘가에 버그가 있는 수밖에 없습니다. 삭제된 토픽으로 인해 잃은 포인트를 다시 가져오지는 않겠죠(저는 삭제된 토픽이 없지만, 이론적으로는).)

4개의 좋아요

@Falco 이 문제는 여전히 남아 있고, 버그를 찾는 데 도움을 줄 수 있는 방법이 있는지 궁금합니다.

1개의 좋아요

앞서 언급했듯이 문제를 특정 scorable로 한정하는 것이 도움이 될 것입니다. 그렇게 하면 문제가 어디서 발생하는지 훨씬 더 쉽게 파악할 수 있습니다.

1개의 좋아요

점수 하락 패턴은 보이지 않지만, 이는 X 카테고리에서 상당한 양의 점수에 영향을 주거나, 어떻게든 전반적인 점수 감소(drain)를 일으키는 요인일 수밖에 없습니다. 제가 언급했듯이, 재계산(rerake)을 수행했을 때 10k 포인트를 획득했고, 2k 포인트 상승한 2위(총 점수의 3배에 달하는)를 제치고 1위가 되었습니다. 그리고 제가 지켜보던 한 사용자는 3~4일 동안 대략 200 포인트씩 두 번 하락했습니다.

따라서 10k 포인트 하락은 초대 포인트 제거에서 비롯될 수 없습니다(저는 한 달에 약 5명 정도 초대하고, 사용자는 삭제되지 않고 익명화됩니다), 플래그에서도 비롯될 수 없습니다(저는 플래그를 단 적 없습니다), 해결책(solutions)에서도 비롯될 수 없습니다. 방문 일수도 아닙니다. 제 사이트는 2년 조금 넘었고, 하루에 2 포인트씩 주어지는데, 이는 10k와 비교할 때 턱없이 부족합니다. 남은 가능성은 좋아요 주고받기, 게시물/토픽, 읽은 게시물/읽은 시간입니다. 저는 이 모든 카테고리에서 높은 점수를 가지고 있습니다. 읽은 시간은 감소하지 않아야 합니다. 사이트에서 계정 활성 시간이 제거되는 기능이 있을 것이라고는 상상할 수 없기 때문입니다.

수정: 사실 제 모든 카테고리 통계에 기반하여 계산을 해 보았는데, 실제로는 총 점수(또는 재계산 전 점수)에 전혀 근접하지 않았습니다. 제가 심각한 실수를 한 것이 아니라면요. 이 불일치가 무엇을 의미하는지는 모르겠지만, 이는 점수가 정당한 수준을 훨씬 초과하고 있기 때문에 사이트가 점수를 적정 수준으로 조금씩 낮추며 재계산하고 있다는 점을 설명할 수 있을 것입니다… 즉, 아무도 “잃는” 것이 아니라, 그저 수정되는 것입니다…

받은 좋아요: 23.6k x 2 = 47.2k
준한 좋아요: 11k x 1 = 11k (총 57.2k)
해결책 점수: 50 x 5 = 250 (총 57.45k)
초대된 사용자: 223명 사용 x 10 = 2,230 (총 59.68k)
읽은 시간: 29일 x 24시간 = 696시간 x 시간당 2 = 1,392 (총 61,072)
읽은 게시물: 56,700 / 100 = 567 x 2 = 1,134 (총 62,206)
생성한 토픽: 12.1k x 5 = 60,500 (총 122,706)
생성한 게시물: 15.5k x 2 = 30,800 (총 153,506)
생성한 플래그: 어디서 확인할 수 있는지 모르지만, 솔직히 0~2개(즉, 0~20 포인트, 무시할 수 있는 수준)라고 생각합니다.
방문 일수: 878 x 2 = 1,756 (총 155,262)

전체 포인트에 명시된 실제 총점: 186,110

아마도 다른 사이트에서 이 문제를 인지한 사용자들도, 보고된 점수와 실제로 가져야 할 점수 사이에 상당한(또는 1~500 포인트 차이는 눈에 띄지 않을 정도로) 차이가 있는 계정으로 동일한 계산을 해 볼 수 있을 것입니다. 만약 모든 사람이 수학적 계산 결과보다 더 많은 포인트를 보고하고 있다면, 이는 더 이상 점수를 “잃는” 것이 아니라 수학적 계산에 따라 수정되는 것이므로 문제를 좁혀 데울 것입니다. 문제는 단지 동기화가 어떻게 어긋나 있는가 하는 것입니다.

3개의 좋아요

여러분 안녕하세요.

저희 포럼에서 Discourse Gamification 플러그인을 사용 중인데, 이유 없이 리더보드에서 점수가 사라지는 현상을 발견했습니다. 예를 들어, 지난주에 448점이었던 사용자의 점수가 이번 주에는 총 392점으로 줄었습니다.

이러한 현상의 원인이 무엇일 수 있을까요?

안녕하세요, @charles_mabwa1 :slightly_smiling_face:

유사한 보고서를 한데 모으기 위해 게시물을 이 주제로 옮겼습니다. :+1:

2개의 좋아요

여전히 같은 문제가 발생하고 있음을 확인했습니다. 같은 사용자가 11월 15일 처음 200점을 잃은 것을 발견한 이후 현재까지 최소 400점 이상을 잃었다고 지적했습니다. 다른 사용자들도 마찬가지입니다.

수정: 실제로는 그보다 훨씬 많았습니다. 제가 rake 작업을 실행하기(지금까지 네 번째로) 5분 전 리더보드는 12,134점으로 보고되었는데, 그는 13,996점으로 뛰었습니다. 따라서 그는 지난 며칠 사이에 400점 정도를 잃었을 가능성이 높지만, 몇 달에 걸쳐서는 그보다 훨씬 더 많은 점을 잃었습니다.

저도 약 13,000점을 잃었습니다. 계산이 포함된 제 이전 게시글을 참고해 주세요: Users losing disproportionate amount of cheers - #14 by Kartoon 12월 5일 기준 저는 186,110점이었는데, 지금은 199,663점입니다…

즉, 몇백 점 이상을 가진 모든 사용자(또는 아마도 적극적으로 포인트를 얻고 있는 모든 사용자일 수 있으며, 정확히는 모르겠습니다)는 여전히 자신이 가진 포인트 수에 비례하여 포인트를 잃고 있습니다(예: 가진 포인트가 많을수록 더 많이 잃지만, 모두 비례적으로 감소하기 때문에 리더보드 순위는 동일하게 유지될 수 있음).

제가 이전에 어떻게든 30,000점이나 더 많이 가진 것이 증명되었던 그 계산들을 다시 해본다면, 이 수치는 제가 실제로 가질 의무가 있는 포인트 수보다 여전히 더 높을 가능성이 큽니다…

안녕하세요,

제가 틀린 것 같지만, rake 작업을 실행하면 사용자 활동에 따라 예상 점수가 추가되고, x일 후 실제 점수로 반영된다고 생각했어요. :thinking: 그래서 어떤 사용자는 체리를 잃고, 다른 사용자는 얻는 것 같아요. 즉, 사용자의 활동에 따라 결과가 달라진다고 생각합니다. 하지만 다시 한번 말하지만, 이건 그냥 제 추측일 뿐이고, 아마 제가 틀린 것 같습니다. :slightly_smiling_face:

1개의 좋아요

모두에게 좋은 소식입니다 @here :tada:

점수 손실의 원인을 찾은 것 같고, 플러그인의 최신 버전에서 이제 수정되었습니다!

손실된 점수를 복구하려면 점수 백필을 한 번 실행해야 한다는 점에 유의하세요!

11개의 좋아요

이전 | 이후

7개의 좋아요