# 오래된 주제 발견: 빨대로 호수를 마시기
**URL:** https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190
**Category:** Support
**Tags:** sitemap
**Created:** [6월 1, 2024, 9:51오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190 "2024-06-01T09:51:25Z")
**Posts on this page:** 16
**Page:** 1
### Author:  [@Isambard](https://meta.discourse.org/u/Isambard)
#### Post date: [6월 1, 2024, 9:51오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/1 "2024-06-01T09:51:25Z")
요약: 로그인하지 않은 상태에서도 크롤러가 모든 오래된 주제(최근 주제만 포함되는 것이 아닌)를 발견할 수 있도록 주제 하단에 무작위로 선택된 주제 목록을 추가하는 플러그인이나 설정이 있을까요?
이제 오래된 포럼을 현재 포럼에 통합하면서 ‘표면화’ 또는 '발견 가능성’이라는 흥미로운 문제에 직면했습니다.
카테고리 및 최신 뷰에서는 가장 최근 주제만 볼 수 있습니다. 마치 호수의 표면과도 같습니다. 뷰에는 제한된 수의 게시글만 포함되어 있고, 무한 스크롤은 '깊이’로 내려가는 것을 어렵게 만듭니다.
여러 개의 카테고리가 있으면 '빨대’가 넓어지지만, 예를 들어 50개의 카테고리가 있고 100개까지 내려가도 여전히 5,000개 주제에 불과합니다.
주제의 1~2%만 접근 가능하고, 나머지는 표면 아래에 숨겨져 있습니다.
sitemap.xml이 도움이 될 것이라 생각했지만, 기본 설정에서는 소수의 주제만 노출합니다.
대량의 콘텐츠가 사실상 크롤러에 차단되어 있습니다.
로그인하지 않은 상태에서도 크롤러가 모든 오래된 주제를 발견할 수 있도록 주제 하단에 무작위로 선택된 주제(최근 주제만 포함되는 것이 아닌)를 추가하는 플러그인이나 설정이 있는지 궁금합니다.
---
### Author:  [@Jagster](https://meta.discourse.org/u/Jagster)
#### Post date: [6월 1, 2024, 9:53오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/2 "2024-06-01T09:53:15Z")
크롤러는 사이트맵을 사용해야 합니다. 무작위로 스크래핑해서는 안 됩니다.
---
### Author:  [@ondrej](https://meta.discourse.org/u/ondrej)
#### Post date: [6월 1, 2024, 10:20오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/3 "2024-06-01T10:20:53Z")
기존 주제를 올려주는(bumping) 기능을 고려해 보셨나요? 플러그인 같은 것을 만들지 않고도 오래된 주제를 다시 표면으로 올리는 더 쉬운 방법일 수 있습니다.
카테고리 설정에서 이 설정들을 찾을 수 있습니다.
이 방식은 메타(meta)에서 잘 작동하며, 오래된 주제들을 다시 가져와 최신 정보로 '업데이트’하거나 닫을 수 있게 합니다. 콘텐츠 큐레이션을 위한 좋은 방법이기도 합니다. 2020년에 올라온 주제 중 하나를 올려준(bumped) 예를 아래에 공유합니다.
> [@소셜 로그인을 통한 신규 사용자만 허용하는 방법이 있나요?](https://meta.discourse.org/t/anyway-to-only-allow-new-user-from-social-login/148858):
>
> From the questions from Armin LI, Continuing the discussion from [How to prevent registration spam](https://meta.discourse.org/t/how-to-prevent-registration-spam/130418/6): In my case, I also have the registration spam problem. That is why I want to turn off public email sign up but let users only use Github to login.
---
### Author:  [@Jagster](https://meta.discourse.org/u/Jagster)
#### Post date: [6월 1, 2024, 10:41오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/4 "2024-06-01T10:41:56Z")
시스템 범핑이 얼마나 좋은지는 취향의 문제입니다. 혹은 봇을 위해, 인간을 위해 하는 것이 아닌지 여부도요.
여기서 범핑된 주제들은 정말 짜증나네요. 왜 그런지 모르겠지만, 오래된 주제들을 다시 보여줄 이유가 없는데도, 그것들을 닫아야 할 시급한 필요성이 있다는 이유로 오래된 주제들을 봐야 하는 것이 이해가 안 됩니다.
---
### Author:  [@RGJ](https://meta.discourse.org/u/RGJ)
#### Post date: [6월 1, 2024, 10:45오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/5 "2024-06-01T10:45:15Z")
> [@Isambard](#):
>
> sitemaps.xml이 도움이 될 줄 알았는데, 기본 설정에서는 소수의 주제만 노출됩니다.
잠깐.. 뭐라고요? 왜 그렇게 생각하신 거예요?
---
### Author:  [@Isambard](https://meta.discourse.org/u/Isambard)
#### Post date: [6월 1, 2024, 11:03오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/6 "2024-06-01T11:03:37Z")
생성된 사이트맵을 확인해 보니 sitemap\_1.xml에는 반 달치 정도의 게시물만 포함되어 있었습니다. sitemap\_recent.xml에는 그보다도 더 적었습니다.
---
### Author:  [@RGJ](https://meta.discourse.org/u/RGJ)
#### Post date: [6월 1, 2024, 11:06오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/7 "2024-06-01T11:06:40Z")
그리고 sitemap\_2.xml 같은 파일은 확인해 보셨나요?
> [@Isambard](#):
>
> sitemap\_recent.xml에는 그보다도 더 적습니다.
그래서 이름에 "recent(최근의)"라는 단어가 들어간 겁니다.
---
### Author:  [@Isambard](https://meta.discourse.org/u/Isambard)
#### Post date: [6월 1, 2024, 11:09오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/8 "2024-06-01T11:09:06Z")
> [@RGJ](#):
>
> sitemap\_2.xml 등 다른 파일도 확인해 보셨나요?
문제가 바로 거기에 있습니다. sitemap\_1.xml 외에 다른 사이트맵 페이지가 없으며, 해당 파일에는 설정에 지정된 최대 URL 수인 10,000개보다 적은 URL만 포함되어 있습니다.
> [@RGJ](#):
>
> 그래서 이름에 'recent(최근)'라는 단어가 들어간 것입니다.
알고 있습니다. 그 파일을 가리키는 줄 모르고 오해하는 사람이 있을까 봐 언급한 것입니다.
---
### Author:  [@Isambard](https://meta.discourse.org/u/Isambard)
#### Post date: [6월 1, 2024, 11:10오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/9 "2024-06-01T11:10:14Z")
어떻게든 사이트맵 생성을 다시 트리거할 수 있는지 알아볼게요.
---
### Author:  [@RGJ](https://meta.discourse.org/u/RGJ)
#### Post date: [6월 1, 2024, 11:10오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/10 "2024-06-01T11:10:21Z")
> [@Isambard](#):
>
> 문제는 sitemap\_1.xml 외에 다른 사이트맵 페이지가 없고, 그 페이지에는 설정에 지정된 최대 10,000개 URL보다 적은 수의 URL만 포함되어 있다는 것입니다.
그리고 누락된 모든 토픽이 공개 상태인가요? 해당 포럼을 게시하거나 사적으로 알려주실 수 있으신가요?
---
### Author:  [@Isambard](https://meta.discourse.org/u/Isambard)
#### Post date: [6월 1, 2024, 11:30오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/11 "2024-06-01T11:30:52Z")
대부분의 주제는 공개되어 있습니다.
sitemap\_1에는 최대 10,000개의 URL이 포함되어 있는 것을 확인했습니다(약 1시간 전에 생성됨). 다른 사이트맵 페이지는 없습니다. 다른 페이지들이 나타나는지 확인하기 위해 다음 예약 생성이 실행될 때까지 15분 정도 기다려 보겠습니다.
Sidekiq에서 재생성 작업이 실행된 것을 확인했지만, 왜 다른 페이지가 아닌 sitemap\_1.xml만 생성되는지는 알 수 없습니다.
`Jobs::RegenerateSitemaps 48분 전 OK 257ms 11분 후 default`
11분 후 예약된 재생성 작업으로 문제가 해결되지 않으면 포럼 링크를 개인 메시지로 보내 드리겠습니다. 또한 URL 수를 50,000개로 늘렸기 때문에, 추가 페이지가 생성되지 않더라도 해당 단일 페이지에는 최소한 5배 많은 URL이 포함되도록 했습니다.
수정: 업데이트를 공유합니다. 작업이 실행되어 50,000개의 더 큰 사이트맵이 생성되었지만, 역시 페이지는 하나뿐이었습니다.
수정2: 잠시 안정화 시간을 준 후, 최근 작업에서 추가 사이트맵 페이지가 생성되었음을 기쁜 마음으로 보고합니다. 이전 작업에서는 왜 생성되지 않았는지는 확실하지 않습니다.
---
### Author:  [@Isambard](https://meta.discourse.org/u/Isambard)
#### Post date: [6월 1, 2024, 6:50오후 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/14 "2024-06-01T18:50:43Z")
네, 하지만 범프(bumping)는 구조가 없으며, 또다시 가느다란 짚에 불과합니다. 하루에 50개 카테고리에서 100개의 게시물을 범프한다고 해도(이는 최근 콘텐츠를 모두 밀어내므로 포럼을 쓸모없게 만들기도 합니다) 여전히 같은 2%의 주제만 얻게 됩니다.
각 스레드 하단의 '추천 주제’와 유사한 기능을 구현해 보되, 탐색(exploration)에 가중치를 두는 다른 알고리즘을 사용해 볼 수 있을 것 같습니다.
---
### Author:  [@Jagster](https://meta.discourse.org/u/Jagster)
#### Post date: [6월 1, 2024, 7:11오후 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/15 "2024-06-01T19:11:21Z")
한 가지를 간과하고 있습니다. 배핑(Bumping)은 **다음 조건이 충족될 때만** 도움이 됩니다.
- 해당 시점에 유용한 봇이 스크래핑을 하고 있는 경우
- 유용한 봇이 이러한 링크를 따라오는 경우
대부분의 경우 이런 일은 일어나지 않습니다. 얻을 수 있는 것은 단지 짜증스러운 사용자들뿐입니다 — 물론 배핑이 JS가 없는 버전에서만 이루어지는 경우를 제외하고는요.
하지만 한 가지 질문이 있습니다. 사이트맵이 손상될 수 있다는 이유만으로 이 모든 것을 원하시나요, 아니면 사이트맵을 신뢰하지 못하시나요?
---
### Author:  [@piffy](https://meta.discourse.org/u/piffy)
#### Post date: [6월 1, 2024, 7:46오후 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/16 "2024-06-01T19:46:42Z")
AI 관련 주제에서 발견한 것들이 구식 주제들을 발견하는 가장 좋은 방법입니다
---
### Author:  [@Isambard](https://meta.discourse.org/u/Isambard)
#### Post date: [6월 1, 2024, 8:36오후 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/17 "2024-06-01T20:36:24Z")
사이트맵이 크롤러 문제를 해결한다고 생각합니다. 이 스레드에서 탐색성과 발견성을 높이는 방법에 대해 논의하기 위해 다른 주제를 시작했습니다: [Easy ways to navigate and browse large categories? - #2 by Jagster](https://meta.discourse.org/t/easy-ways-to-navigate-and-browse-large-categories/310207/2)
검색 가능성과는 어느 정도 겹치는 부분이 있지만, 약간은 다릅니다.
---
### Author:  [@Isambard](https://meta.discourse.org/u/Isambard)
#### Post date: [6월 2, 2024, 7:09오전 UTC](https://meta.discourse.org/t/discovering-older-topics-drinking-a-lake-through-a-straw/310190/18 "2024-06-02T07:09:14Z")
고정 사이트맵의 도입 효과는 즉각적이었습니다:
수정: AI 캡셔닝 기능이 놀라울 정도로 좋다는 점만 말씀드리고 싶습니다. 차트를 이렇게 잘 해석할 줄은 몰랐습니다!