안녕하세요,
여기 새로 온 사람이라, 같은 이야기를 반복하고 있다면 죄송합니다.
@sam 님이 말씀하신 대로 깊은 구렁이가 있다는 데 동의하지만, 한편으로 토픽 모델링 기술은 이미 꽤 성숙했고, 좋은 오프더셸(Off-the-shelf) 도구들도 많이 존재합니다. 최근 진행한 프로젝트에서 약 500만 건의 특허 제목과 초록을 분석했으며, 제 멋진 새 디스커스 사이트에서 약 1,000개 규모의 토픽을 분석하는 것은 식은 죽 먹기일 것입니다. 게다가 우리 커뮤니티에는 이를 실현할 충분한 에너지가 있을 수도 있습니다.
전문가분들께 여쭙고 싶은 것이 있습니다. 플러그인을 설계하는 방향으로 생각하는 것이 좋을까요, 아니면 디스커스 소스 코드(깃허브에서 다운로드한 것)를 직접 수정하는 방향으로 생각하는 것이 좋을까요?
파이썬으로 디스커스 토픽을 스크래핑하는 방법에 대해 이 글을 찾았지만, 아직 제대로 동작하도록 만들지 못했습니다. 이와 유사한 방법으로 데이터를 오프라인으로 가져와 모델을 구축한 뒤, 나중에 쿼리하도록 로드할 수 있을 것입니다.
참고로, 좋은 도구 대부분은 파이썬으로 되어 있습니다…