httrack이 제 환경에서는 작동하지 않습니다. 사용 중인 명령어는 다음과 같습니다:
httrack https://my-forums.org --user-agent "Googlebot"
httrack은 꽤 유망해 보이지만, 여러 페이지로 구성된 긴 포럼 스레드는 불완전하게 저장됩니다. "2페이지"를 클릭하면 작동하지 않습니다. 즉,
file:///home/user/My%20Web%20Sites/my-forums/my-forum.org/t/forum-thread-title/83394658.html은 실제로 잘 보입니다(외부 리소스를 가져오지 않음), 하지만file:///home/user/My%20Web%20Sites/my-forums/my-forum.org/t/forum-thread-title/83394658.html?page=2는 깨져 있습니다.
제안이 있을까요?
httrack에게 "인쇄 모드"를 사용하도록 지시할 수 있을까요?
- 표준 포럼 토론 보기 예시
- 인쇄용 포럼 토론 보기 예시 - 같은 URL에 /print만 끝에 추가된 것입니다
httrack에게 "끝에 /print를 추가하라"고 지시할 수 있을까요?
전체 포럼 스레드를 단일 페이지로 표시하는 사용자 에이전트 설정이 있을까요? 없다면 이 기능을 추가해 주시겠습니까? 이미 인쇄 모드를 구현해 두셨습니다. 대부분 이미 구현되어 있습니다. 남은 것은 "인쇄 모드"를 위해 생성된 콘텐츠를 크롤러에게 제공하도록 하는 사용자 에이전트입니다. 또는, 이 목적으로 사용자 에이전트를 사용하는 아이디어를 좋아하지 않으신다면, 이 목적으로 사용할 수 있는 HTTP 헤더나 쿠키는 어떨까요?
@kitsandkats가 개선/포크한 ArchiveDiscourse도 제 환경에서는 깨져 있습니다.
/print를 최상위 페이지/카테고리 페이지에도 구현해 주실 수 있을까요?
https://meta.discourse.org/t/i-dont-like-infinite-scrolling-and-want-to-disable-it/104660/3에서 제 말을 인용합니다.
(일시적으로) 무한 스크롤을 비활성화(특정 사용자 에이전트에 대해)하면 htttrack 웹 아카이브 도구로 discourse를 아카이브할 수 있게 됩니다.