Glean AI에서 Discourse 커뮤니티 콘텐츠 인덱싱

제품 지원
1

저희 회사는 최근에 내부 지식 관리를 위해 Glean을 도입했습니다. Discourse 커뮤니티를 인덱싱하고 싶지만, 다음과 같은 오류 메시지가 표시됩니다:

Glean의 웹사이트 크롤러 커넥터에는 다음과 같은 한계가 있습니다:

  1. 접근 제한: 크롤러는 다양한 인증 방식(예: Basic, Bearer, NTLMv2) 및 쿠키를 지원하지만, 엄격한 접근 정책이 있거나 크롤러가 효과적으로 우회할 수 없는 인증 장벽 뒤에 있는 웹사이트에서는 작동에 어려움이 있을 수 있습니다.
  2. 동적 콘텐츠 제한: 기본적으로 크롤러는 JavaScript가 필요한 동적으로 렌더링되는 웹 페이지를 인덱싱하지 않습니다. 이를 해결하려면 클라이언트 사이드 렌더링(CSR) 활성화와 같은 특정 설정이 필요하며, 이는 통합 과정을 복잡하게 만들 수 있습니다.
  3. 크롤링 빈도와 부하 관리: Glean은 크롤링 빈도를 설정할 수 있지만, 여러 인스턴스가 동시에 활성화된 경우 서버 부하를 관리하는 데 어려움이 있을 수 있습니다. 이를 적절히 오케스트레이션하지 않으면 성능 문제가 발생할 수 있습니다.
  4. URL 관리: 크롤러는 정규 표현식을 사용하여 URL을 매칭합니다. 이러한 정규식 패턴을 잘못 설정하면 가져오기 실패가 발생할 수 있습니다. 또한 robots.txt 파일을 준수해야 하며, 이는 웹사이트의 규칙에 따라 특정 페이지의 크롤링을 제한할 수 있습니다.
  5. 콘텐츠 유형 제한: 시스템이 직접 지원하지 않는 특정 비텍스트 형식과 같은 특정 콘텐츠 유형이나 형식, 또는 특정 인터랙티브 요소를 인덱싱하는 데 한계가 있을 수 있습니다. 이를 해결하려면 맞춤형 솔루션 구현이 필요합니다.

이러한 한계는 웹 기반 정보를 효율적으로 수집하고 인덱싱하기 위해 Glean 커넥터의 기능을 최대한 활용하려는 조직에 도전 과제가 될 수 있습니다.

Glean과 같은 AI 제공자를 사용하여 Discourse 인덱싱에 성공한 분이 있으신가요?

3

AI의 문제가 아니라 크롤러의 문제입니다. 그리고 AFAIK(제가 아는 한), 답은 아니오이면서 동시에 예스입니다. 특정 범주가 모든 사람(everyone)에게 표시된다면, 크롤링(스크레이핑)이 가능합니다. 구글봇(Googlebot)이 작동하는 방식이 바로 이렇습니다. 포럼이 로그인 뒤에 있거나, 범주의 가시성이 신뢰 수준(trust levels)으로 제한되어 있다면, 크롤링은 불가능합니다. 그리고 이것이 가장 중요한 보안 조치 중 하나이므로 절대 깨지지 않기를 진심으로 바랍니다.

하지만 다음 경우에는 이러한 “숨겨진” 콘텐츠를 크롤링할 수 있습니다.

  • 봇이 로그인하여 콘텐츠를 읽을 수 있는 시스템을 구축하는 경우, 또는
  • 원하는 모델(또는 유사한 시스템)에 연결된 Discourse AI를 사용하여 내부에서 콘텐츠를 색인화하는 경우
4

유저 에이전트를 크롤러 봇으로 식별되도록 설정하면, Discourse는 인덱싱이 훨씬 쉬운 기본 HTML 뷰를 렌더링합니다.

또는 해당 유저 에이전트를 숨겨진 사이트 설정인 crawler_user_agents에 추가할 수도 있습니다.