Right now, file names are indexed for search but the contents are not. It would be nice if the contents of files were also indexed, at least for the most common text-based files types, e.g. txt, pdf, doc, xls, csv, etc.
Any plans for this?
8개의 좋아요
No plans for this at the moment.
“저도요”
검색 엔진에서 첨부 파일(우리의 경우 PDF)도 색인되기를 원합니다.
3개의 좋아요
이것은 전형적인 엔터프라이즈 고객 대상 기능입니다. 구체적인 계획이나 일정은 없으며, Postgres에서 매우 큰 PDF 문서를 어떻게 처리하게 될지 불확실합니다.
몇 년 동안 꾸준히 고민해 온 사항이며, 향후 몇 년 안에 실현될 수도 있습니다.
4개의 좋아요
아직은 아니지만, 플러그인으로 구현하는 것은 매우 현실적입니다.
1개의 좋아요
이런 플러그인을 개발할 때 어디서부터 시작해야 할까요? Discourse 코드에 완전히 초보자인 저는 아마 UploadCreator에 훅을 연결해 보려 할 텐데, 그렇게 하면 큰 문제가 생길 수도 있겠네요.
Paperless와 통합되는 Discourse 플러그인을 개발하는 것이 좋은 출발점이 될 것입니다.
앞서 언급했듯이, 이러한 플러그인은 최소한 상당한 노력이 필요할 것입니다.
이러한 플러그인은 Discourse API가 문서의 외부 처리를 허용해야 합니다. 현재 이것이 가능한가요?
이 플러그인은 Discourse API에서 제공하는 검색 기능과의 통합이 필요합니다. 이는 쉽지 않지만, discourse/discourse-algolia 플러그인을 포함한 여러 기존 플러그인에서 이미 수행된 바 있습니다.
고려해야 할 다른 영역
- 백업
개인적으로 이 부분을 직접 다루어 보고 싶습니다. Paperless API를 살펴보고 discourse/discourse-algolia 프로젝트를 역공학하는 것으로 시작했지만, 검색과 통합되는 다른 프로젝트들도 있습니다.
Paperless를 선택한 이유에 대해 어떤 생각이 있으신가요? 프로젝트가 활발하게 유지되고 있고, 현재 이슈 수가 0개인 점을 제외하면 닫힌 이슈 수가 많다는 점이 좋습니다.
2개의 좋아요
이것은 특히 PDF, 스캔본, 이미지 등을 통해 많은 문서를 다루는 포럼들에게 엄청난 개선이 될 것입니다. 범위가 검색으로만 제한된다면, 이상적으로는 텍스트를 추출하거나 생성한 후 그 텍스트를 PostgreSQL의 한 열에 저장하면 됩니다. 그렇게 하면 이미 존재하는 PostgreSQL의 전체 텍스트 검색 기능을 활용할 수 있습니다.
예를 들어 Linux에서는 pdftotext를 사용해 PDF에서 텍스트를 추출한 후 데이터베이스에 저장할 수 있습니다. 또 다른(비용이 더 많이 드는) 아이디어는 AI 비전을 사용해 PDF나 이미지를 설명하거나 텍스트를 추출하여 데이터베이스에 저장하는 것입니다.
여러분의 생각은 어떨까요?
2개의 좋아요
그래서 이 문제를 조사해 보고, AI를 활용해 최적의 방법을 구현하기 위한 와이어프레임을 작성했습니다. 몇 가지 아이디어가 떠오르는데요. Apache TIKA를 사용하면 이미지 포함, 텍스트가 있는 거의 모든 파일 형식을 OCR로 처리할 수 있습니다. 이는 자체 호스팅 옵션이기도 합니다. 그리고/또는: Gemini Flash 1.5(예를 들어)를 사용해 OCR을 수행할 뿐만 아니라, 확인하고 분석된 이미지를 설명한 데이터를 PostgreSQL 테이블/열에 게시하여 검색할 수 있도록 할 수 있습니다. 물론 첨부파일/업로드가 있는 모든 게시물을 다시 처리하려면 상당한 양의 토큰이 초기에 필요하지만, 이는 가장 유용할 것입니다. 결국 가격만큼의 가치를 얻는 것일까요?
1개의 좋아요