Le RAG prendra-t-il en charge les fichiers PDF à l'avenir ?

[sam (Sam Saffron) A scindé ce sujet ()]

2 publications ont été séparées dans un nouveau sujet : Tâches Rake dans le plugin IA qui ne fonctionnent pas

[sam (Sam Saffron)]

Ceci est maintenant pris en charge et la documentation de base est disponible sur :

PDF support in Discourse AI

This guide explains how to implement and use PDF processing capabilities within discourse-ai, including both basic text extraction and enhanced processing with LLM assistance. Required user level: Administrator Summary The discourse-ai plugin supports PDF processing for RAG (Retrieval-Augmented Generation) in two distinct modes: Basic text extraction Enhanced processing with LLM analysis Basic text extraction This mode provides fundamental PDF processing c…

Notez que le traitement amélioré nécessitera des modifications de conteneur pour le moment, car @featheredtoast / @tgxworld étaient en train de refactoriser le support d’ImageMagick et nous avons supprimé le support de Ghostscript par erreur.

Cela peut être configuré manuellement mais dépasse la portée de ce que je peux publier ici, ce sont des étapes délicates, donc ceux qui attendent un traitement amélioré, donnez-nous quelques semaines.

[Heliosurge (Dan DeMontmorency)]

@Saif

L’un des défis du travail derrière cela est de prendre en charge tous les types de PDF. Comme vous pouvez l’imaginer, certains PDF sont du texte brut et faciles à analyser. Cependant, il y en a avec des polices personnalisées, des images, des graphiques, formatés de manière non linéaire, etc.

Points très valables. De plus, certains PDF, bien qu’ils contiennent du texte, sont des scans paresseux sous forme de fichier graphique plutôt que du texte réel.