Oh, ora capisco, grazie per la spiegazione, era quello che mi mancava.
A proposito, so che spesso c’è un riordino (reranking) nei RAG più avanzati. C’è qualcosa di simile al riordino in come Discourse lo gestisce? Pensi che aggiungere un passaggio di riordino avrebbe un effetto positivo?
il reranking è un lavoro in corso.
@Falco / @Roman ha implementato un reranker di base in discourse:
Questo viene utilizzato nella ricerca semantica e RAG. Tuttavia, è piuttosto nascosto e non facile da configurare.
Penso che il piano a medio termine qui (che abbiamo discusso con @awesomerobot) fosse quello di passare dalla terminologia LLM a Modelli… e forse fare un po’ di unificazione dell’interfaccia utente in modo da poter definire embedding/reranker e LLM in un’unica interfaccia.
Per ora supportiamo solo un’API di reranker hugging face molto specifica.
Migliora certamente la qualità dei risultati.
Fantastico!
Quindi attualmente questa opzione è disattivata per impostazione predefinita e non può essere configurata facilmente su un piano ospitato (pro)?
Non sono sicuro, aspettiamo che @Falco risponda.
Ciao @Falco, c’è un modo per abilitare il reranker per il testing o magari una timeline?
Abbiamo appena distribuito un importante miglioramento alla tecnologia sottostante che alimenta la ricerca semantica in Discourse in DEV: Re-introduce PG Vector 0.8.0 upgrade by romanrizzi · Pull Request #35233 · discourse/discourse · GitHub.
Puoi riprovare il tuo caso d’uso ora, è già stato distribuito sul tuo sito. La mia aspettativa è che questo renda RAG migliore senza la necessità di un reranker.
Vogliamo comunque rendere il re-ranker ampiamente disponibile, ma stiamo aspettando che alcune modifiche upstream vengano implementate prima.
Grazie Falco!
Funzionerà solo per la ricerca semantica sugli argomenti di Discourse, o anche per i documenti RAG caricati su una persona? Dalla mia esperienza, l’IA funziona abbastanza bene con gli argomenti del forum (ad esempio su ask.discourse), ma non così bene con i documenti caricati su una persona (o non ho ancora trovato la formula migliore).
Interessa tutti gli usi degli embedding in Discourse, inclusi argomenti correlati, RAG, ricerca, suggerimenti di categorie e tag nella composizione, ecc.
Ciao @tpetrov, i risultati sono migliorati con il nuovo modello di embedding?
Ciao Falco, mi dispiace, non ho avuto tempo di testare a fondo, quindi non posso dirlo con certezza.
Suppongo non ci sia modo di passare dall’uno all’altro per confrontare?
Non ora, i vecchi e i nuovi modelli sono stati disponibili per un paio di mesi, ma recentemente abbiamo ritirato i vecchi nel nostro hosting.