Sono nuovo all’AI di discourse. Sto usando “sentence-transformers/all-mpnet-base-v2” come modello di embedding. È sufficiente per fare la ricerca semantica?
Oppure devo aggiungere un modello Hyde per farlo?
Per favore, guidami su questo.
Hai anche bisogno di un LLM per la ricerca semantica. Se vuoi auto-ospitare, vedi Self-Hosting an OpenSource LLM for DiscourseAI.
Grazie mille.
Puoi darmi un’idea dei requisiti per ospitare un modello come “mistralai/Mistral-7B-Instruct-v0.2” on-premise e nel cloud per un sito web a livello aziendale, per favore.
Inoltre, non riesco a trovare alcun tokenizer per questo modello nel pannello di amministrazione.
Non c’è nulla di specifico per Discourse qui, quindi si applicano le regole standard. Un modello da 7B, se eseguito utilizzando fp16, richiederà circa 14 GB di VRAM più lo spazio per il contesto. È possibile utilizzare la quantizzazione fp8 per dimezzare tale valore, ma quel vecchio modello non è il migliore per questo.
Poiché non è fattibile distribuire ogni possibile tokenizer, dovresti scegliere quello più vicino tra i tokenizer disponibili.
1 Mi Piace
Puoi consigliarci alcuni modelli LLM per questo scenario? Potremmo ospitare il nostro modello in sede, quindi vorremmo conoscere il fattore di compatibilità dei modelli con Discourse.
Grazie.
Dipende dal tuo budget, dal supporto linguistico di destinazione e dalle funzionalità di Discourse AI che desideri.
Oggi Qwen 2.5 Instruct in 32B o 72B sono un forte contendente.
C’è qualche modo per usare un modello più piccolo per la funzione di riepilogo? Perché gli LLM richiedono un budget più grande, e potremmo dover accontentarci di qualcosa di più piccolo per ora…
Sì, puoi usare qualsiasi modello tu voglia.
1 Mi Piace
Possiamo modificare il payload del modello per la riassunzione o per qualsiasi altra funzione?
In particolare, voglio cambiare il contenuto del sistema.
{‘role’: ‘system’, ‘content’: ‘Sei un bot di riassunzione avanzato che genera riassunti concisi e coerenti del testo fornito.\\n\\n- Includi solo il riassunto, senza alcun commento aggiuntivo.\\n- Comprendi e genera Markdown per forum di discussione; inclusi link, corsivo, grassetto.\\n- Mantieni la lingua originale del testo da riassumere.\\n- Punta a riassunti di 400 parole o meno.\\n- Ogni post è formattato come “\u003cNUMERO_POST\u003e) ”\\n- Cita post specifici degni di nota utilizzando il formato DESCRIZIONE\\n - Esempio: link al 3° e 6° post di sam: sam (#3, #6)\\n - Esempio: link al 6° post di jane: concorda con\\n - Esempio: link al 13° post di joe: joe\\n- Quando formatti i nomi utente, usa @NOMEUTENTE o NOMEUTENTE’}
Se possibile, come si fa?
1 Mi Piace
Al momento non è possibile, ma abbiamo già iniziato a lavorare per renderlo possibile. Dovrebbe arrivare nelle prossime settimane.
2 Mi Piace