Potrei - vorrei - volere il servizio, ma è ancora presto per il forum a cui sto pensando, quindi non ci sono ancora abbastanza dati su cui riflettere.
Dato che stai sperimentando con questa tecnologia, puoi dirci che ruolo giocano i tag nell’addestramento dell’IA? Ho dedicato molto impegno a raggruppare il corpus di uno dei miei forum per generare etichette che potessero poi essere utilizzate per categorizzare e taggare gli argomenti. Sebbene la categorizzazione sia andata molto bene, l’implementazione dei tag è problematica a causa dell’enorme quantità di termini coinvolti. Non c’è modo pratico di presentarli tutti.
Penserei che l’IA potrebbe utilizzare quei termini per migliorare i propri risultati.
Non c’è addestramento di modelli in Discourse oggi. Tutti i modelli attualmente utilizzati da uno qualsiasi dei moduli sono già addestrati.
I tag possono essere utili per aggiungere contesto nei prompt per funzionalità come suggerimenti di tag e argomenti correlati, ma nessuno dei due è attualmente in uso.
Discourse AI memorizzerà ora gli embedding nella stessa istanza DB che usiamo per tutto il resto. Questo rende l’installazione e la manutenzione molto più semplici, e importeremo automaticamente gli embedding dal vecchio database quando aggiornerai. Dopodiché potrai dismettere il vecchio database.
Ah, questo spiega i problemi che ora riscontro con la mia configurazione:
I, [2023-07-18T09:29:11.218667 #1] INFO -- : cd /var/www/discourse & su discourse -c 'bundle exec rake db:migrate'
------------------------------DISCOURSE AI ERROR----------------------------------
Discourse AI richiede l'estensione pgvector sul database PostgreSQL.
Esegui un `./launcher rebuild app` per risolverlo su un'installazione standard.
In alternativa, puoi rimuovere Discourse AI per ricostruire.
------------------------------DISCOURSE AI ERROR----------------------------------
Il mio database è un serverless v2 RDS Aurora e quindi non può utilizzare l’estensione pgvector. C’è qualche possibilità di configurare il comportamento precedente?
Stai usando serverless per il database principale di Discourse o solo per quello degli embedding? Discourse AI ora memorizza gli embedding nel database principale e richiede l’estensione pgvector abilitata lì. È disponibile su RDS PostgreSQL 13.11 e versioni successive. Noi non utilizziamo Aurora in produzione, solo RDS PostgreSQL, quindi è l’unica cosa che posso raccomandarti.
RDS è un SaaS di AWS, non può essere impacchettato in un’immagine Docker.
Discourse AI funziona sia con la versione PostgreSQL che impacchettiamo nella nostra immagine Docker, sia con Amazon RDS, sia con qualsiasi istanza PostgreSQL con l’estensione installata.
Ciao
Posso usare “Llama 2” open-source di Meta per la raccomandazione di post per i miei utenti?
Qualcuno ha avuto esperienza con uno strumento simile?
Grazie
Intendi consigliare “Argomenti Correlati”? In tal caso no, non ancora. Non esistono ancora modelli di embedding basati su Llama 2.
Vale la pena menzionare che quelli che forniamo (uno open-source e uno dall’API di OpenAI) sono davvero buoni e più che sufficienti per alimentare la funzionalità Argomenti Correlati.
Al momento no, poiché ciò richiederebbe di mantenere due repository separati, uno con il codice dell’app e un altro con gli strumenti interni per creare immagini e inviarle ai nostri repository interni e non ho davvero trovato il tempo per impostare correttamente questo.
Il codice dell’API è tutto visibile all’interno dell’immagine del container, anche se non è il modo migliore per esaminarlo, almeno è tutto lì.
Qualcuno potrebbe condividere i requisiti minimi e consigliati esatti del server per un forum con visitatori standard? Onestamente, vorrei provarci, ma non so da dove cominciare poiché non ci sono requisiti chiari per il server.
Nel mio forum, 200-250 utenti online e una media di 300 post vengono creati quotidianamente. Quindi non si può definire troppo, per questo ho detto standard. Capisco cosa intendi, ma ho intenzione di affittare un nuovo server perché il server Cloud che sto usando ora non consente molti aggiornamenti. Grazie per la tua risposta
Ad esempio, se vuoi solo giocare con gli embedding, un droplet da 6$ che lo fa su CPU sarà sufficiente e ti darà accesso alla funzionalità Similar Topics.
Ora, se vuoi AIHelper e AIBot, puoi:
pagare per chiamata su OpenAI, e il costo dipenderà dal tuo utilizzo.
eseguire un LLM open source su un server di tua proprietà per la privacy. Un modello come Llama2-70B-Chat richiederà un server che costa da 10k a 25k al mese.
eseguire un LLM open source su un servizio a pagamento all’ora. Puoi eseguire una versione quantizzata di Llama2 negli endpoint di HuggingFace per 6,50$ all’ora e andrà automaticamente in sleep dopo 15 minuti senza richieste.
L’area ML/Ops si sta muovendo velocemente, le GPU sono super scarse e nuovi modelli vengono lanciati ogni giorno. Difficile da prevedere, stiamo tutti sperimentando.
Grazie per la spiegazione dettagliata. Proverò quindi con un singolo plugin ad ogni passaggio. Penso che imparerò nel dettaglio in base alla situazione
2 Mi Piace
Stephen
(Stephen)
Ha separato questo argomento il
42
