Self-Hosting Embeddings per DiscourseAI

Documentazione Self-Hosting
, ,
1

Il plugin Discourse AI dispone di molte funzionalità che richiedono gli embedding per funzionare, come Argomenti Correlati, Ricerca AI, Suggerimento di Categoria e Tag di Aiuto AI, ecc. Sebbene sia possibile utilizzare un’API di terze parti, come Configurare le chiavi API per OpenAI, Configurare le chiavi API per Cloudflare Workers AI o Configurare le chiavi API per Google Gemini, abbiamo costruito Discourse AI fin dal primo giorno per non essere bloccati su di esse.

Esecuzione con HuggingFace TEI

HuggingFace fornisce un’eccellente immagine container che può farti partire rapidamente.

Per esempio:

mkdir -p /opt/tei-cache
docker run --rm --gpus all --shm-size 1g -p 8081:80 \
  -v /opt/tei-cache:/data \
  ghcr.io/huggingface/text-embeddings-inference:latest \
  --model-id BAAI/bge-large-en-v1.5

Questo dovrebbe farti partire con un’istanza locale di BAAI/bge-large-en-v1.5, un modello open-source con ottime prestazioni.

Puoi verificare se funziona con

curl -X POST \
  'http://localhost:8081/embed' \
  -H 'Content-Type: application/json' \
  -d '{ "inputs": "Testing string for embeddings" }'

Che dovrebbe restituire un array di float in condizioni operative normali.

Renderlo disponibile per la tua istanza Discourse

La maggior parte delle volte, lo eseguirai su un server dedicato a causa dell’accelerazione della GPU. Quando lo fai, consiglio di eseguire un proxy inverso, eseguire la terminazione TLS e proteggere l’endpoint in modo che possa essere connesso solo dalla tua istanza Discourse.

Configurazione di DiscourseAI

Discourse AI utilizza ora un sistema di definizione degli embedding completamente configurabile, simile al modo in cui sono configurati gli LLM. Per configurare il tuo endpoint self-hosted:

  1. Naviga su Admin → Plugins → Discourse AI → Embeddings.
  2. Clicca su New per creare una nuova definizione di embedding.
  3. Seleziona un preset che corrisponda al tuo modello (es. bge-large-en, bge-m3, o multilingual-e5-large), oppure scegli Configure manually per qualsiasi altro modello.
  4. Imposta l’URL affinché punti al tuo server TEI self-hosted (es. https://your-tei-server:8081).
  5. Usa il pulsante Test per verificare la connettività prima di salvare.
  6. Dopo aver salvato, imposta ai_embeddings_selected_model alla tua nuova definizione di embedding.

Una volta configurato, Discourse riempirà automaticamente gli embedding per gli argomenti esistenti tramite un job in background pianificato. Se hai un arretrato di grandi dimensioni, puoi aumentare l’impostazione nascosta ai_embeddings_backfill_batch_size (default: 250) per elaborare gli argomenti più velocemente.

11 Mi Piace
Discourse AI - Self-Hosted Guide
Settings for Hugging Face bge-large-en embeddings? -> RAG bots unresponsive!
Weekly Summary of AI topics
Weekly Summary of AI topics
2

Il modello bge-m3 dovrebbe funzionare per siti multilingue (o non in inglese)?

3

Sì, ci ho giocato la settimana in cui è stato condiviso silenziosamente su GitHub e funziona bene. Sto ancora aspettando di vedere come si posizionerà nelle classifiche MTEB, dato che non c’era l’ultima volta che ho controllato.

Detto questo, abbiamo grandi istanze Discourse ospitate che utilizzano il plugin multilingue che viene fornito, e5, e funziona molto bene.

1 Mi Piace
4

Grazie, avevate in programma di abilitare endpoint personalizzati open-source per gli embed? Sto cercando di utilizzare questi modelli su Huggingface.

5

Mi dispiace, non capisco cosa stai cercando di comunicare qui. Questo argomento è una guida su come eseguire modelli open-source per gli embedding di Discourse AI.

6

Oh, mi dispiace. Sto cercando di usare un modello open-source da HuggingFace con un endpoint personalizzato e mi chiedo se sia possibile o se sia previsto per il prossimo futuro :slight_smile:

7

Per verificare che funzioni, il seguente comando funziona per me (con il modello BAAI/bge-m3):

curl -X 'POST' \
  'http://localhost:8081/embed' \
  -H 'Content-Type: application/json' \
  -d '{ "inputs": "Testing string for embeddings"}'

Tra l’altro, puoi anche usare l’interfaccia web di Swagger su http://localhost:8081/docs/.

2 Mi Piace
8

Questo è anche un bel server di embedding:

1 Mi Piace
9

Per risparmiare spazio, è possibile utilizzare embedding quantizzati? Vorrei utilizzare embedding quantizzati binari per ridurre davvero le dimensioni di archiviazione. Avendo fatto alcuni test, ottengo prestazioni superiori al 90% con uno spazio di archiviazione 32 volte inferiore!

1 Mi Piace
10

Stiamo memorizzando gli embedding utilizzando la precisione dimezzata (metà spazio di archiviazione) e utilizzando la quantizzazione binaria per gli indici (32 volte più piccoli) per impostazione predefinita da alcune settimane, quindi aggiornare il tuo sito all’ultima versione dovrebbe ridurre notevolmente l’utilizzo del disco.

3 Mi Piace
11

Potresti anche aggiungere:

ai modelli di embedding supportati?

12

Prevediamo di rendere gli embedding configurabili allo stesso modo in cui abbiamo fatto con gli LLM, quindi presto qualsiasi modello sarà compatibile.

4 Mi Piace
13

Se qualcun altro ha problemi con gli endpoint sulla rete locale, ad esempio 192.168.x.x, sembra che questi siano bloccati da Discourse (presumibilmente per motivi di sicurezza) e che il blocco debba essere aggirato. Ho perso qualche ora per capirlo!

1 Mi Piace
14

@Falco sarebbe fantastico. Nel frattempo, se volessi provare ad aggiungere un nuovo modello di embedding, devo solo aggiungere:

 lib/embeddings/vector_representations/mxbai-embed-xsmall-v1.rb
 lib/tokenizer/mxbai-embed-xsmall-v1.rb
 tokenizers/mxbai-embed-xsmall-v1.json

e modificare lib/embeddings/vector_representations/base.rb per includere il nuovo modello, o c’è qualcos’altro che devo cambiare?

15

@Falco Ho provato ad aggiungere il modello e ho inviato una pull request. Mi scuso se ho fatto qualcosa di sbagliato, dato che non sono un vero sviluppatore SW. Speravo che potessi dargli un’occhiata e vedere se va bene per l’inclusione.

Sfortunatamente, non sono riuscito a farlo funzionare con TEI. Sono riuscito a far funzionare all-mpnet con TEI, ma penso che ci sia qualcosa di sbagliato in quello che ho fatto per far funzionare mxbai.

A proposito, c’è qualche possibilità di supportare https://github.com/michaelfeil/infinity come server di embedding?

EDIT: Vedo che questo sarà complicato poiché gli indici HNSW nel database sembrano essere codificati in modo fisso, quindi i nuovi modelli devono essere aggiunti alla fine per evitare di interrompere l’ordinamento e ogni nuovo modello deve aggiungere il proprio indice.

16

Ti raccomando vivamente di aspettare un paio di settimane finché non spediremo il supporto per gli embedding configurabili.

Questo dovrebbe funzionare bene quando spediremo gli embedding configurabili, ma per curiosità cosa porterebbe rispetto a GitHub - huggingface/text-embeddings-inference: A blazing fast inference solution for text embeddings models?

17

Non mi sono aggiornato su TEI, quindi non menzionerò i vantaggi che non ho testato di recente, ma tra le cose che ho visto di recente:

  • Supporto hardware: infinity ha un supporto GPU migliore di TEI
  • Il server infinity può ospitare più modelli di embedding su un singolo server (a meno che non mi sia sfuggito questo in TEI)

È molto bello. Se non l’hai provato, dovresti dargli un’occhiata!

1 Mi Piace
18

Un amico mi ha appena inviato questo thread tramite DM.

Pro/Contro:

  • infinity supporta embedding multimodali (ovvero invia immagini/audio) a
  • supporto GPU AMD
  • più modelli supportati nello stesso container (controlla il modello tramite il parametro model).
  • più dtypes, ad esempio quantizzazione int8 dei pesi (principalmente questo è irrilevante, la memoria di attivazione è maggiore)
  • nuovi modelli spesso escono tramite “codice di modellazione personalizzato” spedito nel repository huggingface. Infinity legge questo codice pytorch se necessario. Questo ti aiuterà ad evitare la richiesta “puoi supportare modelli xyz” su base continuativa)
  • più modelli supportati (ad esempio debertav2 per mixedbread)

Contro:

  • il tempo di avvio a freddo di TEI è migliore
3 Mi Piace
19

Ciao Michael :wave:

@roman è stato impegnato a ristrutturare la nostra configurazione di embedding su:

Dovremmo finire molto, molto presto, una volta fatto questo, aggiungere il supporto per infinity dovrebbe essere banale.

Penso ancora molto all’embedding multimodale, ti dà una scorciatoia quando cerchi di fare RAG su PDF perché lo elabori semplicemente in immagini e incorpori ogni immagine evitando la necessità di OCR o costosi strumenti da immagine a testo basati su LLM.

Una volta che avremo completato questa PR, saremo più che felici di aggiungere il supporto infinity (e il supporto multimodale) alla configurazione di embedding.

Grazie per essere passato :hugs:

4 Mi Piace
20

Mi chiedo se la creazione del supporto litellm possa offrire una scorciatoia, poiché si beneficia di tutti i modelli supportati tramite litellm. Altri progetti sembrano incorporarlo.