Ricevo molti risultati negativi per la ricerca semantica

Ho difficoltà a ottenere risultati dalla ricerca AI semantica, quindi volevo verificare con tutti se avete idee su cosa potrebbe essere sbagliato.

Se prendo un semplice esempio e cerco “shopify”, potete vedere che ottengo molti risultati normali, ma nessun risultato AI. Quando lo confronto con la ricerca di “shopify” nella community Discourse Meta, potete vedere che ottengo molti risultati normali e molti risultati AI. Ho provato domande più complesse e specifiche, ma continuo a non ottenere risultati.

Per quanto riguarda la nostra configurazione, stiamo utilizzando gpt-4o-mini e questo è correttamente configurato sotto LLM. “AI embeddings semantic search enabled” è abilitato. Stiamo utilizzando “text-embedding-ada-002” per gli embedding.


2 Mi Piace

grazie per la segnalazione, il team darà un’occhiata!

Grazie Sam! Volevo assicurarmi di non perdermi qualcosa di ovvio qui, dato che sembra funzionare meglio sul tuo sito.

L’unica cosa che mi viene in mente è che forse non abbiamo finito di riempire gli embedding sul tuo sito, ci daremo un’occhiata.

Ciao @tyler.lamparter,

A prima vista, un problema che ho riscontrato con la configurazione attuale del tuo sito è che, sebbene tu stia utilizzando text-embedding-ada-002, hai compilato le configurazioni di embedding per i prompt, che non sono supportate per quel modello. Ho rimosso le istruzioni che avevi impostato lì e rigenerato gli embedding sul tuo sito.

Sto anche aggiornando il tooltip su quelle impostazioni per cercare di evitare questa confusione in futuro.

Oltre a ciò, ho provato a cercare “shopify integration” e ho ottenuto il seguente documento di ricerca ipotetico:

che è in linea con quanto ci aspettiamo.

Puoi provare a cercare ora e condividere la tua esperienza?

@Falco questo sembra funzionare molto meglio, grazie! Avevo aggiunto i prompt nella configurazione di embedding nel tentativo di migliorarla, ma ovviamente non ha avuto alcun effetto.

2 Mi Piace

@Falco forse ho parlato troppo presto. Ogni volta che cerco ora, l’IA trova sempre esattamente 40 risultati indipendentemente da ciò che cerco. Molti dei risultati non sono nemmeno molto pertinenti (suggerendo ad esempio l’argomento “informazioni su questa categoria”).



1 Mi Piace

Proverò con un modello di embedding diverso. Ti farò sapere tra circa 1 ora.

1 Mi Piace

Quale sarebbe il risultato ideale per questa query?

Mi aspetterei 0 risultati di ricerca e 0 risultati AI in quel caso particolare. Supportiamo JS ES6/ECMAScript2015 (sì, molto vecchio), ma non è ancora presente in alcun post della community.

Ohhhhh capisco. Questo non funzionerà in questo caso.

Il modo in cui funziona la nostra attuale ricerca AI è:

  • Prende l’input dell’utente
  • Crea un nuovo post al riguardo tenendo conto della descrizione del forum
  • Restituisce gli argomenti semanticamente più simili ad esso

Non esiste una soglia di distanza in cui interrompiamo la ricerca, poiché determinare una soglia generale che copra tutte le migliaia di istanze di Discourse non è banale. Questo è discusso su Setting a similarity threshold for semantic search.

Stiamo studiando il rilascio di un nuovo approccio che eseguirà una ricerca LLM + RAG più standard e restituirà una risposta conversazionale, in cui è possibile modificare il prompt per dire “nessun risultato trovato”. Questo arriverà nelle prossime settimane, ti avviserò qui quando potrai testarlo.

2 Mi Piace

Sarebbe fantastico. Era quello che stavo cercando di fare aggiungendo i prompt nella sezione embeddings. Dato che ora non è possibile impostare una soglia, è per questo che vediamo sempre circa 40 risultati?

Sì, esattamente.

Oggi, la ricerca AI funziona come un sistema di failover quando la ricerca standard non restituisce risultati, agendo come un dizionario di sinonimi sovradimensionato. Tuttavia, nel tuo caso, la query di ricerca non ha risultati possibili nell’intero forum, il che non è il caso d’uso per cui è stata progettata.

Resta sintonizzato per la prossima versione della ricerca; sarà più vicina a ciò che desideri.

3 Mi Piace

Posso impostare di nuovo il nostro modello di embedding su text-embedding-ada-002?

1 Mi Piace

@tyler.lamparter dai un’occhiata a Conversational AI Search coming to Discourse AI . Fammi sapere se vuoi testarlo sul tuo sito.

2 Mi Piace

Sì, vorrei testarlo sul nostro sito. L’ho testato sul tuo sito e ho anche visto l’interruttore esistente “Nascondere 50 risultati trovati utilizzando l’IA” quando ero nella ricerca completa. Questo interruttore utilizza ancora la precedente ricerca HyDE?

La nuova funzionalità non utilizza affatto l’interruttore. Mostra la risposta conversazionale sopra l’esperienza di ricerca standard, ed è qui in tandem con la ricerca esistente per parole chiave e semantica.

Era quello che stavo pensando. Se la nuova funzionalità funziona bene per noi, potremmo disabilitare l’interruttore HyDE.

1 Mi Piace

Questa persona potrebbe avere uno strumento personalizzato collegato? Sto pensando che questo potrebbe essere un modo per reperire la documentazione pertinente dalla nostra knowledge base esterna da mostrare nei risultati di ricerca senza interagire con il bot.

1 Mi Piace

Sì, può fare tutto ciò che è specificato su Conversational AI Search coming to Discourse AI

2 Mi Piace