Ondersteuning voor Vanilla Embedding Search

Functie
,
1

Would be nice to have just the simple semantic search available without having to go through the hyde model.

I have a document on how to set up a perforce client which we use for version control. When searching for version control, normal search doesn’t pop up because the page doesn’t mention the keyword.

When enabling the full page search I get a 500 error which always pops up when the AI result has 0 answers

image
image1163×532 16.7 KB

However when using the
discourse-ai/embeddings/semantic-search.json?hyde=false&q=Version%20Control end point, I do see the topic about perforce in the list.

Not sure if HyDE decides to filter it out or it’s because of the 500 error but would be nice if we can just have search using semantic + keyword as default.

1 like
3

We hadden een zoekmodus zoals deze in de snelle zoekfunctie van de header, met alleen asymmetrische embeddings plus een hertussenstap, maar dit leverde slechte resultaten op in onze tests met embeddingmodellen uit 2023.

Deze week hebben we ons embeddingmodel hier op Meta bijgewerkt naar de huidige state-of-the-art, en het is veelbelovend, dus dit is iets dat we binnenkort zeker opnieuw zullen bekijken.

2 likes
4

Klinkt spannend! Kan niet wachten om het uit te proberen als het breed beschikbaar komt

1 like