Самостоятельное размещение эмбеддингов для DiscourseAI

Чтобы сэкономить место, можно ли использовать квантованные эмбеддинги? Я хочу использовать бинарные квантованные эмбеддинги, чтобы значительно уменьшить размер хранилища. Проведя некоторые тесты, я получил >90% производительности при сокращении объема хранилища в 32 раза!

1 лайк