Discourse AI — Векторные представления

[Falco]

@Overgrow

Правильно ли я понимаю, что backfill — это момент, когда происходит векторизация?

Да.

@Overgrow

При переключении между моделями нужно ли пересчитывать векторы?

Да, каждая модель генерирует разные векторные представления.

@Overgrow

Было бы полезно знать, как расходы на использование API OpenAI соотносятся с инвестициями в сервер с GPU и решением с открытым исходным кодом.

По сути, это один вызов на тему, поэтому рассчитать очень просто.

@Overgrow

Есть ли формула или какой-либо способ оценить количество используемых токенов?

Если большинство ваших тем длинные, они будут обрезаны до 8 тыс. токенов, в противном случае будет использоваться длина вашей темы.

@Overgrow

Мы используем API только для векторизации постов, а не для вычисления векторных расстояний, верно?

Да.

@Overgrow

Я предполагаю, что как для связанных тем, так и для поиска на основе ИИ все посты нужно векторизовать только один раз, поэтому я могу подсчитать общее количество слов в таблице постов и вывести необходимое количество токенов. Тот же процесс применим к ежедневному добавлению постов. Пока что я не учитываю поисковые запросы.

Оба процесса работают на уровне тем, то есть по одному вызову на тему.

[satonotdead]

@falco

Я упустил их по ошибке, так как задача rake вышла из употребления и должна использоваться лишь в редких случаях опытными администраторами, которые могут легко установить их вне основного потока.

Подскажите, пожалуйста, как правильно добавить gem-пакеты, не форкая плагин, используя предложенный PR?

Я тестирую функцию масштабирования до нуля на HuggingFace и мне нужно лишь выполнить задачу rake для заполнения эмбеддингов.

[jlcoo (Jiang Long)]

Почему возвращается код ошибки 418 при использовании полного поиска с внедрениями Discourse AI в DiscourseAi::Embeddings::EmbeddingsController#search в формате JSON? Не могли бы вы помочь?

[Dmitry_Krasnoperov]

Можно ли использовать Deepseek в качестве провайдера? Какую модель выбрать?
Как оценить стоимость создания, учитывая, что у меня довольно большая база данных (14,3 ГБ)?

[Falco]

@Dmitry_Krasnoperov

Можно ли использовать Deepseek в качестве провайдера? Какую модель?

Можно использовать любую модель, поддерживающую API, совместимое с OpenAI.

@Dmitry_Krasnoperov

Как оценить стоимость создания, учитывая, что у меня довольно большая БД (14,3 ГБ).

Количество публичных тем, умноженное на размерность модели эмбеддингов и на 16 (для данных в байтах), плюс количество тем, умноженное на размерность и деленное на 8 (для индекса).