Discourse AI — Векторные представления

[Falco]

@Overgrow

Правильно ли я понимаю, что backfill — это момент, когда происходит векторизация?

Да.

@Overgrow

При переключении между моделями нужно ли пересчитывать векторы?

Да, каждая модель генерирует разные векторные представления.

@Overgrow

Было бы полезно знать, как расходы на использование API OpenAI соотносятся с инвестициями в сервер с GPU и решением с открытым исходным кодом.

По сути, это один вызов на тему, поэтому рассчитать очень просто.

@Overgrow

Есть ли формула или какой-либо способ оценить количество используемых токенов?

Если большинство ваших тем длинные, они будут обрезаны до 8 тыс. токенов, в противном случае будет использоваться длина вашей темы.

@Overgrow

Мы используем API только для векторизации постов, а не для вычисления векторных расстояний, верно?

Да.

@Overgrow

Я предполагаю, что как для связанных тем, так и для поиска на основе ИИ все посты нужно векторизовать только один раз, поэтому я могу подсчитать общее количество слов в таблице постов и вывести необходимое количество токенов. Тот же процесс применим к ежедневному добавлению постов. Пока что я не учитываю поисковые запросы.

Оба процесса работают на уровне тем, то есть по одному вызову на тему.