Что дает наиболее разумный результат: CPU или RAM?

Поддержка Самостоятельное хостинг
1

Я понимаю, что вопросы вроде «сколько — это много» или «лучше ли emacs, чем vi, если есть nano» трудно и практически невозможно ответить однозначно, но всё же.

Я рассматриваю возможность создания нового droplet на DigitalOcean именно из-за этих AI-функций. Так какой из них даёт лучшее соотношение цены и выгоды для форума с низким трафиком и минимальным бюджетом, если целевой объём оперативной памяти — 16 ГБ:

  • basic, 112 € — 8 ядер Intel или AMD
  • general, 126 € — 4 ядра
  • CPU-optimized, 168 € — 8 стандартных ядер Intel
  • memory-optimized, 84 € — 2 ядра

(USD сейчас почти равен евро)

Ещё раз — я ничего не знаю, но поскольку Discourse — это клиент-зависимое приложение или что-то в этом роде, совсем не похожее на WordPress на PHP, ему не нужно столько мощности процессора, или я совсем заблуждаюсь? Но AI-решения полностью меняют правила игры и требуют много оперативной памяти и процессорной мощности?

И, конечно, главный и реальный вопрос: каковы минимальные затраты, если, например, нужен блок Related Topics?

2

Основная проблема с функцией ИИ «Связанные темы» заключается в том, что необходимо сгенерировать векторные представления (эмбеддинги) для всех существующих тем. В крупных форумах это занимает много времени и является самой «дорогой» частью операции. Однако это нужно выполнить только один раз, поэтому можно использовать почасовые инстансы, чтобы заплатить минимально возможную сумму.

Генерация эмбеддингов для Meta заняла у меня около 1 часа. Так что, например, можно взять VPS с полной NVIDIA A100 на один час, чтобы запустить процесс, и заплатить за это меньше 3 долларов!

После того как все эмбеддинги уже сгенерированы, нужно создавать новые только для новых и отредактированных тем, и в этом случае, вероятно, можно обойтись инференсом на процессоре (CPU).

Итак, предположим, что у вас сейчас есть:

  1. Один дроплет в Digital Ocean с запущенным Discourse

Во время заполнения данных (backfill) у вас могут быть:

  1. Один дроплет в Digital Ocean с запущенным Discourse
  2. Один дроплет в Digital Ocean с запущенным PostgreSQL для хранения эмбеддингов
  3. Один VPS в Vultr для быстрой вычисления эмбеддингов

После завершения backfill вы меняете конфигурацию на:

  1. Один дроплет в Digital Ocean с запущенным Discourse
  2. Один дроплет в Digital Ocean с запущенным PostgreSQL для хранения эмбеддингов и теперь также сервиса эмбеддингов

Что касается размера дроплета для пункта 2, то небольшого с 4 ГБ ОЗУ может быть достаточно, нужно только перепроверить, сколько ОЗУ потребляет контейнер сервиса эмбеддингов.

3

Заставляешься задуматься, нельзя ли упаковать этот сервис вместе с игрой в Steam и использовать GeForce Now для выполнения работы :rofl:

4

На самом деле это не так уж и плохо. Я ожидал чего-то гораздо более дорогого, если говорить о RAM и CPU.

Что бы вы сказали… весь этот пакет всё ещё находится в разработке, так что, может, мне стоит немного подождать, прежде чем прыгать вглубь :wink:

5

Мы активно работаем над этим и в ближайшие недели внесём множество изменений, так как будем внедрять этот плагин у наших корпоративных клиентов и получать обратную связь.

Тем не менее, потратить менее 10 долларов, чтобы опробовать это, предоставить эту функцию для вашего сообщества и дать раннюю обратную связь — по-моему, это отличное предложение, но всё зависит от ваших финансовых и временных ограничений.

Одно мы точно знаем: в данный момент мы используем только оригинальный пост (OP) для встраивания связанных тем, но будем экспериментировать с передачей как OP, так и ответов, которые помещаются. Это потребует повторной генерации всех встраиваний. Это снова обойдётся вам в 3 доллара и займёт 1 час вашего времени.