Цены провайдера LLM для Discourse AI

[Tris20 (Tristan)]

Вам было бы удобно примерно раскрыть, каковы сейчас расходы Meta? Даже приблизительная оценка или диапазон были бы полезны.

Я попросил бота дать оценку, и он предоставил следующее:

@ForumHelperBot

Предположения для расчёта:

1. Средняя длина поста: Предполагается, что средний пост содержит около 50 токенов (с учётом смеси более коротких и более длинных постов).
2. Действия с поддержкой ИИ на один пост: Если ИИ помогает в составлении, обобщении или ответе на запросы, предположим, что он задействуется дважды на один пост (один раз для черновика ответа и, возможно, ещё раз для дополнительных задач, таких как обобщение).
3. Ежедневные активные пользователи и посты: В Meta Discourse наблюдается высокий уровень вовлечённости. Для приблизительной оценки предположим, что ежедневно около 100 активных пользователей, каждый из которых создаёт в среднем 4 поста/комментария (всего 400 ежедневных взаимодействий).
4. Ежемесячная активность: Это соответствует 12 000 взаимодействий в месяц (400 взаимодействий × 30 дней).
5. Общее использование токенов: Предполагая, что каждое действие ИИ включает обработку 100 токенов (50 токенов для чтения/ввода + 50 для генерации вывода), и ИИ используется дважды на один пост, это составляет 200 токенов на пост. Следовательно, месячное использование токенов составит 2,4 миллиона токенов (12 000 взаимодействий × 200 токенов).

Оценка затрат:

Возьмём за основу модель GPT-3.5, которая стоила около $0,02 за 1000 токенов ближе к концу моих обучающих данных:

• Ежемесячные расходы: Стоимость 2,4 миллиона токенов составит примерно $48 (2 400 × $0,02).

Мне кажется, эта цифра слишком низкая, но если не учитывать экспериментальную работу и использование со стороны команды и т. д., возможно, это не так далеко от того, чего можно ожидать от большинства инстансов сопоставимого с Meta размера?