На следующей неделе я объясню команде, как интегрировать Discourse AI. У нас уже есть некоторые API-ключи, но все они для платных аккаунтов.
Я уверен, что меня спросят: есть ли функции, которые можно интегрировать и использовать бесплатно? Это для школы, и мы уверены, что студенты захотят пользоваться всем, но расходы будут запредельными.
Спасибо.
Нет, это не бесплатно.
На самом деле Llama3 бесплатен, но, насколько я могу судить, для его запуска требуется компьютер стоимостью 300 000 долларов.
Если у вас есть бюджет, вы можете настроить систему так, чтобы платить указанную сумму ежемесячно любому сервису, который вы выберете. Как только лимит на месяц исчерпан, доступ прекращается до следующего месяца. Вы бы попытались установить ограничения так, чтобы это не происходило в первую неделю (или день). Однако было бы сложно настроить систему так, чтобы учителя, желающие использовать её в рамках занятий, могли на неё рассчитывать.
Возможно, ваша школа может бесплатно зарегистрироваться для получения образовательных кредитов в таких сервисах, как AWS, Azure или GCP, и использовать их для работы функций ИИ в Discourse.
Спасибо, именно это я и планировал им сказать. Это не бесплатно. На данный момент план состоит в том, чтобы продолжать использовать локальные экземпляры Gpt4All и LmStudio.
На всякий случай: версию Llama3 70b можно запустить на 48 ГБ видеопамяти, которую относительно легко найти — например, купить пару подержанных Nvidia RTX 3090 на eBay примерно по $750 каждая. Остальную часть системы, необходимую для поддержки такой конфигурации, я ожидаю, удастся собрать примерно за $3000. 
Это улучшение в 100 раз! Я могу представить, что в школе есть столько денег, но у меня довольно богатое воображение.
Огромное спасибо за это. В основном я не понимаю требования к оборудованию.
Вы можете взглянуть на это по-другому.
Почему бы не протестировать использование ИИ и в течение месяца следить за панелями расходов? А затем решить, хотите ли вы продолжить.
Только за последние 12 месяцев стоимость мощных моделей значительно снизилась.
Модель OpenAI gpt4o-mini сейчас очень мощная и очень недорогая (но всё это относительно).
Что ж, mini подвела меня каждый раз. Но это уже тема для другого обсуждения в другом месте.
Да, это может зависеть и от языка.
Gemini Flash очень дешев, а DeepSeek API настолько дешев, что почти бесплатен.
Если вам нужно запускать модели локально, можно собрать машину за <1000 долларов, способную запускать модели Llama. Я собрал машину с 4xP100 за 1000 долларов, у которой 64 ГБ видеопамяти. Но машина с 2xP40 и 48 ГБ видеопамяти будет достаточной для запуска модели Llama 70B, и её можно собрать за 600 долларов, если покупать б/у компоненты.
Для максимальной экономии можно запускать модель на одном GPU P40 с квантованием AQLM, но это будет довольно медленно (~1 токен/сек).
У них нет денег
Интересно, что никто не учитывает затраты на электроэнергию для всех этих решений с самостоятельным размещением. Похоже, это один сводный счет, который в любом случае невозможно привязать к конкретному устройству…
Вы только что затронули тему, которую друг, работающий в коммунальной компании, упомянул недавно как следствие удалённой работы. Кондиционеры и системы отопления теперь работают круглосуточно, потому что люди вынуждены использовать их постоянно. В результате у многих счета за коммунальные услуги стали астрономическими.
Обратите внимание: в тарифных планах Discourse с хостингом включена функция связанных тем. Она работает на основе векторных представлений (embeddings) с использованием ИИ.
Некоторые провайдеры, например Cloudflare, предлагают бесплатный тариф с щедрым лимитом использования для тех, кто размещает сервис самостоятельно.