Первая причина заключалась в том, что я на самом деле не знал, какие функции может выполнять Discourse AI. Я видел кое-что об этом на Meta, но в остальном не был осведомлён.
Но теперь этот вопрос для меня прояснён благодаря этой странице 
Если бы я не увидел это, то не знал бы, на что она способна.
Возможно, так же думают и многие другие, но я не знаю.
Простое упоминание «ИИ» отталкивает большинство людей в нашем сообществе, а остальных поляризует. В нашем случае платить деньги крупному бизнесу, который выводит большие данные на новый уровень с безумным уровнем потребления энергии и глобальной слежкой, — это… противоречит всем нашим ценностям.
Открытый исходный код и самостоятельное размещение могли бы смягчить это, но с другой стороны… Основные функции, для которых мы бы его использовали, — это улучшенный поиск и лучшие рекомендации. И действительно ли нам нужно полагаться на «ИИ» для этого? Разве нет улучшений в базах данных контента и алгоритмах поиска и рекомендаций, которые работают локально за ту же стоимость и с тем же потреблением энергии, не становясь активными игроками в большой игре с ИИ?
Я мог бы использовать ИИ, если бы он применялся исключительно как встроенный инструмент «вычитки», например. Или, возможно, даже как инструмент перевода.
Ничто не мешает мне использовать Discourse AI; более того, я считаю, что это сейчас одна из самых впечатляющих частей всего приложения.
Однако, работая педагогом и исследователем/инженером в области ИИ, я хотел бы поделиться своим скромным мнением по этому вопросу, так как я тесно сотрудничаю с людьми за пределами этой пресловутой «пузыря ИИ». По моему опыту, люди опасаются использовать или внедрять ИИ по трём основным причинам:
На самом деле все эти проблемы можно смягчить с помощью грамотной настройки промптов и обучения в этой области, так что это никак не является недостатком со стороны Discourse. Однако, если бы компания создала экстренный курс «ИИ для чайников», специально адаптированный под плагин Discourse AI, то, возможно, как уровень принятия, так и комфорт пользователей значительно выросли бы. Сейчас вокруг ИИ много шума, поэтому многие хотят его использовать, даже не зная как или для чего.
Тем не менее, моя интуиция подсказывает, что этот набор функций будет двигать популярность Discourse в ближайшем будущем, поскольку он просто гениален и настолько тонко интегрирован в систему. Поистине отличная работа!
Мне кажется, что такая формулировка довольно странная — и я отмечаю это не как критику, а потому что она перекликается с заголовком темы: «Что мешает вам попробовать Discourse AI?».
В обоих случаях возникает ощущение, что предполагается очевидная польза и ценность ИИ, и будто кто-то просто не замечает этого.
Однако я вижу ситуацию иначе: сегодняшний «ИИ» — это пузырь увлекательных технологий, который привлекает тех, кто любит новинки ради самих новинок, и, возможно, имеет какую-то ценность здесь и там, но отнюдь не обладает внутренней ценностью сам по себе.
Вопрос должен заключаться в том, каковы выгоды — что сделает вещи лучше, в данном случае лучше для участников форума или, возможно, для администраторов.
Это подводит меня к следующему:
Или, говоря другими словами, с крайней ненадёжностью современных предложений. Несмотря на то, что они иногда помогают в обобщении или предложении идей, они слишком часто ошибаются. Ненадёжное обобщение? Ненадёжный анализ тональности? Это может лишь ухудшить опыт!
Я немного сочувствую тому, кто нанят для продвижения ИИ или для его интеграции в продукт — такова природа работы: иногда сами роли оказываются ошибочными.
Но я действительно не вижу предпосылки, что это нечто великое, что поможет всем форумам. Возможно, некоторым форумам. Расскажите, где, по вашему мнению, заключается ценность, и учтите затраты, связанные с тем, что эта ценность предоставляется ненадёжно.
Моя мысль заключается в том, что ИИ может улучшить очень многое. По моему опыту, некоторые клиенты хотят как-то усовершенствовать свой бизнес или операционную деятельность, но не уверены, как именно это сделать точно. Я вовсе не считаю, что все должны пытаться использовать ИИ, так как это просто попадание в ловушку текущей истерии.
Определенно не обладают внутренней ценностью, что я и не утверждал. Как и с большинством технологий, его можно использовать чрезмерно, и он не оправдает ожиданий, или же его могут просто откровенно злоупотреблять.
Я еще не сталкивался с этой «полной ненадежностью». Возможно, это зависит от того, чего вы пытаетесь достичь? Действительно, очень общие и сложные задачи все еще могут приводить к ненадежным результатам. Снова повторюсь: достаточные знания в области промпт-инжиниринга и применения этой технологии необходимы, чтобы смягчить это — поэтому моя точка зрения остается в силе.
Я ценю ваше сочувствие, однако оно мне не нужно 
. Я работаю на себя, и у меня нет необходимости «продвигать» ИИ среди людей, которым он не нужен. Более того, довольно presumptuous с вашей стороны полагать, что кто-то или его работа ошибочны, просто исходя из в основном необоснованного мнения о теме, которая, судя по тому, как вы о ней пишете, кажется вам чуждой.
Я разрабатывал системы ИИ, которые автоматически обнаруживают и сегментируют опухоли мозга, а также проводят анализ рисков лечения. Я не думаю, что пациенты, получающие пользу от таких достижений, согласились бы с тем, что такая роль «ошибочна». Некоторые из нас исследуют ИИ на благо человечества, а не просто чтобы быстро заработать.
Снова повторюсь: я не утверждал, что это поможет всем форумам. Более того, я считаю, что было бы глупо для администраторов внедрять его «просто так», без каких-либо знаний в предметной области и четкой конечной цели.
Кстати:
Я смиренно призываю вас в будущих ответах на тему ИИ быть чуть менее дискриминационными и чуть более осведомленными, или, по крайней мере, не вырывать чужие ответы из контекста, затем обвинять людей в ошибочности и предлагать им свое сочувствие 
РЕДАКТИРОВАНИЕ:
Забыл добавить, что добавление в Discourse большего количества опций для настройки (например, возможность правильно использовать промпт-инжиниринг для суммаризации тем) смягчило бы многие риски. Они уже движутся в этом направлении благодаря персонам и возможности выбора используемых моделей и т. д.
Приношу извинения: я размышлял об этой теме с самого её начала и случайно использовал ваш вклад как отправную точку. Мои замечания не имеют ничего личного или конкретного.
Что касается меня и использования ИИ в дискуссиях, как интересуется @Saif, мне нужно понимать ценность этого подхода. На данный момент мой форум работает хорошо, а расходы под контролем. Чтобы добавить что-то, что связано с денежными затратами, мне нужно знать, в чём будет выгода. Дело не в том, что меня что-то останавливает от попытки использовать ИИ.
Я отключил Akismet и внутренне тестирую Discourse AI Spam и Persona; моя LLM — Google Gemini Flash 2.0.
Мой вопрос: будет ли она обучаться на итерациях и глубоко обучаться с помощью обратной связи от человека? Поскольку опция кэширования данных доступна только в про-версии.
Оно ничего не будет обучать, но вы можете предоставить пользовательские инструкции, специфичные для вашего форума, если заметите, что оно допускает ошибки.
Есть ли возможность закрепить упоминание персоны за конкретной темой?
Так как этот вопрос снова всплыл:
Я использую эту функцию, но слежу за расходами как ястреб. Моя главная опасение — неконтролируемый расход токенов, по крайней мере, пока я не наберу достаточно опыта, чтобы интуитивно понимать, каков должен быть мой средний расход токенов. Возможность устанавливать лимиты расходов — это хорошо, но я не буду чувствовать себя комфортно, пока не узнаю, каков нормальный уровень использования в сообществе, а это требует времени.
Проблемы доверия пользователей огромны. Неважно, какие сообщения я готовлю или что говорю как администратор сайта — существует непоколебимое представление о том, что LLM используют контент, созданный пользователями, для обучения, и что любое использование системой Discourse означает «продажу» данных пользователей без «разрешения». На основе моего опыта (IME), это системная проблема среди многих комментаторов, и её невозможно развеять, потому что люди «знают», что на самом деле делают компании ИИ. Включение ИИ-триажа на форуме и признание этого может привести к потоку жалоб типа: «Я НЕ СОГЛАСЕН, ЧТОБЫ ВЫ ПЕРЕДАВАЛИ МОИ ДАННЫЕ КАКОЙ-ТО ТЕХНОЛОГИЧЕСКОЙ КОМПАНИИ, ЧТОБЫ ОНИ ЗАРАБАТЫВАЛИ НА МОИХ СЛОВАХ!». Не всех это беспокоит, но те, кто беспокоится, — в ярости и при этом абсолютно не заинтересованы в обсуждении. У меня нет хорошего ответа на это.
Меня несколько беспокоит передача состояния детекции спама на моём форуме настроению дюжины моделей разных компаний в любой момент времени. Будем честны: детекция спама с помощью ИИ, триаж с помощью ИИ и все остальные функции ИИ — это, по сути, наш подход «Давайте просто переложим эту проблему на ИИ», а затем попытка формализовать то, что мы хотим от него, с помощью инженерии промптов. Это работает, но процесс раздражающе недетерминирован. Вам фактически приходится надеяться, что всё будет работать так же, как и раньше. Мне это не нравится. Мне это совсем не нравится, и это вызывает у меня тревогу. Мне нравится, когда мои инструменты работают детерминировано. LLM — это полная противоположность детерминизма, и мы возлагаем часть функционала форума на то, что OpenAI и другие решат нам подкинуть.
Тем не менее, я использую как ИИ-антиспам, так и ИИ-триаж форума. Это полезно. Но я стараюсь помнить, что эти решения требуют постоянного мониторинга их эффективности.
Кто оплачивает вычислительные расходы, связанные с плагином?
Генерация токенов не бесплатна, а аренда GPU в облаке стоит около 250 долларов в месяц по самому дешёвому тарифу (NVIDIA T4 от Google Cloud).
Значит ли это, что плагин стоит 250 долларов в месяц?
Думаю, большинство пользователей используют платный тариф у одного из крупных поставщиков AI-сервисов (список поддерживаемых моделей доступен здесь в документации).
К сожалению, мне не известно о каких-либо доступных вариантах для тех, кто разворачивает решение самостоятельно: все известные мне решения на базе GPU находятся в указанном вами ценовом диапазоне, и я подозреваю, что инференс на CPU будет слишком медленным, даже на более мощных машинах.
Самохостинг Discourse AI позволяет подключаться к различным коммерческим моделям через API. Я обнаружил, что мои расходы на AI-сортировку, AI-антиспам и некоторые ночные AI-резюме составляют около 0,03 доллара в месяц с использованием Gemini Flash 2.0.
Кажется, у нас разное понимание термина «самохостинг ИИ». Для меня это подразумевает подключение к модели или сервису, работающему локально. То, что вы описываете, возможно, но по сути локальная часть выступает лишь в роли прокси, и данные покидают ваш сервер/передаются провайдеру API. Для многих это приемлемо, но для меня/нашего сообщества это не вариант.
Приношу извинения, я имел в виду самохостинг Discourse. Моя ошибка.