Tengo una pregunta sobre el complemento de IA. Actualmente, solo veo a OpenAI como opción. ¿Es posible que usemos un modelo local, como Ollama, u otro programa que nos permita alojar nuestros propios modelos? Esto nos ayudaría a ahorrar costes ya que los tokens serían gratuitos.
1 me gusta
Sí, el complemento es completamente independiente del proveedor, puede usarlo con un LLM local de inmediato.
4 Me gusta
Tenga en cuenta que si busca openrouter gratuito, siempre hay algunos modelos que son gratuitos y decentes; por ejemplo, grok 4.1 fast, un modelo súper competente, es gratuito hoy (y esto cambia cada pocos días).
Esto es totalmente compatible con Discourse AI.
Los modelos locales pueden funcionar, pero generalmente son bastante débiles, por lo que sus resultados serán bastante desiguales.
1 me gusta
Por no mencionar Gemini… En mi opinión, el plan gratuito es muy generoso.
si puedo usar un LLM local, ¿cómo lo hago?
¿Cómo uso Gemini en mi foro por favor?
Consulte Discourse AI - Large Language Model (LLM) settings page. Consulte también Getting discourse ai to work with ollama locally y Self-Hosting an OpenSource LLM for DiscourseAI.
3 Me gusta