Estoy usando Discourse AI y lo tengo conectado a una API de LLM externa, junto con algunas extensiones (que conllevan costos adicionales).
Debido a eso, me gustaría configurarlo para que no utilice esas extensiones, y en su lugar, se base solo en el LLM como asistente del foro, para cosas como búsqueda interna, resumen u otras características que funcionan puramente dentro del foro.
La razón principal es reducir el costo de los complementos pagados (por ejemplo, búsqueda web externa), por lo que busco orientación sobre cómo configurar las cosas de esta manera.
Gracias
Editar:
Recibí una respuesta del proveedor diciendo que esta solicitud se facturó por búsqueda web porque la IA citó fuentes como BBC y Reuters, entre otras, lo que activó automáticamente el modo de evidencia/búsqueda del modelo.
Entonces, ¿esto significa que no está relacionado con la configuración de Discourse y que no hay forma de desactivar este comportamiento desde el lado del proveedor?
¿Hay alguna solución para esto?
El proveedor sugirió cambiar a un modelo con menos “pensamiento” y evitar los modelos flash o instintivos, pero eso también significa una capacidad reducida de razonamiento y computación.
**Este mensaje fue traducido del tailandés usando una herramienta de traducción, así que me disculpo de antemano si algo no está claro o es ligeramente incorrecto.
¿A qué te refieres con extensiones? ¿Supongo que para la búsqueda web?
Tengo 2 sitios autoalojados que ejecutan todas mis funciones de Discourse AI con Gemini en Google Cloud, y estoy utilizando la API de Google Custom Search Engine para el investigador web (100 consultas gratuitas/día). Utilizo Gemini 2.5 flash lite para todo lo posible, como resúmenes y resúmenes, 2.5 flash para traducción y los diversos modelos Gemini para tareas más específicas y de pensamiento (por ejemplo, Gemini flash image).
Ah, entendido, ¡gracias por la aclaración! Sí, estaba pensando en “extensiones” en el sentido de búsqueda web o funciones adicionales de IA.
Para mi configuración, estoy utilizando la API MiMo de Xiaomi, que me da 1000 solicitudes por mes. Cualquier uso de extensiones adicionales cuenta extra según el uso, y desafortunadamente no puedo desactivarlo. El proveedor mencionó que depende de la longitud y complejidad de la instrucción (prompt): por ejemplo, si yo o mis usuarios introducimos algo como “busca las últimas noticias sobre…”, exista o no en mi foro, el modelo realizará una búsqueda web en paralelo. Realmente no tengo control sobre esos costes adicionales.
No he introducido ninguna clave de API de Google Custom Search Engine; simplemente la dejo vacía y utilizo la configuración predeterminada para Forum Helper.
Me preguntaba si hay alguna forma inteligente de manejar esto. Si intento limitar los créditos a nivel del proveedor, termina restringiendo todos los modelos que estoy ejecutando.
Además, disculpas si mi inglés es un poco difícil de seguir, estoy usando un traductor para comunicarme
Resumen del problema que estoy experimentando (explicado de forma sencilla)
Estoy utilizando Discourse AI en un sitio web autoalojado.
El LLM que utilizo es la API de MiMo de Xiaomi, que proporciona una cuota de 1000 solicitudes por mes.
El problema es que el uso de ciertas extensiones (como la búsqueda web) genera costos adicionales según el uso y no se pueden desactivar desde el lado del proveedor.
El proveedor explica que:
El costo depende de la longitud y la naturaleza del prompt.
Por ejemplo, si yo o un usuario escribimos algo como “Busca las últimas noticias sobre…”, independientemente de si la información está en mi foro o no, el modelo puede buscar información en la web automáticamente.
Esto me causa:
Dificultad para controlar los costos, ya que son los usuarios quienes escriben el prompt.
No he introducido una clave de API de Google Custom Search Engine.
He dejado este campo vacío y estoy utilizando la configuración predeterminada (default) de Forum Helper.
Si intento limitar el crédito desde el lado del proveedor:
Esto limitaría todos los modelos que estoy utilizando.
No puedo limitar solo un modelo o una característica específica.
Este es un ejemplo de registro que pude verificar:
Generation details
Model: MiMo-V2-Flash
Model ID: xiaomi/mimo-v2-flash
Provider: Xiaomi
First token latency: 12.77 seconds
Throughput: 1.5 tokens/second
Finish reason: stop
Data policy: No data training | Policy
Tokens:
- Prompt: 38065
- Completion: 20
Web search:
- Results: 5
Costs:
- Subtotal: 0
- Web search cost: 0.02
- Final cost: 0.02
Creator: hidden
Generation ID: hidden
Si te refieres al uso de LLM local, todavía no tengo planes de aumentar los gastos. En el servidor requiere mucho procesamiento para más de 20 usuarios simultáneamente, por lo que este plan no se implementará. Me gustaría centrarme en el uso de API externas como groq, openrouter, que son más económicas y tratar de controlar los gastos en esta área.
Ya encontré la respuesta. Por mis pruebas y observaciones, la búsqueda web se activaba en cada modelo que usé (o al menos en cada modelo que probé), incluso después de cambiar de modelo. Esto parece ser un problema del lado del proveedor.
El problema es que la búsqueda web se convierte en un costo oculto no deseado que no puedo controlar adecuadamente ni desactivar por completo, incluso cuando no es necesaria.
Ya he liquidado mi cuenta, cancelado el servicio con este proveedor y ahora estoy buscando un proveedor diferente.
