Self-Hosting di un LLM OpenSource per DiscourseAI

Grazie! Ho notato anche che l’URL funziona solo quando il plugin AI è abilitato :person_facepalming:

Per il provider appena aggiunto, hai qualche suggerimento su cosa scegliere/impostare per le seguenti impostazioni obbligatorie?

  1. Tokenizer
  2. Finestra di contesto

Per il modello, stavo pensando di usare forse stablelm2:1.6b o translategemma:4b, ma non sono ancora sicuro.
Nel README di quest’ultimo c’è una descrizione di un prompt di input. Mi chiedo quale sia la query che la funzione di traduzione AI invia a Ollama. cfr. /admin/plugins/discourse-ai/ai-agents/-28/edit