Discourse AI - Pagina delle impostazioni del Large Language Model (LLM)

[Discourse]

Questa guida copre la pagina delle impostazioni LLM che fa parte del plugin Discourse AI.

Livello utente richiesto: Amministratore
La pagina delle impostazioni dedicata è progettata per avere tutto ciò che riguarda i Large Language Models (LLM) utilizzati per le funzionalità di Discourse AI in un unico posto.

A seconda della funzionalità di Discourse AI abilitata, potrebbe essere necessario un LLM. Si prega di controllare ogni funzionalità di Discourse AI per sapere se un LLM è un prerequisito.

Funzionalità

• Aggiungere nuovi modelli, con informazioni precompilate
• Aggiungere modelli personalizzati non menzionati
• Configurare le impostazioni LLM
• Consentire l’uso di LLM specifici per l’AI Bot
  • Vedere il nome utente dell’AI Bot
• Abilitare il supporto per la visione (dipende dal modello)
• Testare
• Salvare le impostazioni

Aggiungere connessioni LLM

1. Vai su Admin → Plugins → AI
2. Vai alla scheda LLMs
3. Aggiungi una nuova connessione, scegli il tuo modello
4. Inserisci la chiave API (a seconda del modello, potresti dover inserire più campi manualmente) e salva
5. (Opzionale) Testa la tua connessione per assicurarti che funzioni

LLM supportati

Puoi sempre aggiungere un’opzione personalizzata se non vedi il tuo modello elencato. I modelli supportati vengono aggiunti continuamente.

• Grok-2
• Deepseek-R1
• Nova Pro
• Nova Lite
• Nova Micro
• o3-pro
• o3
• o3-mini
• GPT-4.1 (inclusi: nano, mini)
• GPT-4o
• GPT-4o mini
• OpenAI o1 Preview
• OpenAI o1 mini Preview
• Claude Sonnet 3.7
• Claude Sonnet 3.5
• Claude Haiku 3.5
• Gemini Pro 1.5
• Gemini Flash 1.5
• Gemini Flash 2.0
• Llama 3.1
• Llama 3.3
• Mistral large
• Pixtral large
• Qwen 2.5 Coder

Inoltre, i clienti ospitati possono utilizzare il CDCK Hosted Small LLM (Qwen 2.5) preconfigurato nella pagina delle impostazioni. Questo è un LLM a pesi aperti ospitato da Discourse, pronto per essere utilizzato per alimentare le funzionalità AI.

Campi di configurazione

Vedrai solo i campi pertinenti al tuo provider LLM selezionato. Si prega di ricontrollare eventuali campi precompilati con il provider appropriato, come Nome del modello

• Nome da visualizzare
• Nome del modello
• Servizio che ospita il modello
• URL del servizio che ospita il modello
• Chiave API del servizio che ospita il modello
• ID chiave di accesso AWS Bedrock
• Regione AWS Bedrock
• ID organizzazione OpenAI opzionale
• Tokenizer
• Numero di token per il prompt
• Abilita API di risposta (solo OpenAI, assicurati di impostare l’URL su https://api.openai.com/v1/responses)

FAQ tecniche

Cos’è un tokenizer?

• Il tokenizer traduce le stringhe in token, che è ciò che un modello utilizza per comprendere l’input.

Quale numero dovrei usare per Numero di token per il prompt ?

• Una buona regola generale è il 50% della finestra di contesto del modello, che è la somma di quanti token invii e quanti token generano. Se il prompt diventa troppo grande, la richiesta fallirà. Quel numero viene utilizzato per tagliare il prompt e impedire che ciò accada.

Avvertenze

• A volte potresti non vedere il modello che volevi usare elencato. Anche se puoi aggiungerli manualmente, supporteremo i modelli più diffusi man mano che escono.

[qianping_chen (rouin)]

È troppo difficile, non so come fare. Spero di poter aggiornare tutorial specifici su varie IA, come le impostazioni di accesso di Google.

[sam (Sam Saffron)]

Abbiamo migliorato molto l’interfaccia utente la scorsa settimana, puoi riprovarci?

[hameedacpa (Abdelhamid)]

Quando sarà supportato Gemini 2.0?

[sam (Sam Saffron)]

Supportato da parecchio tempo.

[Joe_F (Joe Farrar)]

Sembra che abbia un problema in cui non riesco a selezionare un LLM anche se ho configurato quelli ospitati dal CDCK..

È normale?

[sam (Sam Saffron)]

C’è molto da scoprire qui, quale LLM stai cercando di scegliere per cosa?

Gli LLM CDCK sono disponibili solo per funzionalità molto specifiche, per vedere quali devi andare su /admin/whats-new sulla tua istanza e fare clic su “mostra solo funzionalità sperimentali”, dovrai abilitarle per sbloccare l’LLM CDCK su funzionalità specifiche.

Qualsiasi LLM che definisci al di fuori degli LLM CDCK è disponibile per tutte le funzionalità.

[AquaL1te]

Esiste anche un argomento che fornisca una panoramica generale del miglior rapporto costo/qualità? O anche quale LLM può essere utilizzato gratuitamente per una piccola community e funzionalità di base? Posso approfondire i dettagli e sperimentare. Ma ho poco tempo.

Ad esempio, mi interessa solo il rilevamento dello spam e un filtro per parolacce. Avevo questa funzionalità gratuitamente, ma quei plugin sono deprecati o lo saranno presto. Sarebbe bello se potessi mantenere questa funzionalità senza dover pagare per un LLM.

[Saif (Saif Murtaza)]

@AquaL1te

Esiste anche un argomento che fornisca una panoramica generale del miglior rapporto costo/qualità? O anche quale LLM può essere utilizzato gratuitamente per una piccola community e funzionalità di base? Posso approfondire i dettagli e sperimentare. Ma ho un po’ poco tempo.

Abbiamo questo argomento, che potrebbe essere quello che stai cercando.

What LLM to use for Discourse AI?

It’s important to understand the needs of you as the community admin and your members when choosing a Large Language Model (LLM) to power Discourse AI features. Several factors may influence your decisions: Performance for use-case: Are you looking for the best-performing model? Performance can vary depending on the task (e.g., summarization, search, complex reasoning, spam detection). Assessment is based on the model’s ability to generate correct, relevant, and coherent responses. Context …

[AquaL1te]

Fatto! È stato davvero abbastanza facile. Ma forse per un non tecnico potrebbe essere ancora un po’ difficile da configurare. Ad esempio, il nome del modello è stato impostato automaticamente nelle impostazioni, ma non era quello corretto. Fortunatamente ho riconosciuto il nome del modello in un esempio curl per Claude sulla pagina API e poi ha funzionato

I costi stimati sono forse 30 centesimi di euro al mese per il controllo dello spam (non ho un forum enorme). Quindi è gestibile! Ho impostato un limite di 5 euro nella console API, per ogni evenienza.

[Saif (Saif Murtaza)]

@AquaL1te

Ad esempio, il nome del modello è stato impostato automaticamente nelle impostazioni, ma non era quello corretto.

Quale hai scelto per Claude? Qual era il nome errato mostrato e a cosa l’hai corretto?

[AquaL1te]

Utilizzo Claude 3.5, l’ID del modello di default è claude-3-5-haiku, ma ho dovuto cambiarlo in claude-3-5-haiku-20241022, altrimenti ricevevo un errore.

[Saif (Saif Murtaza)]

@AquaL1te

Uso Claude 3.5, l’ID del modello è per impostazione predefinita claude-3-5-haiku, ma ho dovuto cambiarlo in claude-3-5-haiku-20241022, altrimenti ho ricevuto un errore.

Buono a sapersi, sì, a volte potrebbe esserci una disconnessione. Le informazioni precompilate dovrebbero fungere da guida, il che tende a funzionare la maggior parte delle volte, ma in certi casi come il tuo (considerando tutti i diversi modelli e le configurazioni del provider) non è sufficiente.

Ho aggiornato l’OP di questa guida.

[jrgong]

@Discourse

• Gemini Flash 2.0

Questo modello non è elencato su 3.4.2: quelle pre-configurazioni sono disponibili solo su 3.5 e devo aggiungerle manualmente?

Modifica: Inoltre, quale opzione devo scegliere per “Tokenizer” quando utilizzo i modelli Grok 3?

[Falco]

@jrgong

Questo modello non è elencato su 3.4.2 - quelle pre-config sono disponibili solo su 3.5 e devo aggiungerle manualmente?

Le pre-config sono semplicemente modelli, puoi ottenere lo stesso risultato finale utilizzando la “Configurazione manuale”.

@jrgong

Modifica: Inoltre, quale opzione devo scegliere per “Tokenizer” quando si utilizzano i modelli Grok 3?

Ho scoperto che il tokenizer Gemini è abbastanza vicino a quello di Grok, quindi prova quello.

[CraigW (Craig Wright)]

È possibile utilizzare IBM WatsonX tramite la configurazione di gestione corrente, o ciò richiederebbe ulteriore lavoro di sviluppo da parte dello staff di Discourse?

[Falco]

Per caso, IBM WatsonX espone un’API compatibile con OpenAI?

[CraigW (Craig Wright)]

Ottima domanda. Una rapida scorsa alla documentazione non mi ha detto molto, ma il fatto che questo repository esista suggerisce che non è direttamente compatibile: GitHub - aseelert/watsonx-openai-api: Watsonx Openai compatible API

[AntiMetaman]

Quali di questi LLM sono gratuiti da usare per l’anti-spam?

Modifica: Lascia perdere, sto usando Gemini Flash 2.5

[pfaffman (Jay Pfaffman)]

Mi chiedo sempre anch’io. Questa sembra la migliore risposta a quella domanda.

@Saif

• Rilevamento Spam / Triage AI (Testo): I modelli Cost-Effective/Speed sono solitamente sufficienti ed economici (Haiku 3.5, Gemini 2.0 Flash, GPT-4o mini, Llama 3.3).
• Triage AI (Rilevamento Immagini NSFW): Richiede un modello Vision Capable (GPT-4o/mini, Sonnet 3.7, Gemini 2.5 Pro/2.0 Flash, Llama 3.2, modelli specifici ospitati/supportati da Discourse).

Ma c’è anche questo nell’OP dall’argomento Spam config. Penso che sia solo un po’ difficile da trovare in tutte le informazioni presenti.

@sam

Raccomandazioni per la selezione LLM

Le prestazioni del rilevamento dello spam dipendono dall’LLM scelto.

La maggior parte degli LLM a basso costo funziona efficacemente, come:

• GPT-4o-mini
• Claude 3.5 Haiku
• Gemini 2.0 Flash

Sperimenta con diversi modelli per trovare la soluzione migliore. Configura i tuoi modelli tramite /admin/plugins/discourse-ai/ai-llms.