Mi dispiace ragazzi, non sono riuscito a capire da questo articolo se l’LLM installato localmente possa essere configurato tramite l’interfaccia utente delle impostazioni standard?
2 Mi Piace
Penso che finché espone un’API supportata dovrebbe essere possibile.
C’è un LLM particolare che stai pianificando di installare (o hai già installato) localmente?
4 Mi Piace
questo argomento potrebbe essere d’aiuto
6 Mi Piace
[citazione=“mcwumbly, post:2, topic:368413”]
C’è un LLM particolare che stai pianificando di installare (o hai già installato) localmente?
[/citazione]
Questa è un’altra attività per scegliere quello giusto - non ero sicuro nemmeno dopo aver letto i tuoi articoli relativi all’IA qui su Meta.
Immagino che uno strumento di Selezione LLM Open Source dal Team di Discourse sarebbe molto utile - perché conoscete i meccanismi interni e di cosa esattamente un LLM deve essere capace di fare per eccellere in vari tipi di compiti rilevanti per le comunità di Discourse. Quindi, lo strumento/wizard/LLM farebbe domande o mi permetterebbe di spuntare/togliere da una lista di oltre 20 compiti tipici che vorrei che l’LLM svolgesse nella mia comunità, e poi ricevere una Top 3 raccomandata (senza compromessi ma più pesante e che richiede hardware costoso; bilanciato che richiede un server dedicato a prezzo medio; e leggero per compiti basilari in comunità da piccole a medie che può girare su un VPS da $20-40).
2 Mi Piace
Penso che mantenere la risposta corretta a ciò sarebbe un lavoro a tempo pieno. 
5 Mi Piace
Se stai cercando qualcosa di economico, il livello gratuito di Gemini è la soluzione ideale:
Gemini flash 2.0 è un modello molto capace e il livello gratuito offre un utilizzo sufficiente per eseguire diverse operazioni sul tuo forum.
5 Mi Piace
Cerco una soluzione con hosting locale perché non posso inviare i nostri contenuti a nessun servizio al di fuori dei nostri server.
Grazie per la dritta sulle opzioni economiche!
4 Mi Piace
Senza compromessi
- DeepSeek V3 0324
- Qwen 3 235B A22
Bilanciato
- Qwen 3 32B / 30B A3B
- Llama 3.3 70B
- Qwen 2.5 70B
Leggero
Forse unsloth/gemma-3-4b-it-qat-GGUF · Hugging Face? È difficile a questo livello, molto più economico usare un’API ospitata, come OpenRouter.
4 Mi Piace