Ho appena avuto una conversazione bizzarra con l’AI di supporto. Mi ha dato consigli sbagliati due volte, poi ha negato completamente di aver detto le cose che aveva appena detto. Anche quando ho incollato screenshot e copie del testo, ha continuato a negare e mi ha accusato di mentirle. O l’AI impazzisce, o impazzisco io 
In ogni caso, sta chiaramente malfunzionando in diversi modi, quindi ho pensato che valesse la pena menzionarlo qui.
Se per caso sai quale modello veniva utilizzato, insieme a eventuali impostazioni rilevanti come il livello di ragionamento, queste informazioni potrebbero essere utili. Modelli e impostazioni di ragionamento diversi possono comportarsi in modo diverso, quindi questi dettagli potrebbero aiutare a restringere il campo su ciò che è accaduto.
Nota:
Sono un utente abituale del forum Discourse di OpenAI, quindi sono piuttosto abituato a vedere segnalazioni relative a risposte contraddittorie dell’AI, perdita o fraintendimento del contesto conversazionale e casi in cui un modello nega erroneamente qualcosa che ha detto in precedenza.
Da quanto ho osservato lì, segnalazioni così estreme sembrano essere meno comuni ora rispetto a quando i modelli di ragionamento hanno iniziato a diventare ampiamente disponibili, più di un anno fa, anche se si tratta solo della mia impressione e non di qualcosa che posso quantificare.
Grazie – come faccio a verificare quale modello viene utilizzato? È la mia prima volta come amministratore di un forum Discourse, quindi mi sto ancora abituando. Non ricordo di aver mai apportato modifiche legate all’IA, quindi presumo che si tratti dell’impostazione predefinita di Discourse.
Si tratta, tra l’altro, di un forum ospitato.
Questa è esattamente la domanda che cercherei di risolvere se fossi un amministratore che segue una segnalazione come questa.
Sono un amministratore su un altro forum ospitato su Discourse, quindi farò un po’ di ricerche.
Ho anche chiesto a ChatGPT di controllare la mia risposta e ha aggiunto quanto segue, che sto ora verificando, ma che volevo condividere così non dovrete aspettare.
Secondo la documentazione di Discourse AI, gli amministratori possono ispezionare i modelli configurati sotto:
Admin → Plugins → Discourse AI → LLMs
Le funzionalità di Discourse AI sono inoltre supportate da personae e una persona può essere configurata per utilizzare un LLM specifico. La configurazione attuale della funzionalità AI può mostrare quale persona e quale LLM stanno alimentando una particolare funzionalità.
Riferimenti utili:
Quello che non ho ancora trovato è un metodo documentato per un utente comune per ispezionare una conversazione Help AI completata e vedere il modello esatto che ha gestito quella specifica interazione.
Se qualcuno sa se queste informazioni sono esposte agli utenti, agli amministratori o nei log del sito per una richiesta individuale, per favore aggiungile qui. Sarebbe utile per segnalazioni come questa.
Nella revisione della sezione generata dall’AI sopra, che sto lasciando invariata per trasparenza, apporterei alcune correzioni.
Primo, rimuoverei il link Discourse AI – Bot AI. Non sembra necessario per rispondere alla domanda specifica su quale modello viene utilizzato.
Rimuoverei anche:
Quello che non ho ancora trovato è un metodo documentato per un utente comune per ispezionare una conversazione Help AI completata e vedere il modello esatto che ha gestito quella specifica interazione.
Questa limitazione non è particolarmente rilevante qui, poiché hai notato che sei un amministratore, quindi hai accesso a informazioni di configurazione a cui un utente comune non avrebbe accesso.
Infine, ora che so dove trovare i dettagli di configurazione rilevanti, rimuoverei anche:
Se qualcuno sa se queste informazioni sono esposte agli utenti, agli amministratori o nei log del sito per una richiesta individuale, per favore aggiungile qui. Sarebbe utile per segnalazioni come questa.
A questo punto, il percorso più utile è ispezionare la configurazione di Discourse AI e determinare quali LLM sono assegnati alla funzionalità Help AI.
C’è una lista molto lunga di impostazioni per l’IA, ma queste sono le prime in assoluto. Fammi sapere se devi cercare qualcosa di specifico, oppure posso pubblicare l’intera lista.
MODIFICA: Ho un account Claude completamente separato da questo e Claude è piuttosto utile per le query su Discourse, ma mi aspetterei che l’agente helper di Discourse predefinito fosse migliore di un’IA generica.
Poiché non sono un esperto di ogni impostazione attuale di Discourse AI, questa è la mia migliore comprensione.
Sia sul mio sito che sul tuo, l’impostazione mostra:
Modello LLM predefinito: CDCK Hosted LLM
Da quanto riesco a trovare, si tratta del servizio LLM gestito da Discourse. Più precisamente, l’attuale implementazione CDCK/MoM è un layer di routing Mixture of Models (Miscela di Modelli) piuttosto che un singolo modello fisso. Può instradare le richieste verso diversi modelli open-weight a seconda del compito. Discourse fornisce una spiegazione utile qui:
Un altro luogo utile da consultare è:
/admin/plugins/discourse-ai/ai-llms
Questa è la pagina di configurazione LLM di Discourse AI, dove gli amministratori possono visualizzare le connessioni LLM configurate e quali modelli sono disponibili per le funzionalità di Discourse AI.
Ad esempio, sul sito di cui sono amministratore vedo:
che indicherà se è questo a supportare l’azione che hai utilizzato.
Sembra che questo risponda alla domanda che ho fatto su modello e impostazioni.
A prima vista, quella lista mi ha un po’ sorpreso. Poi mi sono chiesto se forse stavi utilizzando il piano Free.
Dando un’occhiata alla tua precedente discussione Changing to Full Width, ho trovato:
Sto utilizzando la prova gratuita di 14 giorni per la versione Pro
Quindi la mia curiosità è stata soddisfatta.
Un altro esempio, così sai che non sei l’unico.
Ora sono al piano Pro completo, quindi dovrebbe essere quello predefinito.
Inoltre, mi sento molto più a mio agio con la larghezza di Discourse e ho apportato le modifiche necessarie. Guardando indietro ai vecchi forum a larghezza piena, sembra strano
A questo punto non c’è molto altro che io possa aggiungere, ma non volevo lasciarvi in dubbio sul fatto che stia ancora indagando sull’argomento.
Sono contento che abbiate pubblicato questo messaggio. Mi aspetto che altri possano incontrare qualcosa di simile in futuro, e questo argomento ora fornisce una documentazione utile e un percorso più chiaro per indagare sulla questione.
