Posso aggiungere altri provider di modelli AWS bedrock come LLM personalizzati?

Supporto
1

Attualmente sto usando AWS Bedrock con i provider Anthropic, e funziona benissimo, ma mi stavo chiedendo se ci fosse un modo per aggiungere anche gli altri provider offerti da AWS come Titan e Llama. Vedo che c’è un’opzione LLM personalizzata, ma non sono sicuro di cosa inserire in un paio delle caselle di testo, come la chiave API e l’URL poiché sono un po’ diversi per AWS Bedrock.

Se qualcuno può fornire chiarimenti in merito, sarebbe fantastico!

2

Stiamo lavorando per rendere la nostra configurazione LLM sufficientemente flessibile da supportare qualsiasi modello esistente, a condizione che sia conforme a una delle API supportate, e abbiamo già spedito parte di questo sforzo per rendere possibile l’utilizzo di qualsiasi API compatibile con OpenAI qualche settimana fa, ma siamo ancora lontani dal far funzionare questo con altre API come Bedrock.