Posso adicionar outros provedores de modelos AWS Bedrock como LLMs personalizados?

Suporte
1

Estou usando o AWS Bedrock com os provedores Anthropic no momento e funciona muito bem, mas estou me perguntando se há uma maneira de adicionar também os outros provedores que a AWS oferece, como Titan e Llama. Vejo que há uma opção de LLM personalizado, mas não tenho certeza do que colocar em algumas das caixas de texto, como chave de API e URL, já que essas são um pouco diferentes para o AWS Bedrock.

Se alguém puder fornecer esclarecimentos sobre isso, seria ótimo!

1 curtida
2

Estamos trabalhando para tornar nossa configuração de LLM flexível o suficiente para suportar qualquer modelo existente, desde que ele esteja em conformidade com qualquer uma das APIs suportadas, e já enviamos parte desse esforço para tornar possível o uso de qualquer API compatível com OpenAI há algumas semanas, mas ainda estamos longe de fazer isso funcionar com outras APIs como a Bedrock.

2 curtidas