우리의 ‘D’ 사이트에서 AI 이미지 캡셔닝을 생성하기 위해 Open_AI의 유료 플랜(계정에 사전 크레딧 잔고를 유지해야 시작할 수 있음)을 사용하거나, 무료 및 오픈 소스인 Llava AI API를 사용할 수 있습니다.
하지만 Llava API 키 생성 방법에 대한 지침을 찾기 위해 3시간째 구글링을 하고 있습니다. 많은 영상을 봤음에도 불구하고 올바른 방향을 잡지 못했습니다.
Llava 인터페이스/웹사이트에는 필요한 API 키를 바로 생성할 수 있는 옵션이 없는 것 같습니다:
호기심이 많은 사용자를 올바른 방향으로 안내할 수 있는 ‘작은 링크’ 하나만 있다면 사용자에게 매우 유용할 것 같습니다. 다음과 같은 것 말이죠:
아니면 이 정도면 더 좋겠습니다:
이것이 찾고 계신 내용인가요? API 토큰 가져오기
감사합니다.
하지만 그것이 제게 한 단계만 나아갈 수 있게 해준 것 같다는 점을 발견했습니다. 왜냐하면 Google Gemini의 경우, D-Site 설정에 해당 키를 입력하자마자 Gemini에 의존하는 모든 기능이 완벽하게 작동하기 시작했기 때문입니다.
하지만 이 Hugging Face API 시크릿 키(당신이 안내해준 키)를 Disco-Settings에 입력한 후에도 이미지 캡셔닝(Image Captioning)에서는 'Error 500’이 발생합니다. (이미지 캡셔닝 모델로 'Open-Ai Gpt4-Vision Preview’를 선택하면 동일한 이미지 캡셔닝은 정상적으로 작동합니다.)
또한 Llava는 D-Site 설정에서 Hugging Face 또는 Llava라고 명명된 빈 필드가 너무 많아(한 곳에서는 Llava를 사용하고 다른 곳에서는 Hugging Face를 사용하는 이유도 혼란을 가중시킵니다) 중복되지 않을 것이라고 확신합니다.
따라서, D-Site-Settings의 이러한 모든 빈 필드에 값을 입력하거나 이를 적절하게 구현하는 데 도움이 될 인터넷 자원을 알려주실 수 있을까요?
여기에 일부 구성 정보가 있는 것 같습니다:
LLaVa의 경우, 현재는 ghcr.io/xfalcox/llava:latest 컨테이너 이미지를 통한 자체 호스팅만 지원합니다.
최소 24GB의 VRAM을 갖춘 GPU가 있는 서버에 접근 권한이 있다면 자체 호스팅을 할 수 있으며, 그렇지 않다면 GPT-4V 사용을 권장합니다.
