Discourse AI 플러그인에 AI 이미지 캡션(AI Image Captioning) 기능을 추가했습니다. 이를 통해 게시물의 이미지 캡션을 자동으로 생성할 수 있습니다. 이 기능은 콘텐츠 접근성을 높이고 커뮤니티 내 시각적 요소를 풍부하게 만드는 것을 목표로 합니다.
기능 및 사용법
자동 AI 캡션: 편집기에 이미지를 업로드하면 AI를 사용하여 캡션을 자동으로 생성할 수 있습니다.
편집 가능한 캡션: 생성된 캡션은 콘텐츠의 맥락과 톤에 맞게 수정할 수 있습니다.
향상된 접근성: 이 기능은 스크린 리더를 사용하는 사용자를 위한 더 접근성 좋은 콘텐츠 제작을 지원합니다.
사용 방법
Discourse 편집기에 이미지를 업로드합니다.
이미지 근처의 “AI로 캡션 생성” 버튼을 클릭합니다.
생성된 캡션이 표시되며, 이를 수정할 수 있습니다.
캡션을 승인하여 게시물에 포함시킵니다.
피드백
이 기능을 개선하기 위해 여러분의 피드백이 매우 중요합니다. 이 기능은 Meta에서 활성화되어 있으므로, 이 주제에서 여러분의 경험, 문제점 또는 제안을 공유해 주세요.
농담을 접어두고 말하지만, 특히 #접근성 측면에서 이는 훌륭한 발전입니다. 이전 A11Y 보고서에서 이미지 대체 텍스트(alt text) 누락은 주요 지적 사항 중 하나였는데, 이전에는 이미지가 사용자가 업로드한 콘텐츠라는 이유로 이를 모두 무시해 왔습니다. 이번 변화는 훨씬 더 나은 접근성을 위한 명확한 방향을 제시합니다.
하지만 찾기가 정말 어렵습니다. 사용자가 이미지를 마우스로 올려야 버튼이 보이고, 그 다음에 클릭해야 하거든요(대부분의 사람은 이걸 모를 거예요).
제가 이 기능을 알고 찾아보고 있었지만, 마우스를 올려야 한다는 걸 알기 위해 동영상을 확인해야 했습니다.
개인적으로는 처음 사용할 때 사용자가 쉽게 인지할 수 있도록 눈에 확 띄게 해야 한다고 생각해요. 사용자가 아무것도 클릭하지 않아도 기본적으로 자막을 생성하게 만들 수도 있죠
이 방식은 (인터넷) 이미지 링크를 AI 서비스에 전송하나요, 아니면 이미지 콘텐츠를 업로드하나요, 아니면 Discourse에서 로컬로 어떤 "해싱"을 수행하나요? 서버 측에서 처리되나요, 아니면 JavaScript(즉, 클라이언트 IP를 외부 서비스에 노출)를 사용하나요?
동의합니다. 다만 하드웨어 한계로 인해 품질이 저하될 수 있습니다. 모델 크기, 양자화(quantization), 또는 최소 VRAM에 대한 추천 사항을 경험에 비추어 공유해 주실 수 있을까요? (전체 모델만 있는 것 같아서 양자화 모델이 있는지 확실하지 않습니다. 그들의 "zoo"에는 전체 모델만 있는 것 같습니다.)
현재는 Mistral 7B를 기반으로 한 가장 작은 버전의 모델을 실행하고 있습니다. 단일 A100 서버에서 21GB의 VRAM을 사용하며, ghcr.io/xfalcox/llava:latest 컨테이너 이미지를 통해 실행되고 있습니다.
불행히도 멀티모달 모델 생태계는 텍스트-텍스트 모델만큼 성숙하지 않아, vLLM이나 TGI 같은 추론 서버를 활용할 수 없는 상황입니다. 그래서 현재는 일회용 마이크로서비스에 의존하고 있습니다. 올해 상황이 달라질 수 있습니다. 멀티모달 지원은 vLLM의 로드맵에 포함되어 있지만, 그 때까지는 해당 서비스들을 통해 상황을 점검해 볼 수 있을 것입니다.
여기에서도 내 사이트에서도 생성된 모든 캡션이 “이미지에 …가 있습니다” 또는 “…의 이미지” 같은 표현으로 시작하는 것을 확인했습니다. 이는 불필요하고 중복된 내용으로 보입니다. 프롬프트를 업데이트하여 이미지가 이미지라는 설명은 필요 없다는 점을 명시해 주실 수 있을까요?
