Discourse AI 플러그인에 이미지 내 텍스트를 게시글에 추가하는 기능(OCR)을 지원할 수 있을까요? 이를 위해 Google Lens API(Cloud Vision) 지원을 추가할 수 있을까요?
멀티모달 LLM을 활용해 이미지 설명을 생성하는 기능을 로드맵에 포함하고 있습니다. 이를 통해 일정한 수준의 OCR 기능도 제공할 수 있을 것으로 보입니다. 하지만 순수한 OCR이 필요하시다면 해당 플러그인을 사용해 보시는 건 어떨까요?
4개의 좋아요
저는 이 플러그인을 Discourse의 이전 버전에서 사용했고, 정상적으로 작동했습니다. 하지만 안타깝게도 Discourse의 새로운 버전에서는 더 이상 작동하지 않습니다.
1개의 좋아요
AI Image Captioning Feature in Discourse AI Plugin 링크를 참고해 주세요. 해당 기능이 이제 준비되어 메타(meta)에서 활성화되었습니다.
3개의 좋아요
이 이슈는 아직 열어두는 것이 좋다고 생각합니다. 자막 생성 기능은 OCR과 관련이 있지만, 정확히 OCR은 아니기 때문이죠.
예를 들어 OCR을 사용하면 노트 사진을 찍어 올린 뒤, 텍스트를 그대로 인쇄할 수 있습니다. AI 자막 생성은 훨씬 정교하지만, 텍스트 한 페이지 전체를 인쇄할 때的那种 정확도를 제공하지는 못합니다.
언제 OCR 작업을 할 수 있을지는 모르겠지만, 기능 자체가 조금은 다른 것 같습니다.
6개의 좋아요
Anthropic Claude 3에 비전 지원 기능이 추가되면서 OCR 작업에서도 상당히 잘 수행되고 있습니다. 예를 들어
https://discuss.samsaffron.com/discourse-ai/ai-bot/shared-ai-conversations/SgoTgmNJ-ZB-wz4JAZETtw
2개의 좋아요
독일어로 울음
진지한 이야기로 넘어가면, 이런 이미지에서 어떻게 나올지 궁금합니다:
Tesseract는 다음과 같은 결과를 반환합니다:
MINGW64 ~/Source/Repos/Sut. Driver. Firmware
$ git push
Locking support detected on remote “origin”. Consider enabling it with:
$ git config Ifs ‘1fs.locksverify true
LFS: Access forbidden. Check your access level.
error: failed to push some refs to
MINGW64 ~/Source/Repos/Sut. Driver. Firmware
$ git push
Locking support detected on remote “origin”. Consider enabling it with:
$ git config Ifs. /\fs.locksverify true
Uploading LFS objects: 100% (1/1), 584 KB | 0 B/s, done.
Enumerating objects: 9, done.
Counting objects: 100% (9/9), done.
Delta compression using up to 8 threads
Compressing objects: 100% (3/3), done.
Writing objects: 100% (5/5), 478 bytes | 478.00 KiB/s, done.
Total 5 (delta 1), reused 0 (delta 0), pack-reused 0 »
remote:
remote: To create a merge request for visit:
remote: 1
remote:
To
2c50e5b. . ba25f3e
L MINGN64 ~/Source/Repos /Sut. Driver. Firmware
(이 결과가 꽤 합리적으로 나와서 놀랐습니다. Tesseract는 이런 유형의 예제에서 줄 순서를 바꾸거나 글자를 깨뜨리는 경우가 많거든요.)
Sam, 그 이미지를 claude에 넣고 결과를 올려줄 수 있을까?
여기서 자유롭게 시도해 보세요. Claude의 크리에이티브 페르소나는 비전(Vision) 기능을 지원하며, 방금 활성화했습니다.
https://meta.discourse.org/t/parsing-complex-json-data-in-tris20-code/301329
이것은 제 실력 부족이거나, Claude가 아주 쉽게 처리하고 있는 것 같습니다. 
스킬 부족 Creative 성격이 아닌 Forum Helper를 사용하고 있었네요.
Claude Creative는 이렇게 반환합니다:
MINGW64 ~/Source/Repos/Sut.Driver.Firmware (kingfisher)
$ git push
Locking support detected on remote “origin”. Consider enabling it with:
$ git config lfs.http://tfs.locksverify true
LFS: Access forbidden. Check your access level.
error: failed to push some refs to ‘http://tfs.lockeed/tfs/HnC/TEC/SUT/Driver%20Firmware/_git/Sut.Driver.Firmware’MINGW64 ~/Source/Repos/Sut.Driver.Firmware (kingfisher)
$ git push
Locking support detected on remote “origin”. Consider enabling it with:
$ git config lfs.http://tfs.locked/tfs.locksverify true
Uploading LFS objects: 100% (1/1), 584 KB | 0 B/s, done.
Enumerating objects: 9, done.
Counting objects: 100% (9/9), done.
Delta compression using up to 8 threads
Compressing objects: 100% (3/3), done.
Writing objects: 100% (5/5), 478 bytes | 478.00 KiB/s, done.
Total 5 (delta 1), reused 0 (delta 0), pack-reused 0
remote: To create a merge request for kingfisher, visit:
remote: http://tfs.locked/tfs/HRC/TEC/SUT/_git/Sut.Driver.Firmware/pullrequest/new?sourceRef=kingfisher&targetRef=develop
remote:
To http://tfs.locked/tfs/HRC/TEC/SUT/_git/Sut.Driver.Firmware
2c50e5b…ba25f3e kingfisher - kingfisherMINGW64 ~/Source/Repos/Sut.Driver.Firmware (kingfisher)
$
흥미로운 결과입니다. 이 예시에서는 두 모델이 서로 비슷한 수준이지만 각기 다른 결함을 가지고 있다고 느낍니다. Claude는 여기서 URL을 환각(hallucinate)하여, git 이슈를 근거로 풀 리퀘스트를 수행하고 있다고 맥락적으로 추측하고 있습니다.
Tesseract는 환각을 일으키지 않으며, 이 경우 더 정확해 보입니다. 눈에 띄는 유일한 점은 4번째 줄의 1fs와 10번째 줄의 \fs가 lfs가 아니라는 것입니다.
Claude도 전반적으로 비슷한 오류를 범하며, lfs 대신 tfs를 사용하고 있습니다. 맥락에 기반한 URL 추론을 통해 문맥을 이해했다는 것이 드러나는데도, 이 문제 영역에서 두드러진 lfs 대신 완전히 새로운 것인 tfs를 만들어낸 것은 놀라운 일입니다.
1개의 좋아요
여기서 정말 입을 벌리게 한 것은 상호작용할 수 있는 OCR 엔진이 있다는 사실입니다.
왕물떼새 환각(hallucination)이 마음에 안 드시나요… 괜찮습니다… 그냥 그렇게 하지 말라고 요청하면 됩니다.
이 기술로 할 수 있는 일은 정말 정신을 아찔하게 만듭니다:
https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/q8V7Vy97cjMkIzktxovWHw
(원문 게시물에서 이미지가 깨져 있는 점에 대해 사과드립니다. 수정 중이며, 이미지는 다음과 같습니다.)
1개의 좋아요