지금 공공 데이터에서 환각(hallucination)과 함께 살고 있는 우리들은 환각을 식별하는 데 상당한 시간이 소요된다는 것을 잘 알고 있습니다.
이 문제를 고민하던 중, 게시글에서 Hide Details(상세 정보 숨기기) 기능을 사용하면 신뢰할 수 있는 검색 엔진이 해당 내용을 인덱싱하지 않을 가능성이 크다는 것을 떠올랐습니다. 이 기능은 제가 자주 사용하니까요.
Hide Details가 문제 해결의 일부는 달성하지만, 본래 처음부터 표시되어야 할 정보를 숨겨버립니다. 대신, 선택된 데이터에 환각을 포함하고 있음을 명시하는 메타데이터를 태그로 붙이고, 이 메타데이터가 생성 시점부터 API나 뷰어가 환각이 포함된 데이터를 식별할 수 있도록 끝까지 전달된다면 이 문제를 해결할 수 있을 것입니다. 또한 Hide Details와 유사하지만 환각용으로 설계된 아이콘 옵션도 있으면 좋겠습니다.
많은 분들이 이것이 단순히 디스코urs(Discourse)만의 문제가 아니라고 생각할 것이며, 저도 동의합니다. 하지만 디스코urs는 이 분야에서 충분히 큰 존재이므로, 다른 기관들과 그룹을 형성하여 표준을 설정하고 이 문제를 해결할 수 있을 것입니다. 시간이 지날수록 이 문제는 더욱 악화될 테니까요.
AI가 생성한 부정확한 데이터를 가리킨다면, 이를 환각(hallucination)이라고 부르는 것이 안전하다고 가정해도 될까요? 이러한 데이터를 인간이 만든 잘못된 정보와 다르게 취급하는 데 어떤 이점이 있을까요? 현재 사람들은 이 데이터를 인간 게시자의 내용보다 더 권위 있는 것으로 보고 있는 시점에 와 있는 걸까요?
다만 회사에 소속된 변호사나 관련 변호사에게 접근할 수 있다면 이 문제에 대해 물어보는 것이 도움이 될 수 있습니다. 이는 정부들이 법률 제정을 검토하고 있는 사안 중 하나인데, 저는 변호사가 아니지만, 법이 제정된 후에 그 법을 준수해야 하는 상황보다, 법이 만들어지기 전에 정부에 계획을 제시하는 것이 더 낫습니다.
네, 많은 연구자들이 인용 출처를 찾을 수 없게 될 때까지 그것이 실제 존재한다고 믿었습니다. 저는 그런 사례를 수집하지는 않지만, 원하신다면 주의 깊게 살펴보아 발견할 경우 기록해 두겠습니다.
말씀하시는 방향은 이해하지만, 제가 그 질문에 답하고 싶은 것은 아닙니다. 대신 다음과 같은 질문을 드리고 싶습니다.
사람들은 AI가 이제 정확해 보이지만 실제로는 그렇지 않은 인간과 유사한 텍스트를 생성하고 있다는 사실을 알고 있을까요?
사람들은 AI가 다른 인간이 만들었다고 확신하는 이미지, 또는 카메라로 촬영된 것처럼 보이지만 실제로는 AI가 생성한 이미지를 만들고 있다는 사실을 알고 있을까요?
사실에 기반한 정보에 이해관계가 있는 연구자, 교사 등이 환각이 메타데이터로 표시되었거나 환각 생성으로 알려진 출처에서 나왔다는 것을 알기를 원할까요?
더 큰 문제는 이러한 사실을 모르는 사람들을 악용하려는 다른 사람들이라는 점입니다. 데이터가 환각으로 표시되어 있고 메타태그가 제거된 경우, 변호사가 이를 의도를 입증하는 데 사용할 수 있다면 놀라지 않을 것입니다.
다시 한번 관심 가져 주셔서 감사합니다. 현재로서는 이 주제를 더 깊이 파고들 계획은 없으며, 질문하신 분이 이미 개념을 파악하신 것 같기 때문입니다. 하지만 다른 질문이 있으시면 기꺼이 답변해 드리겠습니다. 개인적으로는 사람들이 기술을 오용하고 싶어 하기 때문에 스팸 필터, 바이러스 스캐너, 그리고 이제는 환각 검사까지 필요 없는 세상에 살고 싶습니다.
AI에 대해 제가 우려하는 점 중 하나는, AI가 AI가 생성한 데이터로 학습되면서 정보가 점점 더 희석될 수 있다는 것입니다. 이를 피하기 위해, 인터넷 데이터를 기반으로 LLM을 학습시키는 조직들이 LLM 학습에 사용되는 데이터가 어떻게 생성되었는지 파악하는 것이 그들의 이익에 부합할 수 있습니다. 이를 위해 어떤 형태의 표준이 유용할 수 있습니다. 예를 들어, LLM이 "중급 마운틴 바이커를 위한 나나이모 최고의 마운틴 바이크 트레일은 무엇인가요?"라는 질문에 대한 ChatGPT의 답변을 나나이모의 마운틴 바이킹에 관한 권위 있는 데이터로 의존하는 것을 보고 싶지 않습니다.
생성된 콘텐츠(사용자 생성 콘텐츠 또는 AI 생성 콘텐츠)가 포함된 포럼을 이용할 때, 최종적으로 경계를 기울여야 하는 주체는 콘텐츠의 소비자(독자)입니다.
포럼 운영자가 포럼에 게시된 모든 생성 콘텐츠에 대해 책임을 지거나 책임져야 하는 것은 아닙니다. 그렇게 할 경우 법적 책임도 함께 수반되기 때문입니다. 특정 게시물을 '사실상 오류가 있음’으로 표시하면, 표시되지 않은 모든 게시물이 '사실상 정확하다’는 인상을 줄 수 있어 중대한 문제를 초래할 수 있습니다.
따라서 포럼 게시물에 담긴 정보의 사실적 정확성과 실질적 유용성을 평가하는 책임은 게시자가 아닌 소비자(독자)에게 있습니다.
이 기능은 사용자가 어떤 데이터의 일부가 환각(hallucination)을 포함하고 있을 수 있음을 식별할 수 있는 능력을 부여합니다. 또한 저는 어떤 주체가 그러한 식별의 책임을 지도록 요구하고 있는 것이 아니라, 사용자가 이러한 내용을 생성할 때 메타데이터를 통해 환각을 포함하고 있을 수 있음을 식별할 수 있는 방법을 제공하자는 것입니다. 그래서 Hide Details(상세 내용 숨기기)를 언급한 것입니다. 사용자는 필요할 때 이를 선택하여 사용할 수 있으며, 사용자가 원하는 만큼 많거나 적은 범위에 적용할 수 있습니다. 심지어 같은 답변 내에서 여러 번 사용할 수도 있습니다.
기능 요청에 이렇게 많고 다양한 답변이 달릴 줄은 몰랐습니다. 보통 게시 후에는 아무도 보지 않고 방치되곤 하거든요. 답변들 정말 감사합니다.
아래에서는 이 기능 요청과 관련된 두 가지 시나리오를 살펴볼 텐데요, 이를 통해 기능 요청에 대한 이해를 돕고자 합니다.
사용자가 환각(hallucination)을 식별하는 경우
사용자가 LLM(예: ChatGPT)을 이용해 그레고리안 성가(Gregorian chants)에 대한 정보를 검색합니다. 사용자는 ChatGPT의 응답을 Discourse 답변에 붙여넣습니다. 응답/완성문 중 환각이 포함된 부분에 대해 사용자는 해당 데이터를 선택하고 환각 표시 아이콘을 클릭하면 해당 섹션의 메타데이터(예: HTML span 또는 유사한 요소)가 업데이트되어 해당 스팬에 환각이 포함되어 있음을 표시합니다.
스팬은 커맨드라인의 옵션만큼 작을 수도 있습니다. ChatGPT에서 생성된 다음 커맨드라인을 살펴보면
gregorio -i --gregfont=“Caeciliae” myfile.gabc
gregfont 옵션이 환각으로 보이기 때문에, --gregfont="Caeciliae" 부분만 환각으로 표시해야 합니다.
4, 6, 4, 5