방금 헬프 AI와 기이한 대화가 있었습니다. 두 번이나 잘못된 조언을 줬는데, 방금 한 말을 완전히 부인했습니다. 스크린샷과 텍스트를 복사해서 붙여넣어 보여줬는데도 여전히 부인하면서 제가 거짓말을 하고 있다고 비난했습니다. AI가 미친 건지, 제가 미친 건지 모르겠네요 
어쨌든 여러 가지로 제대로 작동하지 않는 것 같아서 여기에 언급해 보았습니다.
혹시 어떤 모델이 사용되었는지, 그리고 추론 수준과 같은 관련 설정이 무엇인지 알고 계신다면 그 정보가 도움이 될 수 있습니다. 모델과 추론 설정에 따라 동작 방식이 달라질 수 있으므로, 이러한 세부 정보가 어떤 일이 있었는지 파악하는 데 도움이 될 수 있습니다.
참고:
저는 OpenAI 디스코urses 포럼의 단골 방문객이라, 모순된 AI 응답, 대화 맥락의 손실 또는 오해, 그리고 모델이 이전에 한 말을 잘못 부인하는 사례에 대한 보고를 자주 접합니다.
거기서 제가 관찰한 바로는, 1년 이상 전 추론 모델이 처음 널리 이용 가능해졌을 때에 비해 이처럼 극단적인 사례는 이제 덜 흔한 것 같습니다. 물론 이것은 제가 정량화할 수 있는 것이 아니라 단지 제 인상일 뿐입니다.
감사합니다 - 어떤 모델이 사용되고 있는지 확인하는 방법은 무엇인가요? 저는 처음 Discourse 포럼 관리자 역할을 맡아서 아직 적응 중입니다. AI 관련 변경 사항을 직접 설정한 기억이 없어서, AI는 Discourse 기본 설정일 것이라고 추측하고 있습니다.
참고로 이 포럼은 호스팅된 포럼입니다.
이런 보고서를 추적하는 관리자라면 제가 바로 파악해 보려 할 질문이 정확히 이것입니다.
저는 다른 Discourse 호스팅 포럼의 관리자이므로, 조금 더 조사해 보겠습니다.
또한 ChatGPT에게 제 답변을 검토해 달라고 요청했는데, 그 결과가 다음과 같이 추가되었습니다. 이제 이를 검증할 예정이지만, 여러분이 기다리지 않도록 먼저 공유합니다.
Discourse AI 문서에 따르면, 관리자는 다음 경로에서 구성된 모델을 검사할 수 있습니다:
Admin → Plugins → Discourse AI → LLMs
Discourse AI 기능은 또한 **페르소나(personas)**에 의해 뒷받침되며, 페르소나는 특정 LLM을 사용하도록 구성할 수 있습니다. 현재 AI 기능 구성은 특정 기능을 구동하는 페르소나와 LLM을 보여줄 수 있습니다.
유용한 참고 자료:
- Discourse AI – Large Language Model (LLM) settings page
- New feature page and customizable prompts in Discourse AI
- Discourse AI – AI bot
아직 찾지 못한 것은 일반 사용자가 완료된 Help AI 대화를 검사하여 해당 특정 상호작용을 처리한 정확한 모델을 볼 수 있는 문서화된 방법입니다.
이 정보가 사용자, 관리자 또는 개별 요청의 사이트 로그에 노출되는지 아는 분이 있다면 여기에 추가해 주세요. 이런 보고서에 유용할 것입니다.
위에서 AI가 생성한 부분을 검토하면서, 투명성을 위해 변경하지 않고 그대로 두겠습니다. 몇 가지 수정 사항을 제안합니다.
첫째, Discourse AI – AI bot 링크를 제거하겠습니다. 어떤 모델이 사용되고 있는지에 대한 특정 질문에 답하는 데 필요하지 않아 보입니다.
또한 다음 내용을 제거하겠습니다:
아직 찾지 못한 것은 일반 사용자가 완료된 Help AI 대화를 검사하여 해당 특정 상호작용을 처리한 정확한 모델을 볼 수 있는 문서화된 방법입니다.
이 제한 사항은 특별히 관련이 없습니다. 귀하가 관리자임을 언급했으므로, 일반 사용자는 접근할 수 없는 구성 정보에 접근할 수 있기 때문입니다.
마지막으로, 이제 관련 구성 세부 정보를 어디서 찾을 수 있는지 알게 되었으므로 다음 내용도 제거하겠습니다:
이 정보가 사용자, 관리자 또는 개별 요청의 사이트 로그에 노출되는지 아는 분이 있다면 여기에 추가해 주세요. 이런 보고서에 유용할 것입니다.
이 시점에서 더 유용한 경로는 Discourse AI 구성을 검사하여 Help AI 기능에 어떤 LLM이 할당되어 있는지를 확인하는 것입니다.
모든 최신 Discourse AI 설정에 대한 전문가가 아니므로, 제 이해 범위 내에서 최대한 설명드리겠습니다.
제 사이트와 질문자님의 사이트 모두 해당 설정이 다음과 같이 표시됩니다:
기본 LLM 모델: CDCK Hosted LLM
찾아본 바로는, 이는 Discourse의 호스팅 LLM 서비스입니다. 더 정확히 말하면, 현재 CDCK/MoM 구현은 고정된 단일 모델이 아니라 모델의 혼합(Mixture of Models) 라우팅 레이어입니다. 작업에 따라 다양한 오픈 웨이트 모델로 요청을 라우팅할 수 있습니다. Discourse에 유용한 설명이 여기에 있습니다:
또 다른 유용한 확인場所は:
/admin/plugins/discourse-ai/ai-llms
이곳은 Discourse AI LLM 설정 페이지로, 관리자가 구성된 LLM 연결과 Discourse AI 기능에서 사용할 수 있는 모델을 확인할 수 있습니다.
예를 들어, 제가 관리자로 있는 사이트에서는 다음과 같은 것을 볼 수 있습니다:
이것은 해당 모델이 질문자님이 사용한 작업을 뒷받침하고 있는지 여부를 보여줍니다.
이는 제가 모델과 설정에 대해 질문했던 것에 대한 답변으로 보입니다.
처음에는 그 목록에 대해 약간 놀랐습니다. 그러다 혹시 무료 플랜을 사용 중이 아닐까 궁금해졌습니다.
이전에 작성하신 전체 너비로 변경 주제를 확인해 보니 다음과 같은 내용이 있었습니다:
프로 버전의 14일 체험판을 사용 중입니다
그래서 제 궁금증이 풀렸습니다.
당신만 그런 것이 아니라는 또 다른 예시입니다.
지금은 풀 프로 플랜을 사용하고 있으므로, 해당 플랜의 기본 설정이어야 합니다.
또한 이제 Discourse의 폭에 훨씬 더 익숙해졌고, 필요한 조정도 마쳤습니다. 과거의 풀 와이드 포럼을 다시 돌아보면 좀 이상해 보입니다
지금 이 시점에서 더 추가할 내용은 많지 않지만, 제가 아직 이 문제를 조사하고 있는지 궁금해하실까 봐 말씀드립니다.
이 내용을 올려주셔서 감사합니다. 앞으로 다른 분들도 비슷한 상황을 겪을 수 있을 것으로 생각되며, 이 주제는 유용한 문서화와 함께 문제를 조사하는 데 더 명확한 방향을 제시해 줄 것입니다.