이 기능이 실제로 작동하는 모습을 지켜본 행운의 당사자 중 한 명으로서, 이는 대형 사이트에서 반드시 이해하고 도입을 고려해야 할 기능입니다.
LLM 기반 AI를 활용하기 때문에 항상 올바른 결론에 도달하는 것은 아니지만, 며칠 동안 모더레이터의 일부 업무를 대신 수행하는 모습을 지켜본 결과, 상당한 부분이 정확히 처리되어 확실한 이점이 되었습니다.
이 기능에 대한 초기 토론은 OpenAI 사이트의 Lounge 카테고리에 있습니다. 해당 카테고리는 누구나 접근할 수 있지만, TL3 요건을 충족해야 하며, OpenAI가 대형 사이트인 점을 고려하면 TL3 등급을 얻기까지 상당한 노력이 필요합니다.
접근 권한이 있는 분들을 위해 링크를 공유합니다.
https://community.openai.com/t/lost-users-first-empirical-data/403082/95
기본적으로 이 로직은 특정 문제에 대해 모더레이터들을 돕기 위해 작동합니다. 새 사용자 게시글 중 약 5%가 포럼을 ChatGPT에 질문을 남기는 곳으로 오해하고 게시하는 것으로 확인됩니다. 분명히 길을 잃었거나, 검색 결과가 잘못된 링크를 제공하고 있는 경우입니다. AI는 이러한 게시글을 식별하고, 미리 작성된 텍스트로 답변을 남기며, 필요에 따라 카테고리 및 태그를 변경합니다. 예를 들어:
언급된 사례의 경우, "Discourse AI Post Classifier - Automation rule"이 수행하는 작업은 다음과 같습니다.
자동 게시글 분류
분류기는 필요에 따라 카테고리를 ChatGPT로 변경합니다. 대부분의 새 사용자는 카테고리를 선택하지 않으며, 현재 OpenAI 사이트는 새 게시글의 기본 카테고리를 API로 설정하고 있는데, 이 경우 이는 잘못된 설정입니다.
게시글 태그 지정
이 경우 분류기는 태그를 lost-user로 변경합니다. 이 태그 이름은 수동으로 태그를 변경하던 포럼의 TL3 사용자가 생성한 것입니다.
자동 응답
분류기는 미리 작성된 게시글로 답변을 남깁니다.
토픽 숨김 처리
이 사이트의 개발자 사용자에게 가치가 없는 내용이었기 때문에, 해당 토픽은 unlisted 상태로 설정됩니다.
답변 작성자
답변의 작성자로 System이 사용됩니다.
참고: 이 기능의 설정(Configuration) 정보를 제공하고자 하지만, 접근 권한이 없습니다. 아마도 @Sam님이 세부 정보를 추가해 주실 수 있을 것입니다. AFAIK(제 지식이 닿는 한) 설정에는 기밀 정보가 없으므로 공개해도 무방할 것입니다. 특정 사이트를 위한 설정이므로 공개 저장소에서 찾기 어렵다고 예상합니다. 이 기술을 이해하신다면 올바른 값, 혹은 그와 유사한 값을 추측하는 것은 어렵지 않습니다. System Prompt 작성에는 상당한 노력이 들었으며, 아마도 @sam님이 개발 단계에서 배운 교훈 중 일부를 공유해 주실 수 있을 것입니다. 프롬프트 작성에 대한 지식은 개발 단계에서 큰 가치를 제공했습니다.
System Prompt
참고: 이는 OpenAI Lounge에 게시된 버전입니다(ref). 최종 버전은 다를 가능성이 높지만, 하나의 예시만으로도 추측을 많이 줄일 수 있습니다.
You are bot that is triaging all first interactions a user has on the OpenAI developer forum.
Please only ever respond with “ok” or “bad”
Posts are on topic and ok if:
They relate to OpenAI APIs / Community / Plugin development / Documentation / Prompting
They are about developing or improving methods for prompting large language models
They relate to AI in a general way
They involve complex discussions or logical problems related to AI
Posts are bad if:
A user appears to be having a random conversation with ChatGPT
A user is off topic discussing an unrelated field
A user is prompting a large language model to generate text without a clear purpose
You have extreme difficulty understanding what they are about
Relates to an OpenAI topic BUT is clearly a conversation with a bot
A user is attempting to train or test the AI model through their post
A user is giving instructions or asking for responses in a non-discussion format
A user is posting content that is not conducive to meaningful discussion or learning
A user is posting hypothetical or speculative content without clear relation to OpenAI’s scope
A user is posting the entire post in a language that is not English
Please classify the following content surrounded by [[[]]]:
[[[
%%POST%%
]]]
참고
이 기능을 사용하는 사이트의 모더레이터이면서 unlisted 게시글 목록을 보고 싶다면, 검색 기능을 사용할 수 없다는 점을 기억하세요. 대신 카테고리로 이동한 후 태그를 선택하여 해당 목록으로 이동할 수 있습니다. 또는 URL을 직접 구성할 수도 있습니다. 예를 들어 https://community.openai.com/tags/c/chatgpt/19/lost-user
네, 영어 이외의 언어에서도 작동합니다.
그러나 이미지에는 작동하지 않습니다 
, 이미지를 텍스트로 변환한 후 검사를 실행하지 않기 때문입니다. 예를 들어:
최근의 오탐(false positive) 사례, 혹은 적어도 그렇게 생각하는 사례입니다.
오탐/정답/양성/음성의 자세한 내용은 - Classification: True vs. False and Positive vs. Negative