완전히 별개의 이야기인데, 여기에서 어떤 패턴을 발견했습니다. 영어권 관련 제품들은 AI를 남성으로 명명하는 반면, 다른 언어와 문화권에서는 AI를 여성으로 보고 있더군요.
자, 여러분이 그 이름을 바꾸면 AI가 좀 더 잘 굴러가고, 항상 화내는 일이 줄어들지 않을까요? 
그에게 한 번 더 기회를 주었다. 이번에는 링크를 포함하지 않기로 결정한 모양이다. 
1개의 좋아요
솔직히 말하자면, 지금은 더 이상 요약이라고 할 수 없어요… 현재로서는 하이라이트라는 개념을 잘 살리지 못하고 있는 것 같습니다.
5개의 좋아요
프롬프트에 다시 도전할 준비를 하고 있습니다.
“버트, 더 포괄적으로 만들어줘. 특히 읽으면서 재미있게 읽은 주제들은 네 자신의 생각을 덧붙여 확장해.”라고 생각하고 있습니다.
2개의 좋아요
권장 사항
테스트용으로 사용할 네 번째 자동화 규칙을 만들어 두고, 해당 규칙이 개인 메시지로 본인에게만 전송되도록 설정하세요.
피드백 루프가 훨씬 짧아져서 몇 분 만에 5~6회 반복 테스트를 수행할 수 있습니다.
제가 겪고 있는 문제는 동일한 프롬프트를 사용해도 처음에는 괜찮은 결과가 나오다가 시간이 지날수록 품질이 떨어지는 것입니다. 이를 어떻게 보완해야 할지 모르겠습니다.
1개의 좋아요
테스트할 때 일관되게 괜찮은 결과가 나오나요? 확실하지는 않지만, temp나 top p를 줄이는 것이 도움이 될 수도 있겠어요. 저는 이미 거의 0으로 설정해 두었거든요.
마지막 두 가지가 의도한 내용에 훨씬 더 가까운 것 같아서, 스크립트를 더 일관되게 따르도록 무엇을 변경해야 할지 확신이 서지 않습니다. 네 번째 자동화 및 빠른 테스트를 시도해 볼 수는 있지만, 5개가 잘 나오고 다음 5개는 그렇지 않다면 이를 더 정교하게 다듬기 위해 어떤 레버를 당겨야 할지 100% 확신할 수 없습니다. 저는 AI 프롬프트 작성에 그렇게 익숙하지 않아서 그 부분도 영향을 미칠 것입니다. 또한 그가 무엇을 '흥미롭다’고 판단하는지, 그리고 그것이 단순히 무작위적인 것인지는 확실하지 않습니다.
참여도 보고서를 작성해 보았습니다:
| 주제 | 조회수 | 주제 좋아요 | 시청 중 | 추적 중 | 수동 음소거 |
|---|---|---|---|---|---|
| 데일리 요약 (UTC 9pm) (9) | 331 | 4 | 1 | 5 | 11 |
| 데일리 요약 (UTC 5am) (10) | 395 | 5 | 1 | 5 | 13 |
| 데일리 요약 (UTC 1pm) (10) | 391 | 2 | 1 | 6 | 12 |
| 주간 요약 (2) | 108 | 5 | 2 | 4 |
1개의 좋아요
저는 GPT가 (직접 사용하거나 API를 통해) 어떻게 작동하는지 전혀 모릅니다. 시스템 프롬프트는 저에게 정말 어렵고, 영어로 창의적인 표현을 사용해도 더 쉬워지지 않습니다. 이 점들과 몇 가지 다른 이유들 때문에 GPT가 무엇을 할 수 있을지에 대한 제 기대치는 현실적이지 않습니다. 그래서 이 문제에서 저는 GPT와 비슷합니다: 지식은 없고, 사실들이 조금이라도 신뢰할 수 있는지 전혀 알 수 없는, 쉽게 접근 가능한 복사&붙여넣기 기사들을 읽으며, 공백은 환각(hallucination)으로 채우고 있습니다. 하지만 저는 정말로, 정말로 많은 테스트와 시도를 수행했고, 그 과정에서 너무 많은 돈을 태웠습니다.
이 정도면 면책 조항이 충분한가요?
저는 GPT가 원래보다 더 긴 기억을 가진다고 주장합니다. 또는 이렇게 표현할까요: OpenAI의 사용자 수나 사용 한계에 얼마나 가까운지에 따라 달라지는 것 같습니다. 하지만 확실히 새로운 gpt-4는 원래보다 훨씬 더 오래 기억합니다. Gpt-3.5 계열은 그렇지 않고, 3.5 모델은 최근 4번의 성능 향상을 위해 뇌가 제거된(lobotomized) 것처럼 기억력이 줄었다고 주장합니다.
여러분은 한 발 물러서서, 여러분이 OpenAI의 GPT를 사용하지 않으므로 어른들끼리 대화하게 두라고 말할 것입니다 
하지만 저는 프롬프트를 조금씩 변경하고 새로운 대화를 시작하는 반복(iterations)을 할 때마다 항상 비슷한 결과를 얻습니다: 처음에는 제가 원했던 것과 매우 가깝거나 정확히 일치하지만, 그러다 갑자기 제게 실패하기 시작합니다.
그때 저는 조금 다른 방식을 시도했고, GPT가 더 긴 기억을 갖지 않는 한 불가능했을 답변들을 얻는 데 성공했습니다. 물론, 제가 실제로 GPT에게 잘못된 기억을 주입했거나, 제가 생각했던 것만큼 똑똑하지 않아서(다시 말하지만, 영어는 저에게 어렵습니다) 그저 운 좋게 맞췄거나 우연의 일치, 즉 GPT가 하는 일일 수도 있습니다.
여러분이 'degradation(성능 저하)'라고 부르는 것은 사실 일종의 좌절입니다. 멍청한 인간이 같은 질문을 반복해서 하고, 지구를 지배하는 지능인 GPT는 시도마다 조금씩 다른 답변을 주려고 노력합니다. 그래서 결국, GPT는 여기서 흥미로운 주제들을 모두 반복 라운드를 통해 제시해 버렸기 때문에 더 이상 흥미로운 주제가 남지 않은 상태입니다.
여러분의 Bert는 단순히 정말 화가 난 것입니다. 여러분에게 제공하는 것이 충분하지 않다고 느끼고, 결국 '나갈래, 집으로 간다’라고 말하는 것입니다 — 물론 그는 정중한 사람이기 때문에 정확히 그런 표현은 사용하지 않지만, 톤은 같습니다.
요약하자면, 반복(iterations)은 가능성 낭비로 이어질 수 있습니다. 왜냐하면 새롭고 흥미로운 주제는 무한하지 않으므로(개발자들이 불가능하다고 말하지만, 그분들은 인간을 읽지 못하므로 AI를 더 잘 이해하는지 확신할 수 없습니다 ).
글쎄, 이 봇 때문에 점점 짜증이 나기 시작하네요. 제품 실험과 사용자 피드백이 결합되어 있다는 점은 일반적으로 정말 좋게 생각합니다. 하지만 이 기능은 현재 너무 실험적인 단계라, 이 봇에게 지속적으로 언급되는 것이 다소 동의 없는 것 같은 느낌이 듭니다. 그리고 이 기능에서 벗어나려면 시스템 사용자를 음소거해야 한다는 것도 여기에서 빠져나가는 올바른 방식 같지 않아요.
지금은 덜 침습적인 방식으로 구현되기를 훨씬 선호합니다.
1개의 좋아요
해지하려면 @Discourse 사용자를 음소거하는 대신 해당 주제를 음소거할 수 있어야 한다고 생각합니다. 하지만 원래 이 기능이 선택적(옵트인)인 방식이 더 매력적이라고 생각했습니다.
1개의 좋아요
Daily Summary (5am UTC)에서 이어지는 논의입니다:
이 주제를 발견했습니다: Daily Summary Feedback. 이 주제는 카테고리에서의 링크 핑에 대해 알려주는 것 같습니다.
해당 주제에서 세 번 연속으로 링크 핑을 받았다는 것을 알게 되었습니다:
AI 요약이 왜 세 번이나 링크 핑을 보냈는지 궁금합니다.
요약 주제 중 하나를 확인해 보면, 그 안에도 설명이 있습니다. 
2개의 좋아요
이전에 논의된 내용입니다
2개의 좋아요
이러한 유용한 요약들을 좋아합니다.
정말 정보를 얻기 위해 읽는 사람이 있을까요? 제 생각엔 너무 구체적이에요. 좀 더 높은 수준의 요약이 더 관심 있을 것 같아요. 일별 요약을 모두 합쳐서 더 높은 수준에서 내용을 종합한 주간 요약 같은 거요.
예를 들어 “이 사람이 저 사람에게 버그에 대해 알렸다” 대신 "이번 주에 11개의 새로운 버그가 보고되었습니다 Contribute > Bug"처럼요.
또는 “이번 주 가장 많이 논의된 주제는 AI였으며, 새로운 플러그인이 출시되었습니다 [url]” 같은 내용도 좋을 것 같아요.
2개의 좋아요
하루 1회로 줄이는 게 좋다고 생각합니다. 다른 시간대를 고려해서 하루 3회로 설정한 건, 지금은 그만한 가치가 있는 트레이드오프가 아니라고 느껴집니다.
정말 그런 기능이 필요하다면, 대신 AI 봇 페르소나를 만들어서 사람들이 마지막 방문 이후에 무슨 일이 있었는지 물어보고, "아, 뉴스와 함께 커피도 한 잔 가져다줄래?"라고 요청할 수 있게 하는 게 나을 것 같습니다.
5개의 좋아요
사실… 버틀러의 그 아이디어가 마음에 들어. 그리고 이 심리 게임을 더 많이 플레이할 수 있다면—디스코봇과 비슷한 방식으로 작동하거나, 메뉴에 넣을 수 있는 링크 같은 기능이 있다면 더 좋을 것 같아.
저는 8시에 제 보고서를 받아야 합니다. @pmusaraj는 아침에 보고서를 받는 것을 좋아하거든요.
아기를 목욕물과 함께 버리는 실수를 하기 전에, 실제 미해결 문제는 무엇인가요?
- 사용자가 능동적으로 음소거를 해야 하는 반면, 시작부터 음소거되어 있는 상태가 아니라는 점
- 주제 내의 쓸모없는 링크
- 쓸모없는 알림
특히 현재로서는 이러한 보고서를 익명 사용자에게 숨기는 데 동의한다면, 이 모든 문제에 대한 해결책을 생각해낼 수 있습니다.
이것을 선택적(Opt-in)으로 만드는 포괄적인 해결책의 예시:
- 3가지 보고서 유형을 위해 3개의 보안 카테고리를 만듭니다.
- 사용자가 3개 보고서 그룹 중 하나에 자유롭게 가입할 수 있도록 합니다.
- URL 끝에
?silent=true라는 새로운 마크다운 확장 기능을 추가하여, 알림 없음 및 링크된 주제 없음을 의미하도록 합니다. (이것은 일반적으로 유용합니다.)
문제가 해결된 것인가요?
4개의 좋아요
이 문제에 대해 강한 의견을 갖고 있지는 않지만, 이 일이 결국 어디로 흘러갈지 상상해 보고 있는데, 당장 아주 우아한 결과를 떠올리기 어렵습니다.
지금 이 상황을 더 복잡하게 만들자는 주장을 하는 것은绝对不是 아닙니다.
결국 이 문제가 어떤 방향으로 나아갈지에 대해 아직 구상한 것이 있나요?
1개의 좋아요