요약 기능에 대한 피드백입니다. 매우 유망해 보입니다 
팝업 폭이 충분하지 않습니다
참고로 gpt-3.5에는 현재 16k 토큰 한도를 가진 버전이 있어, 여기에서 매우 관련이 있을 수 있습니다.
그리고 제가 보고 싶은 킬러 기능 2가지는 다음과 같습니다:
현재 (OpenAI 또는 Anthropic이 선택된 경우) 단순한 프롬프트를 사용하고 있지만, 현재 작업을 진행 중이므로 곧 변경할 예정입니다.
프롬프트 사용자 지정은 흥미로운 기능이며, 향후 추가될 수 있습니다.
이번 주에는 답변이 최소 1개 이상인 게시물에만 표시되도록 설정했습니다.
OpenAI의 대형 컨텍스트 모델은 출시 당일 추가했습니다. 현재 선택할 수 있는 모델은 다음과 같습니다:
생성된 요약을 캐시하여 다른 곳에서 사용할 수 있도록 하는 작업이 진행 중이며, 이를 통해 이러한 기능이 활성화됩니다.
제 사이트에서는 해당 기능이 보이지 않는데, 이를 제어하는 설정이 있나요?
추가 제안 사항:
이번 주에 막 변경한 사항이라, 며칠 내로 사용자의 사이트에 적용될 예정입니다.
여기서 말하는 "파이프라인"은 무엇을 의미하나요?
여기서 볼 수 있듯이 Meta에서는 이미 이 작업을 완료했습니다. 기존 요약은 이제 "상위 답변 보기"라고 불립니다. 버튼의 디자인과 순서에 대해서는 아직 작업 중입니다.
이것은 저희 로드맵에 포함되어 있습니다!
다음 PR에 따라 처리되었습니다:
설정할 때 여러 배포(deployments)를 만들어야 해서 다소 번거롭지만, 잘 작동합니다.
수정됨
Gemini 1.5 Flash를 사용할 때, 요약문에 여러 게시물을 가리키는 링크가 포함되는 경우가 많지만, 이러한 다중 링크는 링크로 렌더링되지 않습니다. 다른 모델들이 다중 링크를 사용하려고 시도하는 것을 본 기억이 없습니다.
단일 게시물에 대한 링크는 올바르게 렌더링됩니다.
해당 응답 페이로드에는 다음과 같은 텍스트가 포함되어 있습니다:
[사용자 이름은 비공개](/t/-/56915/8, /t/-/56915/13, /t/-/56915/28, /t/-/56915/33, /t/-/56915/36)
여러 링크를 인용하는 아이디어는 정말 마음에 듭니다. 올바르게 렌더링만 된다면요.
글쎄요, 그것은 단순히 잘못된 마크다운이라서 작동하지 않는 것입니다.
Gemini Flash가 올바른 마크다운을 생성하지 못하는 것이 안타깝네요. 여기 Meta에서는 요약에 FP8로 양자화된 Llama 3.1을 사용하는데, 이 모델은 적절한 마크다운 링크를 생성하는 데 문제가 없습니다.
그리고 haiku도 유효한 상태 코드를 반환하지 못하는 것 같습니다. 지금까지 요약용으로 시도해 본 모델은 이 두 가지입니다. 다음으로 Llama 3.1을 시도해 보겠습니다.
Mondays 문제나 이 특정 마크다운 문제를 확인하는 것처럼 알려진 문제를 패치하는 것을 고려해 주실지 모르겠습니다. 이상적인 해결책은 아니지만, 그렇지 않으면 좋은 LLM 옵션을 잃는 것보다 나을 수 있다고 생각합니다.
https://discuss.ai.google.dev/ 에서 잘못된 요약들을 확인하실 수 있나요?
해당 사이트에서는 flash 모델을 사용하고 있습니다. 몇 가지 사례를 링크로 공유해 주시면 프롬프트 엔지니어링을 조금 진행해 보겠습니다.
Unreliability of Gemini API - Error while creating cache - Gemini API - Google AI Developers Forum
그것 말고는 바로 눈에 띄는 것이 없긴 하지만, 해당 주제들은 길이가 짧아서 보통 한 사용자가 여러 번 인용되는 경우는 드뭅니다.
이 문제는 꽤 쉽게 해결할 수 있을 것 같습니다. 여기 예시를 개선할 수 있으니까요. 현재 프롬프트는 다음과 같습니다:
You are an advanced summarization bot that generates concise, coherent summaries of provided text.\n\n- Only include the summary, without any additional commentary.\n- You understand and generate Discourse forum Markdown; including links, _italics_, **bold**.\n- Maintain the original language of the text being summarized.\n- Aim for summaries to be 400 words or less.\n- Each post is formatted as \"<POST_NUMBER>) <USERNAME> <MESSAGE>\"\n- Cite specific noteworthy posts using the format [NAME](/t/-/31793/POST_NUMBER)\n - Example: link to the 3rd post by sam: [sam](/t/-/31793/3)\n - Example: link to the 6th post by jane: [agreed with](/t/-/31793/6)\n - Example: link to the 13th post by joe: [#13](/t/-/31793/13)\n- When formatting usernames either use @USERNMAE OR [USERNAME](/t/-/31793/POST_NUMBER)
이것은 다소 모호하게 느껴집니다. 다음과 같은 것으로 명확히 할 수 있습니다:
하지만 근본적으로 @Roman / @Falco, 우리는 이 프롬프트들을 소스 코드 트리에서 제거하고, 커뮤니티가 조정하고 더 잘 작동하는 것을 공유할 수 있도록 페르소나에 포함시켜야 할 것입니다.
약한 모델들을 위해 특별한 경우의 프롬프트가 필요하게 될 것이라고 해도 놀라지 않을 것입니다.
"예시"에 대한 지원이 있다면 페르소나가 여기서 매우 잘 작동할 것입니다. 이는 큰 부담이 되지 않을 것 같습니다. 그렇지 않다면 CompletionPrompt로 이동시키고 UI를 제공해야 합니다.
프롬프트를 사용자 필요에 맞게 맞춤화하여 모델의 기능을 최대한 활용하는 아이디어를 좋아합니다. 또한 페르소나를 더 기능 비종속적인 개념으로 전환하는 것도 좋은 아이디어라고 생각합니다.
이것은 우리가 올해 동안 논의해 온 “페르소나 함수” 또는 "준비된 문구(prepared statements)"의 기본 개념입니다. AI Helper, Summary, Search 등 모든 것을 이러한 방식으로 사용하도록 이동하고, 사용자 정의 항목을 만들 수 있도록 하며, UI에서 이러한 항목을 특정 기능과 연결할 수 있는 UI를 제공할 것입니다.
시드된 항목을 업데이트하여 다른 형식(예: XML에서 JSON으로)을 배포할 때는 상황이 더 복잡해지므로, hopefully 이 부분은 내년 중으로 구축을 고려할 수 있기를 바랍니다.
최근 몇 가지 게시물 내용을 완전히 이해하지 못하겠습니다. 여전히 잘못된 요약이 표시됩니다. 페르소나 관련해서 제가 특별히 시도해 볼 수 있는 것이 있나요, 아니면 여러분이 논의 중인 리팩터링을 기다려야 하나요?
4개의 게시물이 새로운 주제로 분리되었습니다: DeepSeek JSON 응답 형식 문제 처리하기
