안녕하세요 
디스코어에서 새로운 AI 모델을 활용하는 경험을 공유하기 위해 이 주제를 만들었습니다.
며칠 전 grok-2-1212를 주제 요약용으로 설정해 보았는데, 정말 잘 작동합니다. 언어 감지 및 품질도 충분히 좋습니다. AI 봇으로도 시도해 봤지만, 도구를 아직 잘 처리하지 못해서 대부분의 경우 실패하는 것 같습니다.
또한 AI 봇용으로 Gemini Flash 2도 시도해 봤습니다. 빠르고 훌륭한 답변을 제공하지만, 가끔 도구를 잘 처리하지 못해 답변이 깨지는 경우가 있습니다. 때로는 단순한 마크다운 형식 문제이고, 때로는 검색을 하지 못합니다. 제 포럼에서는 대부분 포럼에서 아무것도 찾지 못했다고 표시되지만, 저는 해당 주제에 대해 더 많은 주제들이 있다는 것을 알고 있습니다…
검색 문제와 관련하여, AI가 포럼 콘텐츠를 완전히 색인하지 못했거나 쿼리 이해에 불일치가 있는 것이 원인일 수 있다고 생각하시나요?
전혀 모르겠습니다. 대부분 아무것도 검색되지 않거나 타임아웃으로 실패하곤 합니다… 하지만 가끔은 올바르게 검색되어 정확한 주제와 연결되기도 합니다. 좋긴 할 것 같은데, 아직은 매우 실험적인 단계입니다.
XML 도구를 사용해 보셨나요? Grok에서는 꽤 잘 작동하는 것을 확인했습니다.
감사합니다, 방금 시도해 봤어요. 네, 훨씬 나아 보입니다. 문제는 이제 주로 새로운 대화를 만들 때 발생하는데, 영어로 I am searching for…in sitename… 같은 문장으로 시작하다가 답변이 멈추는 거예요. 가끔은 영어 I am searching… 문장 이후에 올바른 헝가리어로 답변을 이어서 좋은 답변을 주기도 합니다. 하지만 그 후 그록의 답변에 제가 다시 답장을 보내면 대화에서는 잘 작동합니다.
정말 흥미롭네요. 페르소나에서 ‘그라운딩’ 예시를 옵션으로 허용할 수 있으면 좋겠어요. 이 문제를 완전히 해결할 수 있을 것 같습니다.
정답! 하지만 데이터량이 많을 때 특히 속도가 느려지지 않을까요? AI 쿼리나 검색 결과의 응답 시간에 영향을 미치나요, 아니면 문제가 없나요?
큰 문제 예시들이 가진 문제는 “오염(contamination)”입니다.
모델은 형태를 학습하지만, 사용자가 실제로 말하지 않은 내용을 말한 것으로 잘못 판단할 수도 있습니다.
이상적으로는 시스템 메시지를 신중하게 작성하는 것이 이 문제를 해결할 수 있으며, 이것이 제 첫 번째 선택지입니다.
시스템 메시지 안에 예시를 포함하면, 모델에게 그것이 단지 예시일 뿐임을 더 명확하게 전달할 수 있어 누출(leakage)이 줄어들 수 있습니다.
Don에게 최소한 추천하고 싶은 것은 시스템 메시지를 헝가리어로 작성하는 것입니다. 도움이 될 수 있습니다.
시스템 메시지에 XML 도구 예시를 하나 또는 두 개 포함해 보는 것도 좋습니다.
정말 좋네요, 공유해 주셔서 감사합니다 : )
시해봤지만 grok-2-1212에서는 동일한 결과가 나왔습니다. 그 후 grok-beta로 전환하니 완벽하게 작동하지만, 영어 시스템 메시지도 잘 작동하는 것 같습니다…