AI 카테고리 목록에서 전체 슬러그가 반환되지 않음

봇이 카테고리를 검색하고 출력을 생성할 때, 2단계 카테고리에는 부분적인 카테고리 슬러그만 표시됩니다. 예를 들어, 유효한 슬러그 #documentation:using-discourse를 가진 #documentation:using-discourse#using-discourse로만 표시됩니다. 물론 이렇게 되면 링크로 렌더링되지 않습니다.

봇이 하위 카테고리에 대한 링크를 생성하려고 할 때도 동일한 문제가 발생합니다. URL에 잘못된 슬러그를 생성하기 때문에 여전히 실패합니다.

봇이 하위 카테고리를 정확하게 표시할 수 있도록 전체 슬러그에 접근할 수 있으면 도움이 될 것입니다.

AI 봇은 정말 멍청합니다. 슬러그에 하이픈이 들어갈 수 있다는 점을 설명해야 하며, 심지어 예시까지 제시해야 합니다. 만약 그 모델이 정말 완고하다면, 해당 카테고리의 모든 슬러그를 나열할 수도 있습니다.

이것은 마치 3살짜리 아이와 같습니다. 모든 것을 설명하고, 추측을 시작할 수 있는 탈출구나 문이 없는 간단한 규칙을 제시하면, 대부분 잘 작동합니다. 하지만 누군가가 그 모델을 업데이트해서 다시 무언가를 망칠 때까지는요.

시도해 보았고, 설명도 했습니다. 다시 시도해 보았지만, 메인 카테고리는 올바르게 설정했지만 하위 카테고리는 그렇지 않았습니다. 단순히 올바른 소스 데이터를 가져오지 못하고 있다고 생각합니다. 그래서 원해도 슬러그를 올바르게 설정할 수 없습니다. 상위 카테고리가 무엇인지 모를 뿐입니다. 그리고 물론 페르소나 정의에 카테고리 목록을 제안하고 하드코딩할 수는 있지만, 그렇다면 왜 “카테고리 검색” 기능을 사용하는 것일까요?

아마도 그렇겠죠. 이 프로그램은 포럼의 구조를 알지 못합니다. 그리고 어떻게 알 수 있겠어요? 아무도 그걸 알려준 적 없으니까요. 만약 그게 프롬프트에서 중요한 부분이라면, 그것도 설명해 주셔야 합니다.

그 정보는 게시물을 찾기 위해 사용하거든요. 사이트맵을 이해하는 데는 사용하지 않아요 :man_shrugging:

여기 메타에서 AI 요약에 비슷한 문제를 볼 수 있습니다:

예상 소요 시간: 더 나은 예시를 들어 주면 다른 분들이 직접 찾아볼 필요가 없을 것입니다 :slight_smile:

봇이 제 말을 듣고 제대로 처리하게 만드는 데도 실패했습니다…

오래도록 신경 쓰이는 문제였으니, 빠져 있는 부분이 무엇인지 찾아주시면 좋겠습니다. :slight_smile:

@Jagster 님의 프롬프트는 더 나은 결과를 내나요?

1개의 좋아요

그렇지 않습니다. 이 봇은 카테고리에서 검색하도록 구성되어 있으며 실제로 그렇게 작동합니다. 카테고리 목록도 올바르게 작성합니다. 제가 지시할 때 이름 대신 슬러그를 올바르게 사용합니다. 하지만 하위 카테고리의 슬러그에서는 실패합니다. 아마도 카테고리 목록을 반환하는 함수에 해당 항목이 포함되어 있지 않기 때문일 것입니다. 제가 지적하는 바로는 그렇습니다.

1개의 좋아요

나는 이해했지만, 내게도 그 정도로 많은 카테고리가 있지는 않다. 경험상, 같은 구조를 가진 소수의 항목(예: 카테고리 링크)이 일정 수를 넘어서면 AI가 규칙을 잊고 수집한 데이터를 그대로 사용하기 시작한다. 그 시점부터는 이것저것을 누락하고 나머지 부분은 환각을 일으킨다.

요약 관련해서는 다른 것들도 크게 성공하지 못했다… 오히려 꽤나 참혹했고, 그 아이디어를 완전히 포기했다.

카테고리 링크를 가져오는 데 대한 내 수요가 그렇게 크지는 않아서, 새로운 OpenAI 모델이 이전 모델보다 더 멍청한지 확신할 수 없다. 더 게으른 것 같다.

그럼에도 불구하고, 구조를 이해하는 데 그런 데이터를 사용하지 않기 때문에 알지 못한다.

그렇다면 왜 “Listing Categories”라고 표시되고 정확한 목록을 출력하는 것일까요? 이 기능은 토픽을 읽고 검색도 할 수 있습니다. 꽤 잘 이해하고 있는 것 같습니다. 그렇지 않으면 Discourse 안에서 어떻게 유용할 수 있겠습니까? 저는 혼란스럽습니다. 제가 지적한 유일한 점은, 이 기능이 호출할 수 있는 카테고리 목록 함수가 하위 카테고리의 전체 경로/슬러그를 반환하지 않는다는 것입니다. 그래서 그 함수를 사용하지 않는 것입니다. 그 외에는 아무것도 아닙니다. 그리고 제가 볼 수 있는 바로는, 요약에도 정확히 같은 정보가 빠져 있는 것 같습니다.

제가 이야기하는 기능은 이겁니다:

1개의 좋아요

이것은 검색에 카테고리를 사용할 수 있습니다. “AI 사용이 어떤 문제를 일으킬 수 있는지 설명하십시오. ‘Support’ 카테고리의 정보를 사용하십시오.”

그렇다면 이것은 무엇인가요? 카테고리 목록입니다. 그리고 정확한 목록을 제공합니다. 이는 메인 카테고리에서는 작동하지만 하위 카테고리에서는 항상 실패합니다.

이 문제는 AI 팀의 의견이 필요해서 교착 상태를 풀어야 할 것 같아요. :slight_smile:

AI 봇이 아직 인지하지 못하고 있는 서브카테고리의 '메타’한 부분이 있다는 아이디어는 저에게 매우 매력적입니다(프롬프트를 통해 직접 시도하느라 상당한 시간을 들였기 때문이죠 :slight_smile:). 불행히도 저는 AI 스펙트럼에서 :derp: 쪽에 속해서 이것이 합리적인 가정인지 전혀 알 수 없습니다. :person_shrugging:

하지만 돈(Don)이 이 우회 방법이 그에게는 성공적이었음을 언급한 이 게시글을 발견했습니다:

1개의 좋아요

여기서 말했듯이 :smirking_face:

표는 하나의 해결책입니다. 저는 목록을 사용했습니다.

내장된 도구들은 하위 카테고리를 조금 더 스마트하게 처리해야 한다고 생각합니다. 이에 동의합니다.

카테고리 목록 도구가 유일한 것이 아닙니다. 검색과 딥 리서치(Deep Research)도 마찬가지일 것입니다.

2개의 좋아요