AI로 코드 포맷팅을 위한 모더레이션 도구

OpenAI 포럼은 코드를 제대로 포맷하지 않는 사용자들의 양으로 인해 고전하고 있습니다. 커뮤니티의 단골 회원 중 한 명이 라운지에서 이 문제를 제기했습니다.

7개의 좋아요

이미 AI 설명 게시, 시간 변경, 교정 등 다양한 기능이 가능합니다. 물론, 게시된 텍스트에 대해 이 중 어느 것도 정확히 작동하지는 않지만, 그래도요. 이것은 동일한 원리의 단순한 변형일 뿐입니다 :smirking_face:

선택한 영역의 앞뒤로 각각 세 개의 틱(tick)을 추가할 수 있는 플러그인입니다.

4개의 좋아요

나도 직접 해볼 생각은 있는데, 호스팅이 된 상태라서.

2개의 좋아요

음… 플러그인 설치할 때는 행복이 없네.

2개의 좋아요

이 작업을 수행하는 자동화 기능을 만들 수 있습니다.

예를 들어, 소스 코드가 포맷팅이 필요하다고 8/10의 확신을 가졌다면 그냥 포맷팅을 수행하는 방식이죠.

또한, 사람들이 코드를 포맷팅하도록 요청하는 테마 컴포넌트도 있어 이걸 설치할 수도 있습니다.

7개의 좋아요

코딩 자체에 익숙하지 않은 사용자가 많으며, 그중에서도 상당수가 좋은 노력을 기울이고 있습니다.

때로는 사용자가 언어 설정을 잊거나(또는 방법을 몰라) 설정하지 않는 것과 같은 사소한 문제도 있습니다.

<hello>
<hello>

때로는 백틱이 포함된 코드를 붙여넣으면 백틱이 제대로 이스케이프되지 않아 결국 포기하는 경우도 있습니다(지금 생각난 예시를 찾을 수 없네요).

이런 경우, 해당 기능이 매우 유용하지 않을 수 있으며, 제 생각에는 신규 사용자의 온보딩은 최대한 쉬워야 합니다(이미 부담스러운 상황일 가능성이 높으므로).


시니어 사용자에게 버튼을 제공하는 아이디어는, 이것이 문제나 우려 사항이라면 더 강력한 모델을 사용하여 추론 비용/사용량을 제어하기 위한 것입니다.

어쨌든, 이 건을 고려해 주셔서 감사합니다!

5개의 좋아요

쉽게 해볼 수 있는 흥미로운 방법 중 하나는 특정 그룹이 게시물의 특정 “AI Helper” 기능에 접근할 수 있도록 하는 것입니다.

그렇게 하면 이쪽에 “AI Helper” 작업을 추가하고 포럼에서 TL3로 잠금을 해제할 수 있습니다.

이 방식은 꽤 잘 작동할 수 있지만, 많은 토큰을 생성해야 하므로 매우 느릴 수 있다는 단점이 있습니다.

이상적으로는 소스가 많은 경우 훨씬 적은 토큰을 생성할 수 있도록 헬퍼가 "diff"를 주고받을 수 있도록 학습시켜야 합니다.

5개의 좋아요

음. OpenAI에는 이 사용 사례에 완벽할 것 같은 “Predicted Outputs” 기능이 있다고 생각합니다:

(이것이 그들의 Canvas 도구가 작동하는 방식일 것으로 추측합니다)

현재로서는 OpenAI에 특화된 측면이 있을 수 있다는 점은 이해하지만, 다른 회사들도 곧 따라올 것으로 확신합니다.

3개의 좋아요

아니요, 직접 테스트해 봤는데 비용이 많이 들며 완벽하지도 않습니다:

“diff” 기반 방식이 작동할 가능성이 가장 높을 것 같습니다.

이런 방식이 효과가 있을 수 있습니다 (마커를 찾는 JSON 출력) https://meta.discourse.org/discourse-ai/ai-bot/shared-ai-conversations/0qF2fpDR-we8Dr2EEmjwdQ

5개의 좋아요

아쉽네요. OpenAI에 피드백을 공유하셨군요 :+1:. 확실히 아직 기대에 못 미치는, 덜 성숙한 기능인 것 같습니다 (에이).

1개의 좋아요

페르소나 트리아지와 커스텀 도구를 활용하여 이런 식으로 처리할 수 있을 것 같습니다.

페르소나 트리아지(gpt 4o mini) → 커스텀 도구 → 수정용 LLM(gpt 4o) → 편집 제출용 API

다만, LLM이 환각(hallucination) 없이 편집을 적용하는 데 얼마나 허용할 수 있을지가 과제입니다.

한 가지 가능성으로는, 수정용 LLM이 반환하는 호출에서 두 개의 줄 번호(코드 시작 위치와 종료 위치)를 반환하게 하고, 이 정보를 이용해 백틱을 추가하는 방식이 있습니다. 이렇게 하면 파괴적인 오류 발생 위험을 크게 줄일 수 있습니다.

이 부분에 대해 더 생각해 볼 예정입니다. 하지만 여기서는 실현 가능한 무언가가 나올 수 있다고 생각합니다.

1개의 좋아요