AI 실행에 비용이 있나요?

정말 훌륭하네요! 바로 써보고 싶어요!

요금을 지불해야 하거나, 커뮤니티 규모에 제한이 있나요? 요청이 너무 많아져서 운영을 유지하기 위해 추가 비용이 발생하기 전에요?

민감한 주제라는 건 알지만, AI 서비스 제공업체들이 답변을 기록하고 있나요? 그렇다면 그 데이터를 어떻게 활용하는지에 대한 정보가 있을까요?

askym에서 확인할 수 있는 부분이 있지만, 데이터를 스스로 안전하게 관리하시려면 자체 호스팅을 하시거나 그들의 API를 사용해 보시는 것이 좋습니다 :slight_smile:

앞으로 이 중 어떤 서비스에도 API 요금이 부과될 가능성이 있나요? 아니면 대규모 포럼이 많은 요청을 보낼 경우 공정 사용 정책이 적용되나요?

일부 모듈은 유료 API(예: ChatGPT)를 사용합니다. 다른 일부는 셀프 호스팅이 가능한 오픈소스 리소스를 사용합니다. 이 경우 실행에 필요한 컴퓨터 자원(그리고 설치 및 관리를 담당할 인력) 비용 외에는 별도 요금이 부과되지 않습니다.

@pfaffman 감사합니다. 잠깐 살펴봤는데, 각 플러그인이 얼마나 많은 요청을 보내는지 명확하지 않아서 이 주위에 토론을 시작할 수 있다면 도움이 될 것 같습니다. 또한 이 기능들을 사용하는 사람들은 자신의 사용자에게 이를 제공할 경우 예상 비용이 얼마나 될지 알고 싶어 할 것 같습니다.

몇 가지 옵션을 선택할 수 있는 플러그인이 있어서 어렵다는 점은 이해합니다. 다만, 아무도 이에 대해 이야기하는 것을 보지 못했습니다.

구글에 따르면 ChatGPT 3는 현재 1,000토큰당 0.002달러, 약 750단어에 해당합니다.

이 플러그인들을 통해 사이트의 평균 사용자가 API를 얼마나 많이 호출하는지 계산해 본 분이 계신가요?

API를 사용하는 사용자가 10~50명 정도라면 월 $5/10(또는 그보다 훨씬 적은 금액) 정도가 될 가능성이 높지만, 이는 구체적인 사용 방법에 따라 크게 달라집니다.

추측할 방법이 많지 않을 것 같습니다. AI 기능은 매우 다양하기 때문에, 사용자가 이 기능을 발견하고 하루 종일 가지고 놀 것인지, 아니면 그렇지 않을지 예측하는 것은 불가능합니다. 예산을 초과할 경우 기능을 비활성화하거나(또는 사용자 집합을 더 작게 제한하는) 준비를 하면서, 직접 사용해 보고 사용량이 얼마나 되는지 면밀히 모니터링해야 합니다.

ChatGPT는 선불 방식이므로, 예산을 초과할 걱정을 하지 않고 잔액이 0이 될 때까지 그대로 두면 됩니다.

일부 모듈은 자체 호스팅(self-hosted)이 가능하므로, 이 경우 VM 호스팅 비용 외에 추가 비용이 발생하지 않습니다.

감사합니다. 자금 지원 제안서에 비용 산정 자료를 제출하려고 하는데, 도구가 너무 새로워서 아직 구체적인 답변이 없는 것 같아 이상적인 상황은 아닙니다.

그 경우, NSF 보조금을 검토하고 본 제 경험상(비록 제한적이긴 하지만), 받을 수 있다고 생각하는 최대한의 금액을 요청하세요. :slight_smile:

대략적인 계산(백 오브 더 엔벨롭)을 해볼 수 있으니, 다음을 시작점으로 삼으세요:

(제안서에는 ChatGPT 측에서 확인한 가격 정보를 사용하는 것이 좋을 수 있습니다 :slight_smile: )

즉, 750단어 분량이 0.0002달러라면 제안하신 작업을 수행하는 데 그 정도가 몇 번 필요할까요? "포럼에 ChatGPT를 켜서 무슨 일이 일어나는지 지켜본다"는 식의 제안을 하는 것이 아니라면, 기대하는 결과에 대한 아이디어가 있을 것입니다. 하지만 단순히 탐색적인 작업을 하는 것이라면, 지침에서 계산 자원(예: 총 예산에서 인건비와 간접비를 뺀 금액)에 지출할 수 있는 한도가 얼마인지 확인하고 그 금액을 사용하시면 됩니다. :person_shrugging:

제이, 고마워. 가이드라인이 너무 느슨해서 내가 대략 추산해서 좀 올림해야겠어.