لقد أجريت بعض الحسابات ووصلت إلى استنتاج مفاده أنه بدون القدرة على تحديد مدخلات ومخرجات الرموز للمستخدم شهريًا أو يوميًا، يمكنك بسرعة الوقوع في بعض المشاكل. حاليًا، الطريقة الوحيدة للحد من تفاعل المستخدم مع روبوت الذكاء الاصطناعي هي السماح لروبوتات الذكاء الاصطناعي في الرسائل الخاصة فقط (تعطيل الدردشة لكل شخصية) وتحديد حد للرسائل الخاصة اليومية المسموح بها - ولكن بالطبع هذا غير واقعي. إليك مثال على تفصيل تكلفة “أسوأ سيناريو” يبرر الحاجة إلى هذه الميزة، باستخدام النهج الذي تتبعه OpenAI لأعضاء ChatGPT الخاص بهم:
GPT-4o mini مع سياق 32 ألف (ملاحظة: يتم تعيين طول السياق باستخدام إعداد “عدد الرموز للموجه” في صفحة إعدادات LLMs)
التكلفة الحالية: 0.15 دولار لكل مليون مدخل / 0.60 دولار لكل مليون مخرج
لنفترض أن المستخدم يدخل 32 ألف رمز ويخرج 16 ألف رمز كل يوم لمدة 30 يومًا (دورة فوترة واحدة لاشتراك نموذجي):
تكلفة المدخلات الشهرية = 960,000 رمز = ~0.14 دولار
تكلفة المخرجات الشهرية = 480,000 رمز = ~0.28 دولار
حسنًا، هذا ليس سيئًا في الواقع، أليس كذلك؟ أقل من نصف دولار. ومع ذلك، هذا في الواقع استخدام منخفض جدًا، خاصة وأن GPT-4o mini يمكنه إنشاء ما يصل إلى 16.4 ألف رمز في دفعة واحدة (على الرغم من أنه يمكنك بالتأكيد هندسة الموجه وإعدادات LLM لمنع ذلك). يمكنك البدء في مضاعفة هذه التكاليف حسب مقدار ما تعتقد أن المستخدمين سيستخدمون روبوت الذكاء الاصطناعي. الجزء الأسوأ هو أن هذا نموذج رخيص بشكل لا يصدق؛ التكاليف أعلى بشكل كبير لـ Claude 3.5 Sonnet (3 دولارات لكل مليون مدخل / 15 دولارًا لكل مليون مخرج) و GPT-4o (5 دولارات لكل مليون مدخل / 15 دولارًا لكل مليون مخرج) - ودعنا لا نتحدث حتى عن GPT-4 Turbo ههههه. إليك نفس التفصيل لـ Claude 3.5 Sonnet:
Claude 3.5 Sonnet مع سياق 32 ألف
تكلفة المدخلات الشهرية = ~2.88 دولار
تكلفة المخرجات الشهرية = ~7.20 دولار
الإجمالي = ~10.08 دولار
ولكن مرة أخرى؛ هذا استخدام منخفض. لذلك يصبح من الواضح مدى تكلفة استخدام LLM غير المقيد في روبوتات الذكاء الاصطناعي. إذا قمت بضرب هذا في 2، فستحتاج إلى فرض اشتراك بقيمة 25 دولارًا لتحقيق ربح أقل بقليل من 5 دولارات
إليك ما أقترحه رسميًا:
إعداد يسمح بكمية محددة من مدخلات ومخرجات الرموز لمجموعة مستخدمين معينة كل شهر أو يوم لروبوتات الذكاء الاصطناعي.
لن تشمل استخدام الرموز هذا الموجه النظامي للشخصيات.
يمكن أن تكون حدود الرموز لكل LLM، أو لكل شخصية، أو عالمية/إجمالية.
كبديل للنقطة 1، يمكن استخدام حد صحيح بسيط لاستخدام روبوتات الذكاء الاصطناعي في الرسائل المباشرة والرسائل الخاصة. مثال: حد 100 رسالة مباشرة لأي شخصية في اليوم.
إعداد يسمح بكمية محددة من مخرجات الرموز لمجموعة مستخدمين معينة كل شهر أو يوم للمساعد الذكي.
يمكن عدم احتساب مدخلات الرموز نظرًا لأنه سيكون من غير العملي توقع أن يخمن المستخدم عدد الرموز التي يمثلها موضوع طويل عندما يقوم، على سبيل المثال، بإنشاء ملخص.
قد يكون من الحكمة أيضًا وضع حد صحيح صارم لطول (بالكلمات حتى لا يتم استخدام TikToken هنا) للموجهات المخصصة حتى لا يحاول المستخدمون التحايل على حدودهم الشهرية/اليومية باستخدام المنشئ كدردشة غير محدودة
عداد رموز في ملف تعريف المستخدم وربما حتى في رسائله الخاصة والرسائل المباشرة. سيكون من الرائع وجود نص صغير بجوار كل رسالة مستخدم وذكاء اصطناعي يعرض عدد الرموز التي تمثلها (لا نريد بالضرورة السماح للجميع بميزة التصحيح، وهذا يعمل فقط في الرسائل الخاصة على أي حال)
عداد رموز منفصل للمساعد الذكي (للمساعدة في فصل هاتين الميزتين) والذي يشارك عددًا بين الشرح، التدقيق اللغوي، الموجه المخصص، إلخ…
ملاحظة جانبية: أنا لا ألوم هذه الميزة ولا المطورين بأي شكل من الأشكال وأعتذر إذا بدا أي جزء من هذا كذلك. بصراحة، مكون Discourse AI الإضافي هو أحد أكثر التقنيات المفضلة لدي على الإطلاق. في الواقع، يسمح لي ببناء عملي الحلم كباحث ومعلم في مجال الذكاء الاصطناعي دون الحاجة إلى توظيف مهندسين إضافيين ودفع تكاليف بنية تحتية إضافية - يمكنني إعداد كل شيء بنفسي . أنا فقط أعتقد أن هذه الميزة هي القطعة الأخيرة من اللغز ليس فقط بالنسبة لي، ولكن للعديد من مستخدمي Discourse الآخرين الذين يرغبون في السماح لمستخدميهم بالاستمتاع بهذه التكنولوجيا الرائعة في حدود المعقول.
تم تطبيق هذا في Discourse Chatbot كنظام حصص أسبوعية في مارس 2023 وتم توسيعه منذ ذلك الحين بحيث يمكنك تحديد حصص لمجموعات ثلاث مجموعات مختلفة من المستخدمين. على سبيل المثال، يحصل الأعضاء الذين يدفعون على حصة أعلى.
يتم عرض رسالة مهذبة للمستخدمين الذين يتجاوزون حصتهم الأسبوعية (وهذا لا يكلفك شيئًا).
علاوة على ذلك، يمكن تنبيه المسؤولين عند تجاوز الحصة.
لقد أرسلت لك رسالة خاصة بشأن ذلك ردًا على أحد منشوراتك السابقة حول هذا الموضوع، لكنك لم ترد ربما تستضيف بنفسك وليس لديك حق الوصول إلى المكون الإضافي الخاص بي؟
بصراحة، مع ظهور GPT 4o-mini، انخفضت تكاليف المحادثات اللائقة مع الروبوت بشكل كبير.
اعتذاري عن عدم الرد! أتذكر قراءته الآن، لكن ليس لدي أي فكرة لماذا لم أعد بالكتابة . وأنا على قطرة لذا هذه ليست المشكلة.
ليس لدي شك في استقراره وجودته؛ في الواقع، أنا معجب جدًا بالمكون الإضافي وأحترمك والجهد الذي بذلته فيه. ومع ذلك، فإن روبوت الدردشة يلبي حاجة جزئية فقط لمشروعي التجاري. مساعد الذكاء الاصطناعي ضرورة أساسية، وكذلك القدرة على التبديل الفوري بين النماذج. في المستقبل القريب، سأقوم بنشر نموذجي المُعدّل الخاص بي وإعداد نماذج اللغة الكبيرة الخاصة بي يدويًا وهذا أمر بالغ الأهمية.
أنا أشرح كل هذا فقط حتى لا تعتقد أن لدي شيئًا ضد عملك! بدلاً من ذلك، المشكلة من جانبي؛ أنا أحاول القيام بشيء متخصص للغاية.
في التفاصيل أدناه، هل يعني هذا أن إجمالي الرموز (tokens) والطلبات مشتركة بين جميع المستخدمين في المجموعة، أم أن كل مستخدم في المجموعة يمكنه استخدام الكميات المحددة بشكل فردي؟
يوفر هذا النظام تحكمًا دقيقًا في استخدام واجهة برمجة تطبيقات نماذج اللغة الكبيرة (LLM API) من خلال السماح للمسؤولين بتحديد حدود لكل من إجمالي الرموز (tokens) وعدد الطلبات لكل مجموعة.
أوه، أحتاج إلى توضيح هذا في واجهة المستخدم… جميع الحدود لكل مستخدم ولا تتم مشاركتها أبدًا بين أعضاء المجموعة. حد حصة المجموعة المشتركة هو مفهوم مثير للاهتمام ولكني لست متأكدًا من أنه منطقي من الناحية العملية؟ هل يمكنك التفكير في أي وقت قد يكون هذا مفيدًا؟
في الوقت الحالي، تطبيقي هو:
اختيار الحصة الأكثر “مرونة” التي يمتلكها المستخدم اعتمادًا على المجموعات التي ينتمي إليها المستخدم
الإنفاذ لكل مستخدم.
(هذا يسمح للمسؤولين بالحصانة حتى لو كان لدى TL2 حصة صارمة)
إليك ما أقترحه رسميًا:
. أنا فقط أعتقد أن هذه الميزة هي القطعة الأخيرة من اللغز ليس فقط بالنسبة لي، ولكن للعديد من مستخدمي Discourse الآخرين الذين يرغبون في السماح لمستخدميهم بالاستمتاع بهذه التكنولوجيا الرائعة في حدود المعقول.
ربما تستضيف بنفسك وليس لديك حق الوصول إلى المكون الإضافي الخاص بي؟
. وأنا على قطرة لذا هذه ليست المشكلة.
بدلاً من ذلك، المشكلة من جانبي؛ أنا أحاول القيام بشيء متخصص للغاية.
. رأيي هو أن تطبيقك هنا هو الأكثر مثالية. أنا ومجتمعي نقدر حقًا العمل الذي يتم هنا 
هل سيتم ربط حدود الرموز بالاشتراكات؟ سيكون من الرائع أن نتمكن من التحكم في الاستخدام والسماح باستخدام نماذج أكثر تكلفة مقابل رسوم.