كيفية تصدير أكثر من حد الـ 10,000؟

سؤال غبي - هذا السقف يقترب لأحد منتدياتنا. هل يمكننا تجاوزه دون عمل نسخة من المكون الإضافي؟

يبدو أن هناك إعدادًا مخفيًا للحد الافتراضي للعرض البالغ 1000، مما يسمح له بالوصول إلى 10,000. لكنني لا أحتاج إلى ذلك، و 1000 منطقي جدًا لواجهة المستخدم داخل Data Explorer.

ومع ذلك، يمكن لجدول البيانات التعامل مع المزيد. ما أريد فعله هو أن أكون قادرًا على التصدير إلى حد أعلى (لنقل 20,000). هل هذا ممكن؟

أواجه بالصدفة الليلة أيضًا حد الـ 10,000 سجل هذا. هل هناك طريقة لتجاوزه؟ أحتاج إلى مضاعفة أخرى.

إحدى طرق الاختبار هي الدخول إلى الحاوية، وتعديل /var/www/discourse/plugins/discourse-data-explorer/plugin.rb وتغيير QUERY_RESULT_MAX_LIMIT = 10000، ثم تنفيذ sv restart unicorn ومعرفة ما يحدث. بالطبع هناك أسباب لعدم السماح بمثل هذه الاستعلامات الضخمة؛ إذا كنت واثقًا من قدرة بنيتك التحتية على التعامل معها، أو لا تمانع في بعض عدم الاستقرار، فقد ينجح هذا.

إذا لم ينفجر العالم، فيمكنك إضافة بعض الأشياء إلى app.yml التي ستعدل هذا الملف بعد استنساخ المكونات الإضافية في كل إعادة بناء. قد يتعارض ذلك مع الترقية باستخدام docker_manager. (يمكنك إلقاء نظرة على بعض القوالب الأخرى التي تعدل الملفات لمعرفة ما قد تكون عليه بعض الأشياء.)

@DonH إذا كنت بحاجة إلى هذا الاستعلام كثيرًا وهو استعلام واحد فقط، فقد ترغب في إضافة مكون إضافي يقدمه بطريقة ما. يمكنه، على سبيل المثال، كتابة ملف على أجزاء يمكنك استردادها عبر مسار ما.

3 إعجابات

شكراً على هذه النصيحة يا جاي. لقد فكرت بالفعل في كتابة إضافة ولكن أيضاً أنه يجب أن يكون ذلك ممكناً من وحدة تحكم Rails فيما يتعلق بالعمليات المجمعة المختلفة ولكنني لا أعرف Rails وأن هذا يبدو على أي حال أنه يتطلب تشغيل وظائف مضمنة. هذا من شأنه أن يخلق نفس مشكلة الكتابة فوق إلا إذا تم الالتزام بالوظائف في النواة.

لقد تمكنت حتى الآن من خلال مستكشف البيانات من الأسفل (psql) (بحذر شديد) من الأعلى ولكنني أفضل بكثير القيام بالأشياء وفقاً للقواعد، مهما كان القدر.

ربما يجب أن أكون صريحاً بشأن ما أفعله.

أدير منتدى في تجسيده الثالث أو الرابع بعد أن مررت ببرامج Phorum و phpBB تحت يدي وشيء آخر قبل أن أصل إليه. الموضوع ضيق وقاعدة المستخدمين صغيرة ولكن المحتوى تم نقله إلى الأمام في كل مرة ويمثل الكثير من المعرفة المؤسسية. بدا Discourse، مع ميزات التصنيف ووضع العلامات والواجهة، حلاً رائعاً لإمكانية الوصول إلى المعرفة.

لذلك قمت بنقل المنتدى الذي لم يتم تصنيفه أو وضع علامات عليه أبداً في تجسيداته السابقة. بدلاً من التدقيق في 100 ألف مشاركة / 8 آلاف موضوع، كنت أستخدم بعض برامج معالجة اللغة الطبيعية للمساعدة في التصنيفات ووضع العلامات. ثم أقوم بتحديث جداول المواضيع والفئات وموضوع_علامة مباشرة، مع توخي الحذر الشديد كما ذكرت.

لا تزال العملية مستمرة ولكن لدي تدفق عمل مستقر ويمكنني إنهاء العمل بسهولة بالأدوات المتاحة. ومع ذلك، في المستقبل، ستكون هناك تحديثات دورية منتظمة لتضمين تصنيفات وعلامات جديدة قد تكون أو لا تكون مختلفة عن البيانات السابقة. لذلك يمكنك رؤية الحاجة.

من الواضح أن مستكشف البيانات هو تدفق أحادي الاتجاه ولكنه كان مريحاً جداً. يمكنني التغلب على الحد الأقصى للحجم عن طريق القيام بدفعات، والآن، عن طريق رفع إعداد الحد، شكراً لك على ذلك.

إعجاب واحد (1)