نصائح لتطبيق LuckyTemplates ناجح

سنواصل سلسلتنا حول تخطيط وتنفيذ مشروع LuckyTemplates. هذه المرة ، سنناقش تصميم مجموعة البيانات ، والتنميط ، والأوضاع . تحقق من الجزء الأول من سلسلة تخطيط المشروع التي تتناول أوضاع النشر ، والجزء الثاني الذي يتحدث عن الاكتشاف والابتلاع .

جدول المحتويات

• تصميم مجموعة البيانات لتنفيذ مشروع LuckyTemplates
  • 4 خطوات لتصميم مجموعة البيانات
  • حدد عملية الأعمال.
    • النمط المضاد لتجنب تنفيذ LuckyTemplates
  • أعلن الحبوب.
  • تحديد الأبعاد.
  • حدد الحقائق.
• مصفوفة ناقل البيانات لتنفيذ مشروع LuckyTemplates
• إنشاء ملفات تعريف البيانات لتنفيذ LuckyTemplates
  • خدمات تكامل خادم SQL
  • ستوديو داكس
  • سطح المكتب LuckyTemplates
• تخطيط مجموعة البيانات لتنفيذ LuckyTemplates
  • اختيار وضع مجموعة البيانات
  • بعض الأسئلة التي يجب طرحها عند اختيار أوضاع مجموعة البيانات
• خاتمة

تصميم مجموعة البيانات لتنفيذ مشروع LuckyTemplates

لنتحدث عن عملية تصميم مجموعة البيانات ونناقش مصفوفة ناقل مستودع البيانات ، وهي أداة كانت موجودة منذ فترة.

يشبه تصميم مجموعات بيانات BI Power تصميم مستودعات البيانات. لذا فإن كلاً من مجموعات البيانات ومستودعات البيانات لها مفاهيم متشابهة مثل جداول الحقائق والأبعاد ، والمخططات النجمية ، والأبعاد المتغيرة ببطء ، ودقة جدول الحقائق ، والمفاتيح المحلية المستنيرة لبناء العلاقات بين الجداول.

4 خطوات لتصميم مجموعة البيانات

هناك أربع خطوات لعملية تصميم مجموعة البيانات: حدد العملية التجارية ، وأعلن عن حجم جداول البيانات الواقعية ، وحدد الأبعاد ، ثم حدد الحقائق .

حدد عملية الأعمال.

بالنسبة للخطوة الأولى ، يتم تمثيل كل عملية تجارية بواسطة جدول حقائق مع مخطط نجمي لعلاقة العديد إلى واحد بالأبعاد.

أثناء عملية الاكتشاف أو جمع المتطلبات ، من الصعب التركيز على عملية تجارية واحدة في عزلة ، حيث يقوم المستخدمون بانتظام بتحليل عمليات تجارية متعددة في وقت واحد.

النمط المضاد لتجنب تنفيذ LuckyTemplates

النمط المضاد الشائع (وهو استجابة لمشكلة متكررة غير فعالة بشكل عام ويحتمل أن تؤدي إلى نتائج عكسية) التي تريد تجنبها في مشاريع LuckyTemplates هي تطوير مجموعات البيانات لمشاريع أو فرق محددة بدلاً من العمليات التجارية .

على سبيل المثال ، تطوير مجموعة بيانات حصريًا لفريق التسويق ومجموعة بيانات أخرى لمؤسسة المبيعات. يؤدي هذا النهج بشكل طبيعي إلى إهدار الموارد لأن نفس بيانات المبيعات يتم الاستعلام عنها وتحديثها مرتين في كلتا مجموعتي البيانات. ستستهلك هذه أيضًا موارد التخزين في خدمة LuckyTemplates.

هذه بعض الأسباب التي تجعلك ترغب في إجراء عملية جيدة لتصميم مجموعة البيانات. يؤدي النهج المعزول إلى مشكلات في الإدارة والتحكم في الإصدار لأن مجموعات البيانات قد تحتوي على اختلافات وتحولات.

على الرغم من أن الاحتياجات التحليلية للمستخدمين أو الفرق هي أولوية مشروعات LuckyTemplates ، إلا أنه من المهم أيضًا التخطيط لحلول مستدامة يمكن مشاركتها في النهاية عبر الفرق.

أعلن الحبوب.

تغطي تفاصيل جداول الحقائق في النهاية مستوى التفاصيل المتاحة للاستعلامات التحليلية ، بالإضافة إلى مقدار البيانات التي يمكن الوصول إليها.

لذا فإن الحبوب الأعلى تعني مزيدًا من التفاصيل بينما تعني الحبوب الأقل تفاصيل أقل. مثال على ذلك هو عندما تريد الحصول على مستوى بند أمر المبيعات ، أو إذا كنت تريد أن يحتوي المشروع فقط على مستوى الملخص لكل أمر مبيعات وليس الوصول إلى المنتجات المحددة التي تم طلبها كجزء من عملية البيع هذه.

في بعض الأحيان ، يمكن أن تختلف هذه الحبوب حسب الإطار الزمني الخاص بك. لقد صادفت عددًا من العملاء الذين يريدون جداول حقائق دقيقة للغاية للربع الحالي ، لكن بالنسبة للفصول السابقة ، كانوا بحاجة فقط إلى معرفة إجمالي المبيعات للربع الحالي.

خلال هذه الخطوة ، تريد تحديد ما يمثله كل صف من عمليات الأعمال المختلفة . على سبيل المثال ، يمثل كل صف في جدول حقائق المبيعات من مستودع البيانات لدينا بند أمر المبيعات من العميل.

على العكس من ذلك ، سيتم تجميع صفوف خطة المبيعات والهامش في شهر تقويمي ، وفئة فرعية للمنتج ، ومنطقة منطقة المبيعات. لذلك في هذه الحالة ، لديك جدولا حقائق مختلفان وحبوبان مختلفتان. إذا كنت تريد المقارنة بين الاثنين ، فسيكون هناك بعض أعمال نمذجة البيانات.

تحديد الأبعاد.

الأبعاد هي مجرد نتيجة ثانوية طبيعية للحبوب المختارة في خطوة التصميم السابقة.

لذلك يجب أن يشير صف عينة واحد من جدول الحقائق بوضوح إلى أبعاد كيان الأعمال المرتبطة بالعملية المحددة ، مثل العميل الذي اشترى مشروعًا فرديًا ، والمنتج في تاريخ معين ووقت معين. جداول الحقائق التي تمثل الحبوب الأقل لها أبعاد أقل.

على سبيل المثال ، قد يحدد جدول الحقائق الذي يمثل مستوى رأس أمر الشراء البائع ، ولكن ليس شراء المنتج الفردي من البائع. لذلك في هذه الحالة ، لن تحتاج إلى تضمين فئة منتج أو بُعد فئة فرعية للمنتج.

حدد الحقائق.

تمثل الحقائق الأعمدة الرقمية المضمنة في جداول الحقائق. لذلك ، بينما يتم استخدام أعمدة الأبعاد من الخطوة 3 للعلاقات ، يتم استخدام أعمدة الحقائق في المقاييس التي تحتوي على منطق التجميع ، مثل مجموع عمود الكمية أو متوسط ​​عمود السعر.

مصفوفة ناقل البيانات لتنفيذ مشروع LuckyTemplates

تعد مصفوفة ناقل مستودع البيانات عنصرًا أساسيًا في بنية مستودع بيانات Ralph Kimball ، والتي توفر نهجًا تدريجيًا ومتكاملًا لتصميم مستودع البيانات.

الهندسة التي تراها هنا مأخوذة من The Data Warehouse Toolkit ، الإصدار الثالث بواسطة Ralph Kimball. يسمح بنماذج البيانات القابلة للتطوير التي تتطلبها فرق العمل أو الوظائف المتعددة في كثير من الأحيان للوصول إلى نفس العمليات التجارية والأبعاد.

من المفيد الاحتفاظ بمصفوفة ناقل مستودع البيانات. عند ملئه ، ستعرف ما إذا كانت هناك مجموعات بيانات أخرى تحتوي على جداول بيانات واقعية وجداول أبعاد مماثلة. هذا يعزز قابلية إعادة استخدام المشروع وتحسين الاتصال بالمشروع.

لذلك يعكس كل صف عملية تجارية مهمة ومتكررة مثل الإغلاق الشهري لدفتر الأستاذ العام. يمثل كل عمود كيانًا تجاريًا ، والذي قد يتعلق بواحدة أو أكثر من عمليات الأعمال ، بينما تمثل الصفوف المظللة عملية الأعمال التي يتم تضمينها في المشروع.

إنشاء ملفات تعريف البيانات لتنفيذ LuckyTemplates

بمجرد تحديد الحبوب واكتمال عملية تصميم مجموعة البيانات المكونة من أربع خطوات ، يجب أن يتبعها على الفور تحليل تقني لبيانات المصدر الخاصة بجداول الحقائق والأبعاد .

تعتبر البيانات الوصفية التقنية ، بما في ذلك الرسوم البيانية لقاعدة البيانات ونتائج تحديد مواصفات البيانات ، ضرورية لمرحلة تخطيط المشروع.

تُستخدم هذه المعلومات للتأكد من أن مجموعة بيانات LuckyTemplates تعكس تعريفات الأعمال المقصودة وأنها مبنية على مصدر سليم وموثوق.

هناك ثلاث طرق مختلفة لتجميع معلومات التنميط ، والتي يجب أن تكون الخطوة الأولى التي سيقوم بها الأشخاص بمجرد خروجهم من عملية التصميم.

خدمات تكامل خادم SQL

هناك طريقتان للقيام بذلك. تتمثل إحدى الطرق في استخدام مهمة إنشاء ملفات تعريف البيانات ضمن حزمة خدمات تكامل خادم SQL (SSIS).

تتطلب مهمة تشكيل البيانات اتصال ADO.NET ويمكنها كتابة مخرجاتها إلى ملف XML أو متغير SSIS.

في هذا المثال ، بيانات مصدر ADO.NET هي مستودع بيانات AdventureWorks وقاعدة بيانات وخادم SQL ، والوجهة هي ملف XML.

لذلك بمجرد تنفيذ المهمة ، يمكن قراءة ملف XML عبر عارض ملف تعريف بيانات خادم SQL. يمكنك رؤية النتائج من حيث عدد الصفوف والنسب المئوية للعدد الفارغ.

ستوديو داكس

هناك طريقة أخرى لتوصيف البيانات وهي عبر DAX Studio. يجب عليك بالفعل استيعاب البيانات في مجموعة بيانات LuckyTemplates بالانتقال إلى DAX Studio ، والانتقال إلى علامة التبويب خيارات متقدمة ، وتشغيل VertiPaq Analyzer .

سيُظهر لك نفس النوع من المعلومات حول العناصر الأساسية للأعمدة الخاصة بك حتى تعرف أيها يشغل أكبر مساحة في نموذج البيانات الخاص بك. يشمل جميع الإحصائيات المختلفة حول البيانات.

سطح المكتب LuckyTemplates

يتوفر أيضًا تشكيل جانبي للبيانات في استعلام الطاقة داخل سطح مكتب LuckyTemplates. إذا انتقلت إلى علامة التبويب عرض ، فيمكنك تشغيل أشياء مثل جودة العمود وتوزيع الأعمدة وملف تعريف العمود. بالنسبة لأول ألف صف على الأقل أو نحو ذلك ، يمكنك رؤية المعلومات مثل الأخطاء والقيم الخالية والمتوسطات والانحرافات المعيارية.

تخطيط مجموعة البيانات لتنفيذ LuckyTemplates

بعد تحديد بيانات المصدر وتقييمها وفقًا للمتطلبات المحددة في عملية تصميم مجموعة البيانات المكونة من أربع خطوات ، يمكن لفريق BI تحليل خيارات التنفيذ لمجموعة البيانات بشكل أكبر.

في جميع مشاريع LuckyTemplates تقريبًا ، حتى تلك التي لديها استثمارات كبيرة في بيانات المؤسسة ، والمستودعات ، والهندسة المعمارية وأدوات وعمليات ETL ، هناك حاجة إلى مستوى معين من المنطق الإضافي أو التكامل أو التحويل لتحسين جودة وقيمة البيانات المصدر.

تحدد مرحلة تخطيط مجموعة البيانات كيفية معالجة مشكلات تحويل البيانات المحددة لدعم مجموعة البيانات. بالإضافة إلى ذلك ، يجب على فريق المشروع تحديد ما إذا كان سيتم تطوير مجموعة بيانات وضع الاستيراد ، أو مجموعة بيانات استعلام مباشر ، أو مجموعة بيانات مركبة .

لتوضيح عملية تخطيط مجموعة البيانات ، يحدد هذا الرسم التخطيطي الطبقات المختلفة لمستودع البيانات ومجموعة بيانات LuckyTemplates حيث يمكن تنفيذ التحويل ومنطق الأعمال.

في بعض المشاريع ، هناك حاجة إلى حد أدنى من التحول ويمكن تضمينه بسهولة في مجموعة بيانات BI power. على سبيل المثال ، إذا كانت هناك حاجة إلى عدد قليل من الأعمدة الإضافية فقط لجدول أبعاد وهناك إرشادات مباشرة حول كيفية حساب هذه الأعمدة ، فقد تختار مؤسسة تكنولوجيا المعلومات تنفيذ هذه التحويلات داخل استعلامات M power بدلاً من مراجعة مستودع البيانات.

إذا تم السماح للفجوة الكبيرة بين احتياجات ذكاء الأعمال ومستودع بيانات الشركة ، فسيصبح بناء مجموعات بيانات LuckyTemplates وصيانتها أكثر تعقيدًا.

يجب على مصممي مجموعات البيانات تحليل الآثار المترتبة على مجموعات البيانات وإبلاغها بانتظام إذا كانت هناك مستويات أعلى من التعقيد.

ومع ذلك ، إذا كان منطق التحويل المطلوب معقدًا أو شاملًا مع العديد من العمليات المشتركة وعوامل تصفية الصف وتغييرات نوع البيانات ، فقد تختار مؤسسة تكنولوجيا المعلومات تنفيذ التغييرات الأساسية في مستودع البيانات لدعم مجموعة البيانات الجديدة ومشاريع ذكاء الأعمال المستقبلية.

على سبيل المثال ، قد تكون هناك حاجة إلى جدول مرحلي وإجراء مخزن SQL لدعم العملية ومراجعتها وتحديثها ، أو قد تكون هناك حاجة إلى إنشاء فهرس لتحسين أداء الاستعلام لمجموعات بيانات DirectQuery.

اختيار وضع مجموعة البيانات

تتمثل الخطوة اللاحقة ولكن وثيقة الصلة بتخطيط مجموعة البيانات في الاختيار بين وضع الاستيراد الافتراضي أو وضع DirectQuery / Live أو الوضع المركب.

في بعض المشاريع ، يكون هذا قرارًا بسيطًا حيث يكون خيارًا واحدًا فقط ممكنًا أو واقعيًا نظرًا للمتطلبا�� المعروفة ، بينما تتطلب المشاريع الأخرى تحليلًا مهمًا لإيجابيات وسلبيات كل تصميم.

لذلك إذا تم اعتبار مصدر البيانات بطيئًا أو غير مجهز للتعامل مع حجم كبير من الاستعلامات التحليلية ، فمن المحتمل جدًا أن تكون مجموعة بيانات وضع الاستيراد هي الخيار المفضل.

وبالمثل ، إذا كانت رؤية مصدر البيانات في الوقت الفعلي تقريبًا ضرورية ، فإن DirectQuery أو الوضع المباشر هو الخيار الوحيد لتحقيق ذلك. أوضاع DirectQuery و Live متشابهة جدًا مع بعضها البعض. كلا الطريقتين لا تخزن البيانات داخل مجموعة البيانات نفسها ، وكلاهما يستعلم عن أنظمة المصدر مباشرة لاسترداد البيانات بناءً على إجراء المستخدم. لدينا الآن DirectQuery لمجموعات بيانات LuckyTemplates و DirectQuery لخدمات التحليل.

بعض الأسئلة التي يجب طرحها عند اختيار أوضاع مجموعة البيانات

فيما يلي بعض الأسئلة التي يجب طرحها عند تحديد الوضع الذي يجب استخدامه. هل يوجد مصدر واحد لمجموعة البيانات الخاصة بنا؟ إذا لم يكن هناك مصدر واحد ، فلا يمكنك استخدام DirectQuery / Live source في الماضي.

على الرغم من أن لدينا الآن مجموعات بيانات الوضع المركب ، إلا أنه لا يزال من الجيد طرح سؤال في البداية لأنه إذا لم يكن هناك مصدر واحد ، فسيكون إما استيرادًا أو مركبًا.

إذا كان DirectQuery / Live source خيارًا ، فهل المصدر قادر على دعم الاستعلامات التحليلية؟ إذا كنت تعمل بمليارات أو تريليونات من الصفوف ، فربما تكون مجموعة بيانات وضع الاستيراد غير ممكنة وسيتعين عليك الانتقال إلى DirectQuery أو الوضع المركب للتأكد من أن مجموعة البيانات قابلة للاستخدام.

إذا كان مصدر DirectQuery / Live قادرًا على دعم حمل العمل ، فهل يكون اتصال DirectQuery / Live أكثر قيمة من الأداء والمرونة التي يوفرها نموذج الاستيراد؟

خاتمة

يختتم هذا المنشور هذه السلسلة حول التخطيط لمشاريع LuckyTemplates. هذه ، في اعتقادي ، هي الخطوات الأساسية لكل مشاريع طاقة ذكاء الأعمال التي تعمل عليها. هذه الخطوات مهمة عند القيام بالعناية الواجبة ، لا سيما في إعداد ذكاء أعمال المؤسسة.

أتمنى لك كل خير،

جريج ديكلر