أفضل ممارسات تحميل البيانات وتحويلها

أود تقديم أفضل الممارسات التي اعتمدتها أثناء إعداد تقارير LuckyTemplates. على مدى السنوات القليلة الماضية ، استهلكت العديد من الموارد عبر الإنترنت في تحميل البيانات وتحويلها والتي كانت مفيدة في رحلتي ، لكن سرعان ما غمرني المحتوى ، لذلك انتهى بي الأمر بتدوين ملاحظاتي الخاصة. يمكنك مشاهدة الفيديو الكامل لهذا البرنامج التعليمي أسفل هذه المدونة.

هذه ليست بأي حال من الأحوال قائمة شاملة ولا أفضل الممارسات - إنها مجرد بعض تلك التي أدرجتها في تطوري الخاص. أيضًا ، تتطور أفضل الممارسات دائمًا بمرور الوقت حيث يتم تقديم إمكانات جديدة ومحسّنة في تطبيق LuckyTemplates ويتم تقديمها بواسطة مجتمع LuckyTemplates.

أود أن أقدم الدعامة الأولى من الركائز الأربع لتطوير LuckyTemplates. الركائز الأربع هي تحميل البيانات وتحويلها ، ونمذجة البيانات ، وحسابات DAX ، والتقارير والتصورات . سنتعامل مع إعداد ما قبل التطوير والركيزة الأولى في منشور المدونة هذا.

جدول المحتويات

• تعطيل التاريخ / الوقت التلقائي
• تعطيل الكشف التلقائي عن العلاقات
• التفاعل مع المرئيات في تقارير LuckyTemplates
• فصل مجموعة البيانات عن التقرير
• إنشاء جدول مخصص للتواريخ
• تذكيرات أخرى لجدول التواريخ
• طرح أسئلة حول التقرير
• بيانات التدريج والمراجع
• تقليل تحميل البيانات
• طي الاستعلام
• استخدام مصادر البيانات لطي الاستعلام
• اختيار وضع الاتصال الصحيح
• تحديد موقع التحولات
• أفضل الممارسات في التسمية وأنواع البيانات
• الحصول على البيانات بدقة متسقة
• خاتمة

تعطيل التاريخ / الوقت التلقائي

يوصى بشدة بتعطيل ميزة التاريخ والوقت التلقائي في . يمكنك القيام بذلك بطريقتين.

يمكنك القيام بذلك بشكل عام لجميع الملفات باتباع الخطوات التالية:

يمكنك أيضًا تعطيله للملف الحالي عن طريق تغيير إعداداته.

تعطيل الكشف التلقائي عن العلاقات

يوصى بشدة أيضًا بتعطيل علاقات الاكتشاف التلقائي. يمكنك الانتقال إلى ملف وعرض الخيارات والإعدادات لتعطيل الاكتشاف التلقائي للعلاقات الجديدة بعد تحميل البيانات.

التفاعل مع المرئيات في تقارير LuckyTemplates

الشيء التالي الذي أريد التحدث عنه هو طريقتان يمكنك من خلالهما التفاعل مع العناصر المرئية في تقارير LuckyTemplates. يمكن إما تصفية هذه التفاعلات عبر التصفية أو تمييزها بشكل متقاطع .

يتم تمكين التمييز المتقاطع افتراضيًا في LuckyTemplates. يمكنك تغيير هذا بالانتقال إلى ملف ثم الخيارات والإعدادات. بالنسبة للملف الحالي في قسم إعدادات التقرير ، يمكنك تغيير التفاعل المرئي من التظليل المتقاطع إلى التصفية التبادلية.

دعونا نلقي نظرة على تقريرنا. يمكنك أن ترى أنه افتراضيًا ، يستخدم LuckyTemplates تمييزًا متقاطعًا في المرئيات ذات الصلة. إذا نقرت على قناة واحدة من مخطط الشريط الأيسر ، فسترى أن الجزء المحدد مظللًا باللون الداكن بينما يظل الجزء غير المحدد بلون فاتح في المخطط الشريطي الثاني.

يمكنك أن ترى أن الشكل الكامل لا يتغير في الرسم البياني وأنك ترى فقط الأجزاء المميزة. يمكنك تغيير هذا من إعدادات التقرير ، وتغيير التفاعل المرئي الافتراضي من التظليل المتقاطع إلى التصفية التبادلية.

بمجرد القيام بذلك ، سترى أن شكل المخطط الشريطي ذي الصلة سيتغير في كل مرة تقوم فيها بتحديد أو مجموعة من التحديدات. هذه ممارسة جيدة للدخول فيها.

فصل مجموعة البيانات عن التقرير

الشيء التالي الذي أود التحدث عنه هو فصل تطوير مجموعة البيانات عن تطوير تقريرك. هذا هو المكان الذي يمكنك فيه نشر ملف مجموعة بيانات سميك كمجموعة بيانات قائمة بذاتها لا تحتوي على مرئيات ، وتطوير ملف تقرير رفيع يستخدم مجموعات البيانات المنشورة هذه.

تتمثل إحدى مزايا نشر مجموعات البيانات بشكل منفصل في أنه يمكنك استخدام عملية المصادقة في خدمة LuckyTemplates للترويج لمجموعات البيانات والمصادقة عليها. إنها ممارسة مثالية لاختيار مجموعة بيانات معتمدة ، ويفضل أن تكون معتمدة عند تطوير تقرير جديد.

إنشاء جدول مخصص للتواريخ

تأكد من أن تقريرك يحتوي على جدول تواريخ مخصص في تقريرك. يمكنك استخدام المتاح في منتدى LuckyTemplates. يمكنك نسخ ولصق رمز M في استعلام فارغ.

الشيء الثاني الذي يجب فعله بمجرد أن يكون لديك جدول تواريخ مخصص هو وضع علامة عليه على هذا النحو. سيمكن ذلك من استخدامه بواسطة LuckyTemplates في حسابات معلومات الوقت.

تذكيرات أخرى لجدول التواريخ

تأكد دائمًا من أن جدول بياناتك متجاور وأن هناك صفًا واحدًا في اليوم. تحقق أيضًا من أنه يغطي حواف جدول الحقائق بالكامل.

أضف أيضًا سنوات كاملة إلى جدول التواريخ. من المستحسن أيضًا إضافة سنة مستقبلية إضافية إلى جدول التواريخ لتمكين أي حسابات ذكاء للوقت أو توقعها في المستقبل.

إذا كان لديك عدد أيام في جدول التواريخ أكثر مما تريد إظهاره في تقريرك ، فيمكنك التحكم في ما يتم عرضه في مقسمات طرق العرض باستخدام عمود IsAfterToday أو أعمدة الإزاحة المتوفرة في جزء التصفية.

طرح أسئلة حول التقرير

الشيء التالي الذي أريد أن أتحدث عنه هو ما إذا كان ينبغي عليك إعداد تقرير على الإطلاق. أثناء قيامك بذلك ، تحقق لمعرفة ما إذا كان هناك تقرير موجود يمكنك استخدامه لتلبية احتياجاتك. إذا لم يكن هناك تقرير ، فهل هناك نموذج بيانات موجود يمكنك استخدامه لتلبية الحاجة؟ هل هناك مجموعة بيانات حالية يمكنك استخدامها أم أنك بحاجة فعلاً للبدء من نقطة الصفر؟

بيانات التدريج والمراجع

الشيء التالي الذي يجب التحدث عنه عند تحميل البيانات هو بيانات التدريج والمراجع. عند تحميل جدول بيانات ثابت ، قد يكون لديك حقائق وأبعاد في نفس الجدول مثل ملف Excel. عندما تقوم بتحميل وتنقله إلى قسم استعلام مرحلي وتعيد تسميته ، يمكنك إلغاء تحديد تمكين التحميل .

تتمثل الخطوة التالية في إنشاء مرجع لهذا الجدول لكل بُعد حقيقة وبُعد بحث وإعادة تسمية الجداول بشكل مناسب. قم بتحرير كل مرجع ، واحتفظ بالأعمدة المطلوبة فقط ، وقم بإزالة التكرارات.

نظّم نموذج البيانات الخاص بك ، وضعه في مجموعته الخاصة. لدي دائمًا مجموعة في نماذج البيانات الخاصة بي تسمى نموذج البيانات والتي تحتوي على جميع الجداول التي سأستخدمها في المرئيات الخاصة بي.

تقليل تحميل البيانات

الشيء التالي الذي يجب التحدث عنه هو أداء الأداة عند تحميل البيانات. يعد حجم البيانات أحد أكبر الأشياء التي تؤثر على الأداء ، لذا جاهد لتقليل كمية البيانات التي سيتم تحميلها قدر الإمكان.

اتبع هذه البديهية:

إذا لم تكن بحاجة إليه ، فلا تسترده.

من الأسهل بكثير إضافة أشياء جديدة إلى تقرير بدلاً من إخراج الأشياء من تقريرنا. أيضًا عندما تضع الكثير من الأشياء في تقرير ، ستدفع غرامة مقابل الأداء الذي لا تحتاج إلى تجربته.

يفضل إجراء التصفية في المصدر. إذا لم تتمكن من القيام بذلك في المصدر ، فاستخدم سهم القائمة المنسدلة لعامل التصفية التلقائي في استعلام الطاقة لتصفية الحقول التي تهتم بها.

أيضًا في المصدر ، يمكنك أيضًا تقليل عدد الأعمدة التي يتم عرضها باستخدام القائمة المنسدلة اختيار الأعمدة وتحديد الأعمدة التي تهمك فقط.

يمكنك استخدام اختيار الأعمدة أو إزالة الأعمدة . أوصي باستخدام اختيار الأعمدة كأفضل ممارسة لأنه من السهل الرجوع إليها.

إذا غيرت رأيك في وقت لاحق ، فسيتيح لك ذلك طريقة سريعة للقيام بذلك من خلال واجهة المستخدم بدلاً من الانتقال إلى المحرر المتقدم وتحرير رمز M مباشرةً.

طي الاستعلام

طي الاستعلام هو محاولة أخرى لتحميل البيانات بواسطة LuckyTemplates لدمج العديد من خطوات التحديد والتحويل في استعلام مصدر بيانات واحد.

لتحديد ما إذا كان الاستعلام مطويًا ، انقر بزر الماوس الأيمن على الخطوات المطبقة للاستعلام. يمكنك معرفة ما إذا كان الاستعلام الأصلي غير نشط.

إذا كانت باللون الرمادي ، فلن يتم طي طلب البحث. إذا لم يكن باللون الرمادي ، فيمكن طي طلب البحث.

دعنا ننتقل إلى تحويل البيانات ، ثم استعلام الطاقة . في هذا الجدول ، إذا قمت بالنقر بزر الماوس الأيمن فوق خطوة التنقل ، يمكنني أن أرى أن عرض الاستعلام الأصلي ليس باللون الرمادي حتى أتمكن من تحديده.

سنرى هنا عبارة تحديد SQL بسيطة.

إذا انتقلنا إلى الخطوة التالية بعد إجراء التصفية وعرض الاستعلام الأصلي ، يمكننا أن نرى أن الاستعلام قد تم تغييره قليلاً وهناك عبارة "أين" في أسفل هذا الاستعلام.

إذا انتقلنا إلى الخطوة الثالثة وقمنا بالنقر بزر الماوس الأيمن عليها ، يمكننا أن نرى أن الاستعلام الأصلي ليس باللون الرمادي ، لذا يمكننا تحديده مرة أخرى.

بمجرد التحديد ، يمكننا أن نرى أن هناك انهيارًا أكبر للاستعلامات الثلاثة في واحد. هذا يقول LuckyTemplates أن أفضل طريقة لإدخال البيانات في النموذج هي أن يقوم المصدر بالعمل بدلاً من أن أقوم بالعمل.

استخدام مصادر البيانات لطي الاستعلام

مصادر البيانات التي يمكن استخدامها عادةً مع طي الاستعلام هي كائنات قياسية في قواعد البيانات العلائقية مثل الجداول وطرق العرض.

لا يمكن لاستعلامات SQL المخصصة لقواعد البيانات العلائقية استخدام طي الاستعلام. لا يمكن أيضًا طي الملفات الثابتة وبيانات الويب.

بعض التحويلات التي يمكن استخدامها مع طي الاستعلام هي تصفية الصفوف ، وإزالة الأعمدة ، وإعادة تسمية الأعمدة ، والانضمام إلى استعلامات أخرى من نفس مصدر البيانات.

تتضمن بعض التحويلات التي لا يمكن استخدامها مع طي الاستعلام إضافة أعمدة فهرس وتغيير أنواع بيانات العمود ودمج أو إلحاق الاستعلامات من مصادر بيانات مختلفة .

اختيار وضع الاتصال الصحيح

الشيء التالي الذي يجب فعله لتحسين الأداء هو اختيار وضع الاتصال الصحيح. وضع الاستيراد هو الوضع الافتراضي ويجب استخدامه كلما أمكن ذلك لأنه يوفر أفضل أداء للتقرير.

يمكن استخدام وضع الاستعلام المباشر إذا رغبت في الحصول على أحدث البيانات ، ولكن فقط كن على دراية بأنه يمكن ومن المحتمل أن يكون له تأثير سلبي على الأداء.

أخيرًا ، يتوفر وضع الاتصال المباشر عند الوصول إلى مستودعات البيانات مثل مكعبات SSAS متعددة الأبعاد.

تحديد موقع التحولات

الشيء التالي الذي أريد التحدث عنه هو مكان إجراء هذه التحولات. أفضل مكان للقيام بها هو المصدر . إذا لم تتمكن من القيام بها في المصدر ، فافعلها في استعلام الطاقة . إذا لم تتمكن من القيام بها في استعلام الطاقة ، فقم بإجراءها في DAX .

قم بإجراء تحويلات البيانات الخاصة بك إلى أقصى حد ممكن ، وبعيدًا عن المصب حسب الضرورة.

إذا كان بإمكانك القيام بشيء ما في استعلام القوة ، فمن المحتمل أن تفعل ذلك.

مرة أخرى ، إذا لم يكن شيئًا ديناميكيًا في سياق جلسة التقرير ، فالرجاء التفكير في القيام بذلك في Power query لتبسيط DAX وزيادة أداء التقرير.

بقدر ما يذهب شكل الجداول الخاصة بك ، حاول أن تجعل جداول الحقائق طويلة ورفيعة والسعي لجعل جداول الأبعاد قصيرة وواسعة .

أفضل الممارسات في التسمية وأنواع البيانات

استخدم مخطط تسمية وحالة متسق يسهل فهمه لمستخدمي التقارير. أعد تسمية الجداول والاستعلامات حسب الضرورة لتتوافق مع معايير التسمية والحالة لتقريرك.

أعد تسمية الأعمدة حسب الضرورة لتتوافق مع معايير التسمية والغلاف هذه ، وأيضًا إعادة تسمية خطوات استعلام الطاقة حسب الضرورة لجعل الخطوات تصف ذاتيًا حيث قد لا تكون الشخص الذي يحتفظ بالتقرير.

يقوم LuckyTemplates بعمل ممتاز في تعيين أنواع البيانات الصحيحة عند استيراد البيانات ، ولكن في بعض الأحيان تكون بعض التعديلات ضرورية أيضًا. يجب التأكد من استخدام الأعمدة الموجودة في جداول مختلفة كأعمدة ربط بين جدولين من نفس نوع البيانات.

تأكد من أن جميع أعمدة التاريخ لديك هي تاريخ وليست نصًا. قسّم أعمدة التاريخ / الوقت إلى تواريخ منفصلة وأعمدة وقت منفصلة.

كخطوة أخيرة ، أعد التحقق من أنواع البيانات الخاصة بك . اجعلها ممارسة قبل الضغط على إغلاق وتطبيق في استعلام الطاقة لإعادة التحقق دائمًا من أنواع البيانات نظرًا لأن بعض التحولات يمكنها تحويل أنواع البيانات بصمت إلى نص.

الحصول على البيانات بدقة متسقة

آخر شيء يجب مناقشته هو التفصيل. أثناء عملية تحميل البيانات وتحويلها ، يجب أن تسعى جاهدًا للحصول على بياناتك بدقة متسقة. عندما تقوم بدمج مستويات دقة مختلفة في الحل الخاص بك ، استخدم استعلام الطاقة (يفضل) أو DAX لتخصيص البيانات المرجعية بشكل مناسب.

على سبيل المثال ، إذا كانت بيانات مبيعاتك الرئيسية على المستوى اليومي ، فسيتم تفصيلها يوميًا. إذا كانت البيانات المرجعية لميزانيتك على المستوى الشهري ، فإن دقة تفاصيلها تكون شهرية. فيما يلي مثال على صيغة DAX لتخصيص الموازنة التي يمكنك مراجعتها عند إجراء تعديلات الدقة.

خاتمة

أتمنى أن تكون قد وجدت هذا البرنامج التعليمي حول تحميل البيانات وتحويلها مفيدًا. إذا قمت بذلك ، فلا تنس الاشتراك في قناة LuckyTemplates على YouTube للتأكد من إخطارك بأي محتوى جديد.

جريج