Amalan Terbaik Pemuatan Data Dan Transformasi

Saya ingin membentangkan amalan terbaik yang saya pakai semasa menyediakan laporan LuckyTemplates. Sejak beberapa tahun kebelakangan ini, saya telah menggunakan banyak sumber dalam talian mengenai pemuatan data dan transformasi yang telah memainkan peranan penting dalam perjalanan saya, tetapi saya cepat terharu dengan kandungannya, jadi saya akhirnya membuat nota saya sendiri. Anda boleh menonton video penuh tutorial ini di bahagian bawah blog ini.

Ini sama sekali bukan senarai lengkap mahupun amalan terbaik – ia hanyalah sebahagian daripada senarai yang telah saya masukkan ke dalam pembangunan saya sendiri. Selain itu, amalan terbaik sentiasa berkembang dari semasa ke semasa apabila keupayaan baharu dan dipertingkatkan diperkenalkan dalam aplikasi LuckyTemplates dan dipersembahkan oleh komuniti LuckyTemplates.

Saya ingin membentangkan yang pertama daripada empat tunjang pembangunan LuckyTemplates. Empat tiang tersebut ialah pemuatan data dan transformasi data , pemodelan data , pengiraan DAX , dan laporan dan visualisasi . Kami akan berurusan dengan persediaan pra-pembangunan dan tonggak pertama dalam catatan blog ini.

Isi kandungan

• Melumpuhkan Auto Tarikh/Masa
• Melumpuhkan Auto Mengesan Perhubungan
• Berinteraksi Dengan Visual Dalam Laporan LuckyTemplates
• Mengasingkan Set Data Daripada Laporan
• Mencipta Jadual Tarikh Khusus
• Peringatan Lain Untuk Jadual Tarikh
• Bertanya Soalan Mengenai Laporan
• Pementasan Dan Rujukan Data
• Mengurangkan Beban Data
• Lipatan Pertanyaan
• Menggunakan Sumber Data Untuk Melipat Pertanyaan
• Memilih Mod Kesambungan yang Betul
• Mencari Transformasi
• Amalan Terbaik Mengenai Penamaan Dan Jenis Data
• Menyumber Data Pada Kebutiran yang Konsisten
• Kesimpulan

Melumpuhkan Auto Tarikh/Masa

Anda amat disyorkan untuk melumpuhkan ciri tarikh dan masa auto dalam . Anda boleh melakukan ini dalam dua cara.

Anda boleh melakukan ini secara global untuk semua fail dengan langkah berikut:

Anda juga boleh melumpuhkannya untuk fail semasa dengan menukar tetapannya.

Melumpuhkan Auto Mengesan Perhubungan

Anda juga amat disyorkan supaya anda melumpuhkan auto-kesan perhubungan. Anda boleh pergi ke Fail dan lihat Pilihan dan tetapan untuk melumpuhkan auto-kesan perhubungan baharu selepas data dimuatkan.

Berinteraksi Dengan Visual Dalam Laporan LuckyTemplates

Perkara seterusnya yang ingin saya bincangkan ialah dua cara anda boleh berinteraksi dengan visual dalam laporan LuckyTemplates. Interaksi ini boleh sama ada ditapis silang atau diserlahkan .

Penserlahan silang didayakan secara lalai dalam LuckyTemplates. Anda boleh menukar ini dengan pergi ke Fail kemudian Pilihan dan tetapan. Untuk fail semasa dalam bahagian tetapan laporan, anda boleh menukar interaksi visual daripada penyerlahan silang kepada penapisan silang.

Mari lihat laporan kami. Anda boleh melihat bahawa secara lalai, LuckyTemplates menggunakan penyerlahan silang pada visual berkaitan. Jika saya mengklik pada satu saluran daripada carta bar kiri, anda akan melihat bahagian yang dipilih diserlahkan dalam warna gelap manakala bahagian yang tidak dipilih kekal dalam warna terang dalam carta bar kedua.

Anda boleh melihat bahawa bentuk penuh tidak berubah dalam graf dan anda hanya melihat bahagian yang diserlahkan. Anda boleh menukar ini daripada tetapan laporan dan menukar interaksi visual lalai daripada penyerlahan silang kepada penapisan silang.

Setelah anda melakukannya, anda akan melihat bahawa bentuk carta bar berkaitan anda akan berubah setiap kali anda membuat pilihan atau kumpulan pilihan. Ini adalah amalan yang baik untuk dilakukan.

Mengasingkan Set Data Daripada Laporan

Perkara seterusnya yang ingin saya bincangkan ialah memisahkan pembangunan set data anda daripada pembangunan laporan anda. Di sinilah anda boleh menerbitkan fail set data tebal sebagai set data berdiri sendiri yang tidak mempunyai visual dan pembangunan fail laporan nipis yang akan menggunakan set data yang diterbitkan ini.

Salah satu kelebihan menerbitkan set data secara berasingan ialah anda boleh menggunakan proses pengesahan dalam perkhidmatan LuckyTemplates untuk mempromosikan dan memperakui set data. Adalah amalan yang ideal untuk memilih set data yang disahkan, sebaik-baiknya set yang diperakui apabila anda sedang membangunkan laporan baharu.

Mencipta Jadual Tarikh Khusus

Pastikan laporan anda mempunyai jadual Tarikh khusus dalam laporan anda. Anda boleh menggunakan yang tersedia di forum LuckyTemplates. Anda boleh menyalin dan menampal kod M ke dalam pertanyaan kosong.

Perkara kedua yang perlu dilakukan sebaik sahaja anda mempunyai jadual Tarikh khusus ialah menandakannya sedemikian. Ini akan membolehkannya digunakan oleh LuckyTemplates untuk pengiraan risikan masa.

Peringatan Lain Untuk Jadual Tarikh

Sentiasa pastikan jadual data anda bersebelahan dan terdapat satu baris setiap hari. Juga, pastikan ia menutup sepenuhnya tepi jadual fakta anda.

Selain itu, tambahkan tahun penuh pada jadual Tarikh. Ia juga merupakan idea yang baik untuk menambah tahun hadapan tambahan pada jadual Tarikh untuk membolehkan sebarang pengiraan risikan masa hadapan atau ramalan.

Jika anda mempunyai lebih banyak hari dalam jadual Tarikh anda daripada yang anda mahu tunjukkan pada laporan anda, anda boleh mengawal perkara yang ditunjukkan dalam penghiris menggunakan lajur IsAfterToday atau lajur offset yang tersedia dalam anak tetingkap penapis.

Bertanya Soalan Mengenai Laporan

Perkara seterusnya yang saya ingin bincangkan ialah sama ada anda patut membuat laporan sama sekali. Semasa anda melakukannya, semak untuk melihat sama ada terdapat laporan sedia ada yang boleh anda gunakan untuk memenuhi keperluan anda. Jika tiada laporan, adakah terdapat model data sedia ada yang boleh anda gunakan untuk memenuhi keperluan? Adakah terdapat set data sedia ada yang boleh anda gunakan atau adakah anda sebenarnya perlu bermula dari awal?

Pementasan Dan Rujukan Data

Perkara seterusnya yang perlu dibincangkan apabila memuatkan data ialah data pementasan dan rujukan. Apabila anda memuatkan jadual data rata, anda mungkin mempunyai fakta dan dimensi dalam jadual yang sama seperti fail Excel. Apabila anda melakukan beban dan mengalihkannya ke bahagian pertanyaan pementasan dan menamakannya semula, anda boleh menyahtanda Dayakan beban .

Langkah seterusnya ialah membuat rujukan jadual itu untuk setiap fakta dan dimensi carian dan menamakan semula jadual dengan sewajarnya. Edit setiap rujukan, simpan hanya lajur yang diperlukan dan alih keluar pendua.

Susun model data anda dan letakkan dalam kumpulannya sendiri. Saya sentiasa mempunyai kumpulan dalam model data saya yang dipanggil Model Data yang mempunyai semua jadual yang akan saya gunakan dalam visual saya.

Mengurangkan Beban Data

Perkara seterusnya untuk dibincangkan ialah prestasi alat semasa memuatkan data. Salah satu perkara terbesar yang memberi kesan kepada prestasi ialah volum data, jadi berusahalah untuk mengurangkan jumlah data yang akan dimuatkan sebanyak mungkin.

Ikuti aksiom ini:

Jika anda tidak memerlukannya, jangan ambil semula.

Lebih mudah untuk menambah perkara baharu ke dalam laporan daripada mengeluarkan perkara daripada laporan kami. Juga apabila anda memasukkan terlalu banyak perkara ke dalam laporan, anda akan membayar penalti untuk prestasi yang anda tidak perlu alami.

Sebaiknya, lakukan penapisan anda dalam sumber. Jika anda tidak boleh melakukannya dalam sumber, gunakan anak panah lungsur turun penapis automatik dalam pertanyaan kuasa untuk menapis medan yang anda minati.

Juga dalam sumber, anda juga boleh mengurangkan bilangan lajur yang ditunjukkan dengan menggunakan menu lungsur Pilih lajur dan memilih hanya lajur yang menarik minat anda.

Anda boleh menggunakan sama ada Pilih lajur atau Alih keluar lajur . Saya syorkan menggunakan Pilih lajur sebagai amalan terbaik kerana ia mudah untuk kembali.

Jika anda mengubah fikiran anda di kemudian hari, ia membolehkan anda cara yang cepat untuk melakukannya melalui UI dan bukannya pergi ke editor lanjutan dan mengedit kod M secara langsung.

Lipatan Pertanyaan

Lipatan pertanyaan ialah satu lagi percubaan memuatkan data oleh LuckyTemplates untuk menggabungkan beberapa langkah pemilihan dan transformasi data ke dalam pertanyaan sumber data tunggal.

Untuk menentukan sama ada pertanyaan sedang dilipat, klik kanan pada langkah pertanyaan yang digunakan. Anda boleh melihat jika pertanyaan asli dikelabukan.

Jika ia dikelabukan maka pertanyaan itu tidak dilipat. Jika ia tidak dikelabukan, maka pertanyaan boleh dilipat.

Mari pergi ke Transform data , kemudian power query . Dalam jadual ini, jika saya klik kanan pada langkah navigasi, saya dapat melihat bahawa Lihat Pertanyaan Asli tidak dikelabukan supaya saya boleh memilihnya.

Kami akan melihat pernyataan pilih SQL yang mudah di sini.

Jika kita pergi ke langkah seterusnya selepas penapisan telah dilakukan dan melihat pertanyaan asli, kita dapat melihat bahawa pertanyaan itu telah diubah sedikit dan terdapat klausa 'di mana' di bahagian bawah pertanyaan itu.

Jika kita pergi ke langkah ketiga dan klik kanan padanya, kita dapat melihat bahawa pertanyaan asli tidak dikelabukan, jadi kita boleh memilihnya sekali lagi.

Sebaik sahaja kami memilih, kami dapat melihat bahawa terdapat keruntuhan yang lebih besar daripada tiga pertanyaan menjadi satu. Ini adalah LuckyTemplates yang mengatakan bahawa cara terbaik untuk memasukkan data ke dalam model adalah untuk sumber melakukan kerja dan bukannya saya melakukan kerja.

Menggunakan Sumber Data Untuk Melipat Pertanyaan

Sumber data yang biasanya boleh digunakan dengan lipatan pertanyaan ialah objek standard dalam pangkalan data hubungan seperti jadual dan pandangan.

Pertanyaan SQL tersuai kepada pangkalan data hubungan tidak boleh menggunakan lipatan pertanyaan. Fail rata dan data web juga tidak boleh dilipat.

Beberapa transformasi yang boleh digunakan dengan lipatan pertanyaan ialah menapis baris , mengalih keluar lajur , menamakan semula lajur dan bergabung dengan pertanyaan lain daripada sumber data yang sama.

Beberapa transformasi yang tidak boleh digunakan dengan lipatan pertanyaan termasuk menambah lajur indeks , menukar jenis data lajur dan menggabungkan atau menambahkan pertanyaan daripada sumber data yang berbeza .

Memilih Mod Kesambungan yang Betul

Perkara seterusnya yang perlu dilakukan untuk meningkatkan prestasi ialah memilih mod sambungan yang betul. Mod import ialah mod lalai dan harus digunakan apabila boleh kerana ia menawarkan prestasi laporan terbaik.

Mod pertanyaan langsung boleh digunakan jika data terkini dikehendaki, tetapi hanya sedar bahawa ia boleh dan berkemungkinan akan memberi kesan prestasi negatif.

Akhir sekali, mod sambungan langsung tersedia apabila anda mengakses gudang data seperti kiub berbilang dimensi SSAS.

Mencari Transformasi

Perkara seterusnya yang saya ingin bincangkan ialah lokasi di mana transformasi ini akan dilakukan. Tempat terbaik untuk melakukannya adalah di sumbernya . Jika anda tidak boleh melakukannya dalam sumber, lakukannya dalam pertanyaan kuasa . Jika anda tidak boleh melakukannya dalam pertanyaan kuasa, maka lakukannya dalam DAX .

Laksanakan transformasi data anda sejauh mungkin ke hulu, dan sejauh ke hiliran yang perlu.

Jika anda boleh melakukan sesuatu dalam pertanyaan kuasa, maka anda mungkin perlu melakukannya.

Sekali lagi, jika ia bukan sesuatu yang dinamik dalam konteks sesi laporan, sila pertimbangkan untuk melakukannya dalam pertanyaan kuasa untuk memudahkan DAX anda dan meningkatkan prestasi laporan anda.

Setakat bentuk jadual anda, berusaha untuk membuat jadual fakta panjang dan nipis dan berusaha untuk membuat jadual dimensi pendek dan lebar .

Amalan Terbaik Mengenai Penamaan Dan Jenis Data

Gunakan skema penamaan dan sarung yang konsisten yang mudah difahami untuk pengguna laporan. Namakan semula jadual dan pertanyaan anda mengikut keperluan untuk mematuhi piawaian penamaan dan selongsong untuk laporan anda.

Namakan semula lajur anda seperti yang diperlukan untuk mematuhi piawaian penamaan dan selongsong tersebut, dan juga menamakan semula langkah pertanyaan kuasa anda mengikut keperluan untuk membuat langkah-langkah itu menerangkan sendiri kerana anda mungkin bukan orang yang mengekalkan laporan itu.

LuckyTemplates melakukan tugas yang sangat baik untuk menetapkan jenis data yang betul semasa mengimport data, tetapi kadangkala beberapa pelarasan juga diperlukan. Anda harus memastikan bahawa lajur dalam jadual berbeza akan digunakan sebagai lajur pemautan antara dua jadual yang mempunyai jenis data yang sama.

Pastikan semua lajur tarikh anda ialah Tarikh dan bukan Teks. Pisahkan lajur tarikh/masa anda kepada lajur Tarikh dan Masa berasingan.

Sebagai langkah terakhir, semak semula jenis data anda . Jadikan amalan sebelum menekan Tutup dan Guna dalam pertanyaan kuasa untuk sentiasa menyemak semula jenis data anda kerana transformasi tertentu boleh menukar jenis data kepada teks secara senyap.

Menyumber Data Pada Kebutiran yang Konsisten

Perkara terakhir untuk dibincangkan ialah butiran. Semasa pemuatan data dan proses transformasi, anda harus berusaha untuk mendapatkan data anda pada butiran yang konsisten. Apabila anda menggabungkan butiran berbeza dalam penyelesaian anda, gunakan pertanyaan kuasa (sebaik-baiknya) atau DAX untuk memperuntukkan data rujukan dengan sewajarnya.

Contohnya, jika data jualan utama anda berada pada tahap harian, butirannya adalah setiap hari. Jika data rujukan belanjawan anda berada pada tahap bulanan, butirannya adalah bulanan. Berikut ialah contoh formula DAX peruntukan belanjawan yang boleh anda semak untuk membuat pelarasan butiran.

Kesimpulan

Saya harap anda mendapati tutorial mengenai pemuatan dan transformasi data ini berguna. Jika anda melakukannya, sila jangan lupa untuk melanggan saluran YouTube LuckyTemplates untuk memastikan anda dimaklumkan tentang sebarang kandungan baharu.

Greg