LuckyTemplates 增量刷新：它是什麼以及如何使用它

LuckyTemplates已經發展成為企業處理數據的寶貴工具，增量刷新是 LuckyTemplates 中的一項關鍵功能，可通過動態更新數據使你的工作更輕鬆。

LuckyTemplates 增量刷新是一個過程，它允許用戶逐步刷新數據，而不是每次都進行完整的數據刷新。它可以顯著加快數據刷新速度並減少必須在 LuckyTemplates 和數據源之間傳輸的數據量。

在本文中，我們將向您展示如何像專業人士一樣在 LuckyTemplates 中設置增量刷新，使您的數據分析工作流程更加敏捷，並允許您利用觸手可及的最新數據實時做出明智的決策.

我們走吧！

目錄

• LuckyTemplates 增量刷新基礎知識
  • 1. Power Query和LuckyTemplates
  • 2.刷新政策
  • 3.過濾邏輯
  • 4.數據流
• 如何在 LuckyTemplates 中設置增量刷新
  • 1.管理參數
  • 2.RangeStart和RangeEnd參數
  • 3.在LuckyTemplates中配置增量刷新策略
• 如何在使用 LuckyTemplates 增量刷新時處理數據和篩選器
  • 1.日期/時間和整數數據類型
  • 2.代理鍵
  • 3.自定義過濾器
• 如何在 LuckyTemplates 中使用增量刷新提高性能和效率
  • 1.分區和查詢折疊
  • 2. 大數據集存儲格式
  • 3.優化資源消耗
• 對不同數據源使用增量刷新
  • 1.SQL數據庫
  • 2. DirectQuery 和導入數據模式
  • 3.數據倉庫
• 3 使用增量刷新的高級技術和技巧
  • 1.實時數據和刷新
  • 2. 將日期/時間轉換為 DataView 的整數
• 最後的想法

LuckyTemplates 增量刷新基礎知識

LuckyTemplates 增量刷新是一個非常方便的工具，如果你想利用它為你的報表和儀表板實現高效的數據刷新過程，了解它的基本原理是必不可少的。

這些基本原理包括：

1. Power Query和LuckyTemplates

增量刷新是 LuckyTemplates 中的一項功能，允許您僅加載新的或更新的數據模型，從而提高數據刷新過程的效率。

通過將 Power Query 日期/時間參數與保留的、區分大小寫的名稱RangeStart 和 RangeEnd 一起使用，您可以篩選表數據並根據增量範圍對其進行動態分區，以將經常刷新的數據與不經常刷新的數據分開。

2.刷新政策

如果您有興趣實施增量刷新過程，請按照以下步驟操作：

• 在 LuckyTemplates 桌面中，選擇應用了自定義篩選器的表。

• 右鍵單擊並從上下文菜單中選擇增量刷新選項。

• 在打開的增量刷新窗口中，您可以設置各種選項並定義策略。

您在LuckyTemplates Desktop中定義的策略將應用於 LuckyTemplates 服務。

3.過濾邏輯

增量刷新中使用的過濾器邏輯基於日期範圍。在定義過濾器邏輯時，您應該考慮以下因素：

• 請注意您的數據源的歷史數據保留政策。

• 確保數據源支持查詢折疊和增量刷新。

• 確定數據表的最佳範圍以最大程度地減少加載時間。

4.數據流

對數據流使用增量刷新需要一些額外的注意事項：

• 首先，您的數據流必須駐留在具有高級容量的工作區中。

• 其次，Power Apps 中的增量刷新需要 Power Apps 每應用或每用戶計劃。

• 最後，數據流必須使用 Azure Data Lake Storage 作為目標。

LuckyTemplates 中的增量刷新可以節省你的時間並提高數據更新的效率。

現在我們已經介紹了 LuckyTemplates 增量刷新的基礎知識，讓我們在下一節中詳細了解如何在 LuckyTemplates 中設置增量刷新。 

如何在 LuckyTemplates 中設置增量刷新

在 LuckyTemplates 中設置增量刷新是一個簡單的過程。您首先在 Power Query 編輯器中啟用該功能，然後指定需要刷新的表，最後定義您的存儲和刷新策略。

以下是有關如何設置 LuckyTemplates 增量刷新的詳細指南：

1.管理參數

要在 LuckyTemplates 中設置增量刷新，您必須首先使用 Power Query 創建日期/時間參數。這些參數將幫助您定義要增量刷新的數據范圍。

• 通過單擊“轉換數據”在 LuckyTemplates Desktop 中打開Power Query 編輯器。

• 導航到“管理參數”並單擊“新建參數”。

2.RangeStart和RangeEnd參數

要在所需的增量範圍內成功進行增量刷新，必須使用其保留的區分大小寫的名稱創建以下兩個 Power Query 日期/時間參數：

• RangeStart：此參數表示要包括在增量刷新中的數據范圍的開始日期。

  

• RangeEnd：此參數表示增量刷新的數據范圍的結束日期。

  

創建這些參數後，您現在可以將日期範圍過濾器應用於您的數據集。

3.在LuckyTemplates中配置增量刷新策略

一旦設置了 RangeStart 和 RangeEnd 參數，就可以配置增量刷新策略：

• 在 LuckyTemplates Desktop 中，右鍵單擊所需的表並選擇增量刷新。

• 在增量刷新設置窗口中，打開增量刷新此表滑塊。

• 通過定義以下內容來設置存儲策略：

  • 在 LuckyTemplates 服務中存儲數據的天數/年數。

  • 確定增量刷新頻率的刷新策略。

• 配置��略後，單擊全部應用以保存您的設置。

  

通過執行這些步驟，您可以在 LuckyTemplates 中設置增量刷新並優化大型數據集的刷新過程。就這麼簡單！

現在我們已經涵蓋了這些內容，我們將在下一節中了解如何在使用 LuckyTemplates 增量刷新的同時處理數據和篩選器。

如何在使用 LuckyTemplates 增量刷新時處理數據和篩選器

如果你有一個不經常更改的大型數據集，但你仍希望定期查看最新數據，那麼了解如何在 LuckyTemplates 中使用數據和篩選器會很有用。

以下是您可以這樣做的方法：

1.日期/時間和整數數據類型

使用 LuckyTemplates 的增量刷新時，必須了解適用於日期/時間和整數數據類型的不同篩選器。

使用具有保留的、區分大小寫的名稱 RangeStart 和 RangeEnd 的日期/時間參數，您可以根據日期有效地過濾表數據。

例如，在包含 2005 年以來數據的事實表中，您可以設置增量刷新只保留最近十年，過濾掉 2010 年之前的數據。

對於整數數據類型，您可以設置自定義過濾器來管理增量刷新。這有助於將需要頻繁刷新的數據與不需要那麼多更新的數據進行分區和分離。

2.代理鍵

在 LuckyTemplates 中使用增量刷新時，代理鍵起著至關重要的作用。這些唯一鍵有助於管理和控制您的表數據。

在配置過程中使用代理鍵時，您可以輕鬆跟踪數據中的任何更改或更新，同時確保主鍵未被更改。

這可以實現高效且有效的增量刷新，同時保持數據的完整性。

3.自定義過濾器

除了日期/時間和整數數據類型，您還可以在增量刷新中創建和使用自定義過濾器。自定義過濾器可幫助您根據特定需求或標準更好地管理和分區數據。

以下是創建自定義過濾器的分步指南：

1. 右鍵單擊事實表並填寫增量刷新配置的必填字段。

2. 創建兩個日期/時間數據類型的參數，名稱為 RangeStart 和 RangeEnd。為每個參數設置一個默認值。

3. 在您的查詢或數據處理步驟中實現自定義過濾器功能，以根據您的特定要求過濾數據。

使用自定義篩選器，您可以高效地組織和管理 LuckyTemplates 解決方案中的數據，確保最佳性能和可用性。

請注意增量刷新設置，以避免陷入陷阱或面臨可能妨礙您的整體體驗的問題。

了解如何在 LuckyTemplates 中使用數據和篩選器後，讓我們在下一節中深入探討如何通過利用增量刷新來提高報表和儀表板的性能和效率。

如何在 LuckyTemplates 中使用增量刷新提高性能和效率

在 LuckyTemplates 中使用增量刷新時，有多種方法可以提高性能和效率。我們將在下面看看其中的一些。

1.分區和查詢折疊

當您在 LuckyTemplates 中配置增量刷新時，您的表會自動分區。一個分區包含需要經常刷新的數據，而另一個分區包含未更改的行。

這提高了刷新過程的性能和效率。查詢折疊也在這個過程中發揮作用；它將查詢的多個步驟合併到一個數據庫查詢中，減少了報告更新所需的處理量和時間。

2. 大數據集存儲格式

LuckyTemplates Premium 允許您使用列存儲和聚合等存儲格式更高效地處理大型數據集。

在處理大量數據時，這些存儲格式可加快刷新性能並使您能夠更快地與報表進行交互。

• Columnstore：由於其列存儲和壓縮功能，這種格式增強了讀取密集型查詢的性能。

• 聚合：此功能可確保聚合表可以回答許多查詢，從而減少訪問大型事實表的需要，從而提高性能。

在使用 LuckyTemplates Premium 時使用這些存儲格式將使大型 LuckyTemplates 數據集的管理更加高效。

3.優化資源消耗

監視和優化資源消耗對於維持 LuckyTemplates 系統的性能至關重要。您可以通過以下方式執行此操作：

• 跟踪內存使用情況：在數據集刷新操作期間分析 PeakMemory 指標以了解消耗的最大內存。監視此值可幫助您識別任何瓶頸並優化內存使用。

• 監控 CPU 使用率：關注 MashupCPUTime，它表示 Power Query Engine 為所有查詢消耗的總 CPU 時間。這種洞察力使您可以優化查詢並最大程度地減少消耗。

您可以通過實施上述內容並利用分區、查詢折疊和大型數據集存儲格式等 LuckyTemplates 功能來提高 LuckyTemplates 系統的整體性能和效率。

接下來，我們將研究如何使用不同的來源配置增量刷新。

對不同數據源使用增量刷新

您可以將 LuckyTemplates 增量刷新與不同的數據源一起使用，包括SQL 數據庫、DirectQuery 和導入數據模式以及數據倉庫。

以下是選擇要導入 LuckyTemplates 的數據源時需要考慮的一些事項：

1.SQL數據庫

使用 SQL 數據庫作為數據源時，請記住：

• 使用區分大小寫的保留名稱創建 Power Query 日期/時間參數：RangeStart 和 RangeEnd。

• 使用這些參數對數據應用過濾器以分離頻繁和不頻繁刷新的數據。

• 在發佈到 LuckyTemplates 服務之前，在 LuckyTemplates Desktop 中定義增量刷新策略。

請記住，增量刷新僅在 LuckyTemplates Pro、LuckyTemplates Embedded 數據集和 Premium 每用戶計劃環境中受支持。

2. DirectQuery 和導入數據模式

LuckyTemplates 提供兩種數據訪問模式：DirectQuery和Import Data。

在這些模式下使用增量刷新涉及以下內容：

• DirectQuery：在直接查詢模式下，您可以實時從數據源中查詢數據，這意味著不會將任何數據導入到您的 LuckyTemplates 數據集中。如果你有 LuckyTemplates Premium、LuckyTemplates Embedded 數據集或 Premium 每用戶計劃，則只能將增量刷新與直接查詢結合使用。

• 導入數據：在此模式下，您將數據導入 LuckyTemplates 數據集，然後您可以使用導入的數據。要將增量刷新與導入數據模式結合使用，請配置 RangeStart 和 RangeEnd 參數、應用過濾器並定義增量刷新策略。

3.數據倉庫

對數據倉庫使用增量刷新類似於使用 SQL 數據庫。按照相同的步驟創建 RangeStart 和 RangeEnd 參數，應用篩選器根據刷新頻率分離數據，並在將數據集發佈到 LuckyTemplates 服務之前定義增量刷新策略。

確保您了解 LuckyTemplates 環境的數據訪問模式和限制，以正確使用不同數據源的增量刷新。

正確配置的增量刷新可以提高數據存儲效率並確保最新信息可用於您的 LuckyTemplates 報告。

由於我們已經了解瞭如何對不同的數據源使用增量刷新，因此我們將在下一節中查看使用 LuckyTemplates 增量刷新時的高級提示和技巧。

這些提示和技巧將幫助您充分利用數據並確保您正確使用增量刷新。

3 使用增量刷新的高級技術和技巧

下面列出了一些高級提示和技術，您可以在數據模型中成功部署和優化 LuckyTemplates 增量刷新：

1.實時數據和刷新

使用 LuckyTemplates 時，必須有效地配置增量刷新和實時數據以獲得最佳性能。

增量刷新使您能夠專門刷新新數據或修改後的數據，而不是整個數據集。當與實時數據配對時，您可以使用最新信息有效地更新您的報告。

要利用此類功能，請通過 LuckyTemplates Desktop 或表格模型腳本語言 (TMSL) 或表格對像模型 (TOM) 等工具通過 XMLA 端點進行配置。

2. 將日期/時間轉換為 DataView 的整數

將日期/時間值轉換為整數可以更輕鬆地處理數據並優化刷新效率。以下是在 Power Query 中將日期/時間轉換為整數的步驟：

1. 在 LuckyTemplates 中打開 Power Query 編輯器。

2. 選擇包含日期/時間值的列。

3. 轉到“轉換”選項卡並單擊“數據類型”。

4. 選擇整數作為新的數據類型。

這種轉換通過減少增量刷新期間數據處理的壓力來提高性能。

3.只刷新完整天數

在配置增量刷新策略時，只刷新完整天數是至關重要的，因為它可以防止不必要的數據處理並減少報告的加載時間。

為此，請執行以下步驟：

1. 在 LuckyTemplates Desktop 中，右鍵單擊表，然後選擇增量刷新。

2. 在Incremental Refresh窗口，定義一個過濾器，比如Date_IS_AFTER = Date.IsAfterOrEqual([Date], DateTimeZone.SwitchZone(DateTime.LocalNow(), -TimeZoneOffset))

3. 配置“ rangeStart ”和“ rangeEnd ”參數以僅使用完整的天數。例如，將“ rangeEnd ”設置為前一天的日期。

通過應用這些高級技術和技巧，您可以確保高效的數據集管理、報告生成和 LuckyTemplates 工作流的改進性能。

最後的想法

我們終於得到它了！我們揭開了 LuckyTemplates 增量刷新的神秘面紗。它不僅僅是一些技術術語，而且是一個遊戲規則改變者，可以讓處理海量數據集變得輕而易舉，同時為您節省大量時間和資源。

作為 LuckyTemplates 用戶，您可以從增量刷新功能中受益匪淺。Microsoft 流行的商業智能工具中的這種高級功能通過僅刷新數據集中的新數據或更改的數據來節省資源和時間。

所以繼續吧，試一試，體驗它如何為您的數據更新帶來效率。請記住，在數據世界中，保持更新就是保持領先！

如果您想了解有關 LuckyTemplates 的更多信息，可以觀看以下視頻：