LuckyTemplates でのデータセグメンテーションの仕組み

このチュートリアルでは、 LuckyTemplates と SSASのデータセグメンテーションの基本概念について学習します。具体的には、データセグメンテーションの運用上の定義とその利点について学びます。

データセグメンテーションの概要
LuckyTemplates でのデータセグメンテーションの利点
結論

データセグメンテーションの概要

LuckyTemplates にデータをインポートするときは、 [閉じて適用]オプションをクリックする必要があります。Excel の場合は、「閉じてロード」をクリックする必要があります。

LuckyTemplates でのデータセグメンテーションの仕組み

これらのボタンをクリックすると、LuckyTemplates Analysis Services はセグメンテーションと呼ばれるステップを実行します。

たとえば、100 万行のデータセットがある場合、LuckyTemplates と Excel はそれらの行を 1 つのセグメントに保存します。データサイズを 200 万行に増やすと、それぞれ 100 万行のセグメントが 2 つ作成されます。このパターンは、100 万行増加するたびに継続します。

SQL Server Analysis Services (SSAS) の場合、デフォルトのセグメントサイズは 800 万行です。したがって、SSAS 内に 1,000 万行のデータベースを読み込むと、データベース全体が 2 つのテーブルに分割されます。つまり、1 つのテーブルには 800 万行が含まれ、2 番目のテーブルには 200 万行が含まれます。したがって、行数を 1,600 万に増やすと、それぞれ 800 万のセグメントが 2 つ存在します。

LuckyTemplates でのデータセグメンテーションの利点

たとえば、1 億行のデータセットがあるとします。[閉じて適用]をクリックすると、LuckyTemplates はデータをセグメントごとに読み込んで圧縮します。最初のセグメントが終了すると、次のセグメントに進みます。SSAS の場合、圧縮率を高める最適な並べ替え順序を見つけて最適化を試みます。

データをセグメント化することにより、CPU と RAM の両方にかかる負荷が大幅に軽減されます。1 億行が同時に処理されると、パフォーマンスに負荷がかかり、マシンの容量に大きな負担がかかります。

セグメンテーションのもう 1 つの利点は、ストレージエンジンによるDAX コードのスケーリングを支援することです。たとえば、LuckyTemplates のデータセットに 1,000 万行があり、CPU に 6 つのコードがある場合、ストレージエンジンは 6 つのセグメントを同時にスキャンできます。

6 つのセグメントがスキャンされ、データキャッシュが生成されると、次の 4 つのセグメントに進みます。すべてのセグメントが完了すると、結合されてフォーミュラエンジンに送信されます。

SSAS の場合、最初の 800 万行が 1 つのセグメントに格納されます。その後、ストレージエンジンは次の 800 万行に移動し、それらを個別に保存し続けます。

LuckyTemplates でのデータセグメンテーションの仕組み

したがって、エンジンは、1 億行のデータモデル全体を一度にロードするのではなく、データモデルを 800 万行ずつのセグメントに分離します。

結論

このチュートリアルでは、 LuckyTemplates でのデータセグメンテーションに関する基本概念について簡単に概要を説明します。繰り返しになりますが、LuckyTemplates と Excel は 100 万行ごとにデータセットをセグメント化しますが、SSAS は 800 万行ごとにデータセットをセグメント化します。

セグメント化は、コードのパフォーマンスを最適化するのに役立ちます。これは、レポートの読み込み効率を向上させたい場合にも非常に重要です。

セグメンテーションは、LuckyTemplates、Excel、または SSAS を使用するたびにバックグラウンドで実行されるプロセスです。これは明白なプロセスではありませんが、CPU と RAM の計算負荷を軽減する上で非常に重要です。