ストレージエンジン – LuckyTemplates での DAX クエリの最適化におけるその役割

このチュートリアルでは、分析サービス内の 2 番目のエンジンであるストレージエンジンを見ていきます。

過去のチュートリアルで、トップレベルエンジンであるフォーミュラエンジンについて説明しました。ユーザーがこれら両方のエンジンがどのように機能するかを理解すると、DAX クエリの最適化とパフォーマンスの向上が容易になります。

ストレージエンジンの主な目的は、データベースを直接操作することです。

数式エンジンはデータベースに直接アクセスできないため、通常、この目的のためにストレージエンジンを経由します。

ストレージエンジンには、インポートモードと DirectQuery の2 つのタイプがあります。同じデータモデル内で両方のタイプを組み合わせて、複合モデルを作成できます。

ストレージエンジンでのインポートモードの使用
ストレージエンジンでの DirectQuery の操作
複合モデルの操作
ストレージエンジンに関するその他の重要なポイント
複雑なクエリの処理
結論

ストレージエンジンでのインポートモードの使用

まず、インポートモードについて説明します。これは Vertipaq としてもよく知られていますが、xVelocity または In Memory Columnar Database とも呼ばれます。

インポートモードの仕組みについて理解する必要がある重要な点が 4 つあります。

まず、Vertipaq はデータソースから直接データのコピーを作成し、それを圧縮形式で RAM に保存します。

次に、インポートモードで処理されるデータは、最後の更新操作に基づいています。これは、データを先週更新したのであれば、扱っているデータは先週と同じデータであることを意味します。これは、1 つのテーブルがインポートモードで、もう 1 つのテーブルが DirectQuery モードである複合セットアップを使用している場合に特に重要です。

先週更新された Products テーブルがインポートモードで存在するとします。Sales テーブルについては、そのサイズのため、DirectQuery を使用することにしました。また、Brand 列を取り込み、同じ Sales テーブルに対して Total Sales メジャーを作成する両方のテーブルに基づいてレポートを作成していると仮定します。また、ブランドに基づいて売上高を視覚化したいと考えています。

DirectQuery からは最新の更新されたデータが得られ、Vertipaq からは古いデータが得られる可能性があるため、最初にインポートモードからのデータを更新する必要があります。これにより、マトリックスとビジュアライゼーションにいくつかの空白行が残ります。

Vertipaq について次に知っておく必要があるのは、、、、、などの基本的な操作のみがネイティブで使用できるということです。これは、クエリプランに他のより複雑な操作が含まれている場合、ストレージエンジンはコードのこの部分を解決するために数式エンジンを呼び出す必要があることを意味します。

最後に、ストレージエンジンは、Vertipaq の列構造により高度に最適化されたデータベースです。これは、すべてのデータが行ごとではなく列ごとに保存されることを意味します。この構造により、リレーショナルデータモデルにインデックスを作成した場合でも、Vertipaq は常に DirectQuery 接続よりも高速になります。

ストレージエンジンでの DirectQuery の操作

LuckyTemplates 分析サービス内の次のオプションは DirectQuery です。DirectQuery 接続を使用する場合、分析サービスは、数式エンジンによって送信されるクエリのパススルーとしてのみ機能します。

そこで、クエリを書いたとします。数式エンジンはクエリプランを生成します。その後、データベースの母国語に翻訳されたクエリがストレージエンジンに転送されます。ほとんどの場合、これらのクエリは SQL で送信されます。

クエリで DirectQuery を使用する場合は、クエリが常に最新であることが期待されます。最後にデータを更新したのがいつかについて心配する必要はありません。

DAX コードとデータモデルを最適化するプロセスは、リレーショナルデータベースの作成方法によっても異なります。列にインデックスがある場合、クエリは常に最適化されます。ただし、分析サービスまたは LuckyTemplates を使用したレポートの作成に関してデータベースが最適化されていない場合は、いくつかのパフォーマンスの問題に直面する可能性があります。したがって、レポート開発用にデータベースを意図的に構築してください。

複合モデルの操作

3 番目のオプションは、複合モデルを作成して、インポートモードで 1 つのテーブルを作成し、DirectQuery で別のテーブルを作成できるようにすることです。

異なるソースからの 2 つのテーブルを使用する場合、数式エンジンは 1 つのリクエストを Vertipaq に送信し、もう 1 つのリクエストを DirectQuery データソースに送信します。どちらの場合も、分析サービスは Vertipaq と DirectQuery の両方からデータキャッシュも取得します。数式エンジンは、結果をエンドユーザーに提供する前に、両方のデータキャッシュで JOIN 、、または任意の反復を使用します。

そこで、レポートで製品のブランドごとの売上高を視覚化しようとしているとします。フォーミュラエンジンは Vertipaq にリクエストを送信し、そこで製品、ブランド、プロダクトキーを取得します。次に、DirectQuery から、売上、正味価格、販売数量、および販売プロダクトキーを取得しようとします。

プロダクトキーに基づいて 2 つのデータキャッシュを取得すると、2 つのデータキャッシュを結合して合計売上額を計算します。その後、結果がエンドユーザーに表示されます。

ストレージエンジンに関するその他の重要なポイント

さまざまな種類について説明しましたが、DAX クエリを最適化するためにストレージエンジンについて知っておく必要がある重要な要素が他にもいくつかあります。

前に述べたように、ストレージエンジンは、非圧縮データキャッシュの形式でデータキャッシュを数式エンジンに返します。インポートモードの場合、プロセス内で Vertipaq に送り返されるリクエストは xmSQL 言語で実行されます。

xmSQL 言語は SQL に似ていますが、完全に同じではありません。xmSWL については、別のチュートリアルでクエリプランについて説明するときに詳しく説明する予定です。

ストレージエンジンは CPU で利用可能なすべてのコアを使用することを覚えておくことも重要です。複数のコアを使用できる機能は、データモデル内に複数のセグメントがある場合に役立ちます。

LuckyTemplates に 1,200 万行のテーブルがあるとします。Power Pivot と LuckyTemplates の両方で各セグメントが 100 万行に適合するため、このテーブルは 12 のセグメントに分割されます。これは、1 セグメントに 800 万行を収容する一般的な分析サービスとは異なります。

したがって、CPU に 6 つのコアがある場合、6 つのコアすべてが 12 セグメントの最初の 6 つを同時にスキャンします。完了したら、次の 6 つのセグメントに進みます。

しかし、デフォルトのセグメントが 800 万行を保持する分析サービスを使用している場合、6 つのコアのうち 2 つだけが使用されます。1 つのセグメントは 800 万行を処理し、もう 1 つは 400 万行を処理します。

複雑なクエリの処理

前に、インポートモードは MIN、MAX、SUM、COUNT、GROUPBY などの基本的な操作のみをサポートしていると述べました。では、より��雑なクエリを処理するとどうなるでしょうか?

行コンテキストで IF ステートメントを使用するか、Products テーブルと Sales テーブルに対して SUMX のようなネストされた反復を使用することに決めたとします。

この場合、ストレージエンジンは独自にクエリを解決できません。次に、数式エンジンが呼び出され、ストレージエンジン内で行ごとに複雑な計算の解決が開始されます。両方のエンジンが連携して動作するため、これは好ましいシナリオだと考える人もいるかもしれませんが、これは真実とは程遠いです。

これが発生すると、特定のクエリに callbackdataID がある場合、ストレージエンジンによって生成されたデータキャッシュをキャッシュできなくなります。したがって、ビジュアルを更新すると、たとえ数秒前に同じクエリを実行したばかりであっても、数式エンジンとストレージエンジンの両方で同じ計算を実行する必要があります。これはパフォーマンスの遅延やユーザーエクスペリエンスの低下につながります。

また、ストレージエンジンは、クエリが DAX と MDX のどちらを使用して実行されたかを認識しないことにも注意してください。前に述べたように、クエリプランを渡す前にクエリを適切な言語に変換するのが数式エンジンの仕事です。

最後に、数式エンジンはクエリを 1 つずつストレージエンジンに送信します。これは、複数のセグメントを同時にスキャンすることで、Vertipaq 内での全体的なスキャン時間を短縮できるように、複数のセグメントを持つ方が実際に優れていることを意味します。

LuckyTemplates の DAX: DAX Studio での数式エンジンを使用した最適化
DAX クエリの最適化テクニックとレッスン
クエリのパフォーマンスと DAX Studio のセットアップ

結論

ストレージエンジンの詳細を理解することは、特に DAX Studio を使用している場合に、DAX クエリを最適化するのに役立ちます。数式エンジンについて説明したチュートリアルも読んでいれば、よりパフォーマンスの高いクエリを作成する方法についてより適切な決定を下すことができます。

フォーミュラエンジンはトップレベルのエンジンですが、両方のエンジンを最大限に発揮しなければ本来の性能を発揮できないことは間違いありません。

ではごきげんよう、