Cache de date: ce este și cum ajută la optimizarea interogărilor

În acest tutorial, veți afla ce este un cache de date și de ce este important. Un cache de date stochează biți de date care ar putea deveni valoroși pentru utilizare ulterioară.

Dacă aveți nevoie de aceleași informații într-o măsură sau acțiune viitoare, memoria cache de date va furniza informațiile de care aveți nevoie. Elimină ca sistemul să preia din nou aceleași seturi de date.

În acest tutorial, veți trece prin opt lucruri importante de reținut atunci când vă ocupați de cache-urile de date în LuckyTemplates:

Cuprins

• Definiția și scopul unui cache de date
• Care este impactul unui cache de date asupra memoriei RAM
• Cum o cache de date optimizează interogările
  • Funcții neoptimizate
  • Reiterări reduse
• Concluzie

Definiția și scopul unui cache de date

Un cache de date este un tabel temporar creat în memorie de către motorul de stocare . Acest tabel temporar este trimis motorului de formule care apoi iterează peste aceste informații și efectuează diferite operații în urma interogării.

Toată comunicarea dintre motorul de formule și motorul de stocare are loc întotdeauna sub forma unui cache de date. Motorul de formule pregătește planurile de interogare și apoi trimite instrucțiunile motorului de stocare. Motorul de stocare îl trimite apoi înapoi la motorul de formule care returnează rezultatul înapoi utilizatorului.

Deoarece motorul de formule nu are acces direct la datele stocate în DirectQuery și VertiPaq, se bazează pe motorul de stocare pentru cache-urile de date.

Cache-ul de date trimis de motorul de stocare este într-un format necomprimat. Aceasta înseamnă că dimensiunea datelor stocate în instrumentul Vertipaq poate fi redusă.

Dar când este timpul să returnați memoria cache de date în motorul de formule, acesta nu poate fi comprimat, deoarece motorul de formule nu funcționează cu seturi de date comprimate.

Care este impactul unui cache de date asupra memoriei RAM

Dacă motorul de stocare trimite bucăți uriașe de cache de date, acest lucru va ocupa mult spațiu pe RAM-ul software-ului. De asemenea, va consuma o cantitate semnificativă de timp pentru ca motorul de formulă să efectueze iterații și să producă un rezultat.

Deci, atunci când scrieți codul DAX, trebuie să înțelegeți că ar trebui să fie scris într-un mod care să minimizeze rândurile din memoria cache de date.

Cel mai bun scenariu ar fi să potriviți numărul de rânduri afișat în vizual cu numărul de rânduri returnate în memoria cache de date.

De cele mai multe ori, este dificil să returnezi aceeași cantitate de rânduri. Dacă se întâmplă acest lucru, va trebui să revizuiți codul DAX și să-l defalcați într-un mod care să optimizeze memoria cache de date produsă de motorul de stocare.

Cum o cache de date optimizează interogările

Funcții neoptimizate

Unele dintre funcțiile din limbajul DAX nu sunt optimizate pentru motorul de stocare. Pentru a înțelege mai bine acest lucru, să ne uităm la un exemplu.

De exemplu, în codul dvs., în loc să utilizați SUMMARIZE, puteți utiliza funcția . Funcțiile SUMMARIZE și GROUPBY efectuează aceeași operație. Cu toate acestea, există diferențe notabile în funcție de scenariu.

Funcția GROUPBY nu este optimizată pentru motorul de stocare. Dacă utilizați funcția GROUPBY pe un tabel de fapte cu 12 milioane de rânduri, va produce un cache de date cu același număr de rânduri. Acesta poate fi de la 600 MB până la 1 GB.

Această dimensiune poate pune o presiune mare asupra memoriei RAM. Deci, în loc să utilizați GROUPBY, folosiți . Funcția SUMMARIZE are ca rezultat o dimensiune mai mică a memoriei cache a datelor. Îl puteți asocia cu GROUPBY ca funcție de nivel superior.

Reiterări reduse

Când scrieți măsurile sau interogările DAX, trebuie să vă asigurați că codul produs în culise este potrivit pentru motorul de stocare.

Trebuie să scrieți codul DAX într-un mod care să producă un cache de date care poate fi folosit și în interogările ulterioare. Avantajul acestui lucru este că, în loc să efectueze o scanare separată folosind VertiPaq , motorul de stocare va verifica dacă a fost deja primită o interogare similară.

Dacă acest lucru este adevărat, înseamnă că memoria cache a datelor este disponibilă în memorie. Deci, în loc să scaneze din nou interogarea, VertiPaq o va returna pur și simplu din memoria cache în motorul de formule.

Dacă vedeți un operator CALLBACKDATAID în interogarea motorului dvs. de stocare, înseamnă că acele interogări nu pot fi stocate în cache. Dacă în cazul în care o interogare similară este trimisă motorului de stocare, acesta va efectua o reiterare.

Astfel, VertiPaq va trebui să apeleze motorul de formule pentru a rezolva interogarea. Acest lucru crește timpul general de execuție deoarece memoria cache nu poate fi utilizată în acest caz.

Concluzie

Cache-ul de date este cel mai bun prieten al tău în limbajul DAX. Nu uitați să scrieți codul DAX într-un mod care să maximizeze spațiul de stocare și să reducă numărul de iterații al instrumentului VertiPaq. Puteți reutiliza memoria cache de date deja produsă de Motorul de stocare pentru a reduce timpul de execuție a interogării.