VertiPaq LuckyTemplates: come vengono codificate le colonne

In questo tutorial imparerai i metodi di codifica delle colonne utilizzando VertiPaq in LuckyTemplates . Capirai come funziona ogni metodo e come influisce sulle prestazioni del tuo DAX.

Ogni metodo ha il proprio stile di compressione dei dati in modo che possa darti transazioni più veloci e fluide.

Sommario

• Codifica del valore con VertiPaq in LuckyTemplates
• Codifica del dizionario
• Eseguire la codifica della lunghezza con VertiPaq in LuckyTemplates
• Eseguire la codifica della lunghezza utilizzando le colonne codificate
• Conclusione

Codifica del valore con VertiPaq in LuckyTemplates

Il primo tipo di compressione dei dati è Value Encoding . Si verifica su colonne di tipo intero.

Questo è un esempio di una colonna di costo originale:

Puoi vedere che ci sono valori all'interno.

Ora, se VertiPaq memorizza questi dati nella colonna così come sono, avrebbe bisogno di 12 bit di memoria.

Tuttavia, VertiPaq  cerca modi per ridurre al minimo la quantità di memoria necessaria per archiviare i dati. Troverà il valore minimo di una colonna e quindi codificherà quella colonna sottraendo 3004 da ciascun valore. In questo modo, sarebbero quindi necessari solo 9 bit di memoria.

VertiPaq ha ridotto la memoria di cui ha bisogno, velocizzando l'esecuzione del codice.

Codifica del dizionario

Il successivo metodo di compressione dei dati è Dictionary o Hash Encoding che si verifica su colonne di valori non interi o di testo.

Questo è un esempio di una colonna con nomi di prodotti ripetuti:

VertiPaq ha una funzione che aiuta a comprimere colonne non intere. Crea un elenco di valori distinti in quella colonna e quindi assegna loro un numero.

Puoi vedere che applica un numero che corrisponde ai nomi dei prodotti.

Successivamente, sostituisce i valori dei nomi dei prodotti con i valori interi.

La memorizzazione di valori interi richiede meno bit rispetto alla memorizzazione di valori di testo.

Questo è qualcosa che fanno DAX e il motore di archiviazione durante la codifica.

Eseguire la codifica della lunghezza con VertiPaq in LuckyTemplates

L'ultimo tipo di codifica è chiamato Run Length Encoding . Cerca valori ripetuti e memorizza un inizio e una fine.

Questa è una tabella di esempio con  ID e  righe del venditore :

E questa è la tabella che viene codificata utilizzando la codifica Run Length:

Sa che il venditore con ID EMP1017 passa dalla riga 1 alla 363.

Vedrai che ha Row Start, Row End e mostra anche quanti valori ripetuti ci sono in mezzo. Quindi, non è necessario memorizzare EMP1017 362 volte perché sa dove inizia e dove finisce.

Eseguire la codifica della lunghezza utilizzando le colonne codificate

Un'altra cosa grandiosa di VertiPaq è che potrebbe eseguire la codifica della lunghezza su colonne codificate con Value o Dictionary Encoding.

Questa è una tabella codificata utilizzando la codifica del dizionario:

Noterai che la colonna NameID si ripete. Significa che puoi utilizzare la codifica della lunghezza di esecuzione con la colonna.

In questo caso, VertiPaq cercherà solo NameID, Row Start e Row End.

Quindi, invece di memorizzare i valori interi 3 volte, ora li memorizza una volta.

Ottimizza le funzioni DAX con questa nuova
misura del corso in LuckyTemplates: suggerimenti e tecniche di ottimizzazione
Suggerimenti avanzati per ottimizzare la tua tabella LuckyTemplates

Conclusione

All'interno di VertiPaq Storage Engine , sono presenti 3 metodi di compressione dei dati responsabili di rendere più agevole l'esecuzione del codice DAX.

Una volta compreso il funzionamento di ciascun metodo nei calcoli, è possibile utilizzarli e massimizzarli per migliorare le prestazioni del codice e recuperare facilmente i dati necessari nei report.