VertiPaq LuckyTemplates : comment les colonnes sont encodées

Dans ce didacticiel, vous découvrirez les méthodes d'encodage des colonnes à l'aide de VertiPaq dans LuckyTemplates . Vous comprendrez comment chaque méthode fonctionne et comment elle affecte les performances de votre DAX.

Chaque méthode a son propre style de compression des données afin de vous offrir des transactions plus rapides et plus fluides.

Table des matières

• Encodage de valeur avec VertiPaq dans LuckyTemplates
• Codage du dictionnaire
• Encodage de longueur d'exécution avec VertiPaq dans LuckyTemplates
• Encodage de longueur d'exécution à l'aide de colonnes encodées
• Conclusion

Encodage de valeur avec VertiPaq dans LuckyTemplates

Le premier type de compression de données est Value Encoding . Il se produit sur des colonnes de type entier.

Voici un exemple de colonne de coût d'origine :

Vous pouvez voir qu'il y a des valeurs à l'intérieur.

Maintenant, si VertiPaq stocke ces données dans la colonne telles quelles, il aurait besoin de 12 bits de mémoire.

Cependant, VertiPaq  cherche des moyens de minimiser la quantité de mémoire dont il a besoin pour stocker les données. Il trouvera la valeur minimale d'une colonne, puis encodera cette colonne en soustrayant 3004 de chaque valeur. Ce faisant, il n'aurait alors besoin que de 9 bits de mémoire.

VertiPaq a réduit la mémoire dont il a besoin, ce qui accélère l'exécution de votre code.

Codage du dictionnaire

La méthode de compression de données suivante est le codage par dictionnaire ou hachage qui se produit sur des colonnes de valeurs non entières ou de texte.

Voici un exemple de colonne avec des noms de produits répétés :

VertiPaq a une fonctionnalité qui aide à compresser les colonnes non entières. Il construit une liste de valeurs distinctes dans cette colonne, puis leur attribue un numéro.

Vous pouvez voir qu'il applique un numéro qui correspond aux noms de produits.

Ensuite, il remplace les valeurs des noms de produits par les valeurs entières.

Le stockage de valeurs entières nécessite moins de bits que le stockage de valeurs textuelles.

C'est quelque chose que DAX et le moteur de stockage font lorsqu'ils encodent.

Encodage de longueur d'exécution avec VertiPaq dans LuckyTemplates

Le dernier type d'encodage est appelé Run Length Encoding . Il recherche les valeurs répétitives et stocke un début et une fin.

Ceci est un exemple de tableau avec  l'ID du vendeur et  les lignes :

Et voici la table qui est encodée à l'aide du Run Length Encoding :

Il sait que le vendeur avec un ID EMP1017 passe de la ligne 1 à 363.

Vous verrez qu'il a le début de la ligne, la fin de la ligne et qu'il indique également le nombre de valeurs répétitives entre les deux. Ainsi, il n'est pas nécessaire de stocker 362 fois EMP1017 car il sait où il commence et où il se termine.

Encodage de longueur d'exécution à l'aide de colonnes encodées

Un autre avantage de VertiPaq est qu'il peut exécuter le codage de longueur sur des colonnes codées avec le codage de valeur ou de dictionnaire.

Il s'agit d'un tableau encodé à l'aide de l'encodage du dictionnaire :

Vous remarquerez que la colonne NameID se répète. Cela signifie que vous pouvez utiliser le Run Length Encoding avec la colonne.

Dans ce cas, VertiPaq recherchera uniquement le NameID, le début de ligne et la fin de ligne.

Ainsi, au lieu de stocker les valeurs entières 3 fois, il les stocke maintenant une fois.

Optimisez les fonctions DAX avec cette nouvelle
mesure de cap dans LuckyTemplates : Conseils et techniques d'optimisation
Conseils avancés pour optimiser votre tableau LuckyTemplates

Conclusion

À l'intérieur du moteur de stockage VertiPaq , il existe 3 méthodes de compression de données qui sont chargées de rendre votre code DAX plus fluide.

Une fois que vous avez compris le fonctionnement de chaque méthode dans vos calculs, vous pouvez utiliser et optimiser chacune d'entre elles pour améliorer les performances de votre code et récupérer facilement les données dont vous avez besoin dans vos rapports.