Pliage des requêtes et connexion à SQL Server

Dans ce tutoriel, nous allons apprendre à se connecter au serveur SQL. Nous discuterons également du fonctionnement du pliage des requêtes dans Power Query et de la manière dont nous pouvons exécuter des commandes SQL dans LuckyTemplates. Dans Power Query, nous pouvons extraire et manipuler des données provenant de diverses sources. Avec le pliage des requêtes, nous pouvons décharger les transformations de données vers la source au lieu de les faire dans LuckyTemplates.

Le pliage des requêtes est très efficace avec de grandes bases de données pour garantir des améliorations de performances pour vos rapports.

Table des matières

• Connexion à une base de données SQL Server pour le pliage de requête
• Comprendre le pliage des requêtes dans Power Query
• Identifier et réparer un pliage de requête cassé
• Avantages de la connexion de SQL Server et de l'exécution du langage SQL
• Conclusion

Connexion à une base de données SQL Server pour le pliage de requête

Nous allons faire ce didacticiel dans un éditeur Power Query. Tout d'abord, cliquez sur SQL Server sous Nouvelle source .

Si vous avez déjà installé une machine serveur SQL et que vous travaillez de manière indépendante, le nom du serveur sera localhost . Cependant, si vous travaillez dans une organisation, ils vous fourniront le nom du serveur et l'accès à leur base de données. Nous devons également fournir le nom de la base de données. Dans cet exemple, j'utiliserai AdventureWorksDW2012 . Vous pouvez apprendre à télécharger cet exemple de base de données à partir de ce didacticiel .

Pour le mode de connectivité des données , toutes les données que nous sélectionnerons seront chargées dans le modèle si nous sélectionnons Importer . Mais si nous choisissons DirectQuery , rien ne sera chargé dans le modèle de données mais tout sera dans la base de données. Chaque fois que nous appliquons un filtre, la requête sera renvoyée au serveur SQL.

Mais ce n'est pas efficace car la mise à jour prendra plus de temps. Par conséquent, nous choisirons Import comme Mode de connectivité des données .

Ensuite, si nous cliquons sur Options avancées , cela nous fournira une section où nous pourrons écrire une instruction SQL. Nous apprendrons comment faire cela plus tard.

Dans cet exemple, nous ne voulons qu'une seule table à la fois, nous n'ajouterons donc pas de colonnes ou de tables de relations. Dans ce cas, nous devons décocher l'option pour cela.

Enfin, cliquez sur OK .

Après cela, nous pourrons voir les tableaux qui sont disponibles et à partir de là, nous pourrons avoir des informations. À partir de cet exemple, nous devons obtenir les données des ventes sur Internet factuelles. Par conséquent, recherchons et sélectionnons FactInternetSales puis cliquez sur Ok .

Par conséquent, nous aurons désormais les données sur notre éditeur Power Query.

Comprendre le pliage des requêtes dans Power Query

Dans le panneau Source , cliquez avec le bouton droit sur Navigation, puis sélectionnez Afficher la requête native .

Avec cela, nous pourrons voir la commande qui a été exécutée par cette machine. Le moteur Power Query a créé cette commande à exécuter dans SQL Server. Cliquons maintenant sur Ok .

Par exemple, j'ai créé au hasard un filtre dans ce tableau juste pour vous montrer qu'une fois ceux-ci créés, nous pourrons les voir dans le panneau APPLIED STEPS .

Lorsque nous faisons un clic droit sur l'un des filtres, nous voyons que l' option Afficher la requête native est toujours disponible.

Cette requête SQL de notre filtre a été exécutée dans SQL Server . Lorsque nous n'avons pas appliqué le filtre, nous obtenons 5 millions de lignes. Maintenant que nous avons appliqué un filtre, nous n'obtenons que 4 millions de lignes.

Cela signifie que LuckyTemplates extrait désormais 4 millions de lignes au lieu de 5 millions de lignes de SQL Server. Avec cela, le nombre de lignes a diminué et le nombre de charges de notre réseau est également réduit.

Gardez à l'esprit que tant que nous voyons le Native Query , cela signifie que le pliage de requête fonctionne. Par conséquent, tout le traitement est effectué dans le système source. C'est le moyen le plus efficace de traiter les données, surtout si vous avez un grand volume de données.

Nous avons ajouté une autre étape où nous avons supprimé une colonne de notre tableau. Si nous faisons un clic droit dessus, nous verrons l' option Afficher la requête native , ce qui signifie qu'elle fonctionne toujours.

Identifier et réparer un pliage de requête cassé

Avec certaines transformations comme la modification du type de données d'une colonne, le Query Folding se cassera. Par exemple, nous allons changer le type de données de la colonne TaxAmt en Whole Number .

Cela ajoutera une étape de changement de type sous les ÉTAPES APPLIQUÉES . Si nous faisons un clic droit dessus, nous verrons que la requête View Native est maintenant désactivée, ce qui signifie que le Query Folding est rompu.

Lorsqu'un pliage de requête est rompu, toute autre transformation que nous effectuerons sera effectuée dans LuckyTemplates Power Query, mais plus dans le système source.

Par exemple, si nous obtenons 3 millions de lignes, elles viendront toutes dans Power Query. Nous pouvons toujours réduire ces enregistrements grâce au filtrage. Cependant, ces 3 millions de lignes vont désormais traverser le réseau, ce qui n'est pas très efficace.

Pour un autre exemple, disons que nous voulons filtrer OrderDate pour n'afficher que les dates après le 1er janvier 2012.

Si nous visualisons ce filtre sur APPLIED STEPS , l' option View Native Query ne sera pas visible.

Encore une fois, c'est parce que le Query Folding a été rompu en raison de la transformation précédente que nous avons créée. Ce que nous pouvons faire, c'est déplacer toutes les étapes de filtrage que nous ferons au-dessus de l'étape de transformation qui a cassé le Query Folding .

Pour cet exemple, nous allons simplement cliquer avec le bouton droit sur l'étape de filtrage récente que nous avons créée et cliquer sur Déplacer avant , ou simplement la faire glisser en haut de la transformation Changer de type .

Si nous faisons à nouveau un clic droit sur ce filtre, nous verrons que l' option Afficher la requête native est maintenant visible, ce qui signifie que le pliage de la requête fonctionne à nouveau.

Avantages de la connexion de SQL Server et de l'exécution du langage SQL

Supposons, par exemple, que nous souhaitions afficher des données avec un format de ventes totales par pays, comme indiqué dans l'image.

Sur notre table FactInternetSales , nous avons la colonne SalesAmount mais nous n'avons pas d'informations sur le pays.

Nous pouvons toujours obtenir des informations sur le pays car nous avons la colonne SalesTerritoryKey .

Ce que nous devons faire est d'amener la table DimSales ici afin que nous puissions la fusionner avec notre FactInternetSales . Ensuite, nous devons amener la colonne pays et les regrouper par colonne pays, ce qui est très complexe et peut prendre beaucoup de temps. Ainsi, au lieu de faire tout cela dans Power Query , ce qui n'est pas efficace, nous devrions plutôt le faire sur SQL .

Pour ce faire, cliquez simplement sur Nouvelle source > SQL Server .

Reconnectons-nous à notre serveur nommé localhost et AdventureWorksDW2012 comme base de données.

Cette fois, nous voulons faire une option avancée car nous voulons écrire une commande sous le champ d'instruction SQL . Pour cet exemple, nous avons déjà écrit une commande que nous entrerons dans l'instruction SQL. Vous pouvez en savoir plus sur les commandes SQL dans nos autres tutoriels.

Nous ne voulons pas inclure de colonnes de relations, nous allons donc décocher cette option ici. Ensuite, cliquez sur le bouton OK pour exécuter cette commande.

Après avoir exécuté la commande, nous verrons cette fenêtre d'aperçu affichant un Total Sales by Sales Territory Region .

Ainsi, nous avons pu obtenir une sortie similaire de la table SalesByCountry en utilisant une simple commande SQL au lieu de manipuler différentes tables et colonnes sur notre Power Query.

Un autre avantage est que nous pouvons transformer toutes nos données en SQL et n'apporter que les données nécessaires ou requises à notre modèle de données. Avec cela, nous pouvons construire un modèle de données très efficace selon notre plan sans aucune difficulté ni problème.

Téléchargement et installation de SQL Server
SQL pour les utilisateurs de LuckyTemplates - Nouveau cours LuckyTemplates
Interrogation de données à partir de plusieurs sources de données

Conclusion

Dans ce didacticiel, nous avons appris ce qu'est un Query Folding et découvert ses avantages. Nous avons également discuté des étapes de connexion de Power Query à SQL Server .

De plus, nous avons parlé des avantages de se connecter à SQL Server et de créer des transformations sur SQL Server au lieu de les faire sur Power Query .

J'espère que vous avez pu voir comment effectuer toutes les transformations dans SQL est plus efficace et plus rapide que de le faire sur Power Query .

Tous mes vœux,

Hafiz