Power Query : combiner des fichiers à partir de plusieurs dossiers

Pour cet article, nous travaillerons dans PowerQuery, combinerons des fichiers de plusieurs dossiers de notre réseau, de notre bureau, de OneDrive ou de SharePoint.

Dans cet exemple, nous avons trois fichiers CSV dans un dossier et les données ressemblent à ceci :

Nous utiliserons la requête de puissance dans Excel, qui fonctionne exactement de la même manière que la requête de puissance dans LuckyTemplates.

Table des matières

• Connexion à un dossier dans un réseau
• Nettoyer les données
• Connexion à un dossier dans SharePoint ou OneDrive
• Conclusion

Connexion à un dossier dans un réseau

Nous allons commencer par notre didacticiel sur PowerQuery, combiner des fichiers de plusieurs dossiers avec un fichier Excel vide et accéder à l'onglet Données, cliquer sur Obtenir des données , À partir d'un fichier , puis À partir d'un dossier .

C'est ainsi que vous vous connectez à un dossier qui se trouve sur votre lecteur C ou sur votre réseau. Si vous souhaitez vous connecter à un fichier sur SharePoint, utilisez ce connecteur.

Utilisez la zone de navigation pour rechercher votre dossier. Cliquez ensuite sur le bouton Combiner et transformer les données .

Ensuite, on nous demandera de quel type de fichier CSV il s'agit. Cliquez sur OK et si cela ne fonctionne pas, revenez en arrière et changez pour le bon type de fichier CSV.

Nous obtenons ce gros bloc d'étapes dans la requête de puissance. Cela peut être un peu intimidant et déroutant. Ces trois fichiers sont empilés les uns sur les autres, ce qui n'est pas ce que nous voulons réaliser.

Nous allons cliquer sur le premier fichier, puis cliquer sur Transform Sample File . Quelles que soient les modifications apportées à ce fichier, elles seront également appliquées aux autres fichiers.

Nettoyer les données

Rangeons ça d'abord. Nous voulons que cette date soit indiquée pour chaque enregistrement. Si Column1 contient le mot date, nous voulons mettre la date sur les autres colonnes et remplir cette date.

Nous allons ajouter une colonne conditionnelle qui indique si Column1 est égal au mot date, alors nous voulons la valeur de Column2. Sinon, laissez-le vide.

Sélectionnez la colonne de date et de valeurs nulles, puis faites un clic droit et remplissez.

Le résultat sera une colonne avec toutes les dates.

Pour vous débarrasser des blancs et des nuls ici, cliquez sur Supprimer le vide .

Nous ne voulons pas utiliser la première ligne comme en-têtes, mais nous ne pouvons pas non plus utiliser le bouton Utiliser la première ligne comme en-tête car cela poussera les dates dans la ligne d'en-tête.

Cela changera la date de chaque fichier. La solution la plus simple consiste pour nous à renommer ces colonnes manuellement.

Sélectionnez toutes les colonnes, faites un clic droit, puis cliquez sur supprimer les autres colonnes .

Après avoir modifié les sous-titres, nous sommes maintenant à peu près prêts.

Lorsque nous cliquons sur le DemoFolder , nous obtenons un message d'erreur. Nous obtenons cela la plupart du temps lorsque nous apportons une petite modification au fichier d'exemple de transformation.

La plupart du temps, l'erreur est causée par cette étape Changed Type car elle cherche à modifier cette Column1 d'origine, qui n'existe plus.

La simple suppression de cette étape corrige l'erreur.

Tout ce que nous avons fait pour ce premier fichier sera désormais appliqué à chaque fichier. Cela dépend vraiment de la structure de nos fichiers source de la même manière. Ce n'est pas impossible s'ils sont différents, mais ça va être beaucoup plus difficile.

Revenons donc sur ces requêtes et voyons ce qui se passe. Si nous allons à l'étape source du fichier d'exemple, il fait référence à cette chose appelée Parameter1 .

Et si nous regardons vers la gauche, Parameter1 est appelé le fichier d'exemple.

Et si nous allons à la source du fichier d'exemple, nous naviguons jusqu'à l'enregistrement 0.

Power query est un langage basé sur zéro, ce qui signifie que Record1 est en fait l'élément 0. Il s'agit simplement de saisir le premier fichier, puis les autres étapes sont converties automatiquement, ce qui est tout simplement génial. Auparavant, vous deviez le faire manuellement dans l'onglet Transformer le fichier.

Si nous développons cela, cela donnera un nom de fichier, puis un parcours de toutes les étapes.

Si vous devez utiliser l'éditeur avancé, vous obtiendrez cet avertissement. Nous vous recommandons d'éviter de le faire car vous ne pourrez pas les rétablir par la suite. En règle générale, faites simplement tous vos ajustements dans le fichier d'exemple.

Donc, ce qui s'est passé dans cette étape de consolidation, c'est qu'il est allé dans le dossier et qu'il a filtré les fichiers cachés ou les fichiers système. Ensuite, il a ajouté la fonction personnalisée invoquée, renommé quelques colonnes, puis supprimé tout le reste.

La seule chose que vous remarquerez est qu'il perd les types de colonnes. Ainsi, quels que soient les types de colonnes que vous choisissez dans l'exemple de fichier de transformation, ils ne seront pas hérités par le fichier de consolidation.

Nous cliquerons ensuite sur Close & load . Chaque fois que nous cliquons sur Actualiser, il parcourra ce dossier.

Connexion à un dossier dans SharePoint ou OneDrive

Si vos fichiers se trouvent dans un dossier OneDrive ou SharePoint, le processus est pratiquement le même, mais légèrement différent. Vous avez besoin du bon chemin pour OneDrive, qui est l'URL jusqu'à votre nom. Nous allons cliquer sur Obtenir des données, puis sur le dossier SharePoint.

Il nous demandera une URL où nous pourrons coller le lien. Ensuite, il répertorie à peu près tous les fichiers que vous avez dans OneDrive. Une fois que nous entrons dans Transform Data , nous devrons effectuer plusieurs étapes différentes. Tout d'abord, nous devons trouver le bon dossier, qui est le DemoOneDriveFolder .

Nous allons cliquer sur Filtre de texte , puis sur Contient , puis saisir DemoOneDrive . Si nous ne le faisons pas, nous pourrions défiler pendant des lustres et ne pas trouver ce que nous recherchons.

Ce processus le filtrera ensuite dans le bon dossier. Comme vous pouvez le voir, nous avons les trois fichiers. Excellent.

Nous allons dans la colonne Chemin du dossier , cliquez avec le bouton droit de la souris, accédez à Filtre de texte et choisissez Égal à .

De cette façon, nous pouvons saisir le bon chemin plutôt que la partie contient. Nous pouvons simplement nous débarrasser de cette dernière étape car nous n'en avons pas besoin.

Un autre conseil serait de créer un filtre où le filtre de texte est égal aux fichiers CSV - juste au cas où d'autres fichiers seraient déposés ici.

La dernière recommandation consiste à appeler cette requête OneDriveFolder , puis à la référencer. C'est utile lorsque vous essayez de déboguer plus tard et que vous devez revenir en arrière, ou même lorsque vous devez changer de dossier.

Ce serait plus complexe que l'exemple précédent sur lequel nous avons travaillé. Pour celui-ci, tout ce dont nous avons besoin, ce sont les colonnes Contenu et Nom .

Nous ferons simplement un clic droit pour supprimer les autres colonnes.

Cliquez sur la petite flèche à double tête, qui combinera les fichiers.

À partir de ce moment, le processus sera identique à l'exemple précédent, où les requêtes d'assistance ont également été créées.

Juste une note rapide que si vous consolidez des fichiers Excel, l'un des écrans intermédiaires qui apparaîtra vous demandera quelle feuille vous souhaitez consolider. Les feuilles doivent vraiment avoir le même nom car si vous consolidez plusieurs fichiers Excel, cela peut devenir désordonné.

Voici notre exemple de fichier transformé parfaitement lié exactement comme nous l'avons fait dans l'exemple précédent.

Et enfin, voici le fichier de consolidation qui sera extrait et chargé dans le modèle de données.

Et nous avons également ce dossier supplémentaire nommé OneDriveFolder . Enfin, n'oubliez pas de renommer vos étapes avec quelque chose d'utile et de significatif.

Bonnes pratiques Power Query pour votre modèle de données
Organisation de vos requêtes en groupes dans LuckyTemplates

Conclusion

Pour ce tutoriel, nous avons travaillé sur power query, combiner des fichiers de plusieurs dossiers de notre réseau, bureau, OneDrive ou SharePoint.

Si vous avez apprécié le contenu couvert dans ce didacticiel particulier, veuillez vous abonner à la chaîne de télévision LuckyTemplates. Nous avons une énorme quantité de contenu qui sort tout le temps de moi-même et d'une gamme de créateurs de contenu, tous dédiés à l'amélioration de la façon dont vous utilisez LuckyTemplates et Power Platform.