Power Query: combine arquivos de várias pastas

Para esta postagem, trabalharemos em power query, combinando arquivos de várias pastas em nossa rede, área de trabalho, OneDrive ou SharePoint.

Neste exemplo, temos três arquivos CSV em uma pasta e os dados ficam assim:

Usaremos o power query no Excel, que funciona exatamente da mesma forma que o power query no LuckyTemplates.

Índice

• Conectando a uma pasta em uma rede
• Limpando os dados
• Conectando-se a uma pasta no SharePoint ou OneDrive
• Conclusão

Conectando a uma pasta em uma rede

Começaremos nosso tutorial sobre power query, combinaremos arquivos de várias pastas com um arquivo Excel vazio e iremos para a guia de dados, clique em Get Data , From File e, em seguida, From Folder .

É assim que você se conecta a uma pasta que está em sua unidade C ou em sua rede. Se você deseja se conectar a um arquivo no SharePoint, use este conector.

Use a caixa de navegação para procurar sua pasta. Em seguida, clique no botão Combinar e transformar dados .

Em seguida, seremos questionados sobre que tipo de arquivo CSV é esse. Clique em OK e, se não funcionar, volte e altere para o tipo de arquivo CSV correto.

Obtemos esse grande bloco de etapas na consulta de energia. Isso pode ser um pouco assustador e confuso. Esses três arquivos são empilhados uns sobre os outros, o que não é o que queremos alcançar.

Clicaremos no primeiro arquivo e depois em Transform Sample File . Quaisquer alterações que fizermos neste arquivo, elas também serão aplicadas aos outros arquivos.

Limpando os dados

Vamos arrumar isso primeiro. Queremos que esta data preencha todos os registros. Se a Coluna1 contiver a palavra data, queremos colocar a data nas outras colunas e preenchê-la.

Adicionaremos uma coluna condicional que diz que se a Coluna1 for igual à palavra data, queremos o valor da Coluna2. Caso contrário, deixe em branco.

Selecione a coluna de data e nulos, clique com o botão direito do mouse e preencha.

O resultado será uma coluna com todas as datas.

Para se livrar dos espaços em branco e nulos aqui, clique em Remove Empty .

Não queremos usar a primeira linha como nossos cabeçalhos, mas também não podemos usar o botão Usar primeira linha como cabeçalho porque ele colocará as datas na linha do cabeçalho.

Isso mudará a data de cada arquivo. A solução mais simples é renomear essas colunas manualmente.

Selecione todas as colunas, clique com o botão direito do mouse e clique em remover outras colunas .

Depois de editarmos os subtítulos, estamos praticamente prontos.

Quando clicamos na DemoFolder , recebemos uma mensagem de erro. Obtemos isso na maioria das vezes quando fazemos uma pequena alteração no arquivo de exemplo de transformação.

Na maioria das vezes, o erro é causado por esta etapa Changed Type porque está procurando alterar aquela Column1 original, que não existe mais.

Simplesmente excluir esta etapa corrige o erro.

Tudo o que fizemos naquele primeiro arquivo agora será aplicado a todos os arquivos. Ele realmente depende de nossos arquivos de origem serem estruturados da mesma maneira. Não é impossível se forem diferentes, mas vai ser muito mais difícil.

Então, vamos olhar para trás nessas consultas e descobrir o que está acontecendo. Se formos para a etapa de origem do arquivo de amostra, ele se refere a essa coisa chamada Parameter1 .

E se olharmos para a esquerda, o Parâmetro1 é chamado de arquivo de amostra.

E se formos para a fonte do arquivo de amostra, navegamos para o registro 0.

A consulta de energia é uma linguagem baseada em zero, o que significa que Record1 é na verdade o Item 0. Basta pegar o primeiro arquivo e as outras etapas são convertidas automaticamente, o que é simplesmente brilhante. Antigamente, você precisava fazer isso manualmente na guia Transform File.

Se expandirmos isso, ele fornecerá um nome de arquivo e, em seguida, uma execução de todas as etapas.

Se você for usar o editor avançado, receberá este aviso. Recomendamos que você evite fazer isso porque não poderá restabelecê-los depois. Geralmente, basta fazer todos os seus ajustes no arquivo de amostra.

Então, o que aconteceu nesta etapa de consolidação é que ele foi para a pasta e filtrou os arquivos ocultos ou os arquivos do sistema. Em seguida, ele adicionou a função personalizada invocada, renomeou algumas colunas e removeu todo o resto.

A única coisa que você notará é que ele perde os tipos de coluna. Portanto, qualquer tipo de coluna escolhido no arquivo de exemplo de transformação não será herdado pelo arquivo de consolidação.

Em seguida, clicaremos em Fechar e carregar . Toda vez que clicarmos em atualizar, ele fará uma varredura nessa pasta.

Conectando-se a uma pasta no SharePoint ou OneDrive

Se seus arquivos estiverem em um OneDrive ou em uma pasta do SharePoint, o processo é praticamente o mesmo, mas ligeiramente diferente. Você precisa do caminho certo para o OneDrive, que é a URL até o seu nome. Clicaremos em Obter dados e, em seguida, na pasta SharePoint.

Ele nos solicitará um URL onde possamos colar o link. Em seguida, ele listará praticamente todos os arquivos que você possui no OneDrive. Assim que entrarmos em Transform Data , teremos que executar algumas etapas diferentes. Primeiro, precisamos encontrar a pasta correta, que é a DemoOneDriveFolder .

Clicaremos em Filtro de texto , depois em Contém e digitaremos DemoOneDrive . Se não fizermos isso, podemos ficar navegando por muito tempo e não encontrar o que procuramos.

Este processo irá filtrá-lo para a pasta certa. Como você pode ver, temos os três arquivos. Excelente.

Iremos para a coluna Caminho da pasta , clique com o botão direito do mouse, vá para Filtro de texto e escolha Igual a .

Dessa forma, podemos pegar o caminho adequado em vez da parte contida. Podemos simplesmente nos livrar da última etapa porque não precisamos dela.

Outro conselho seria criar um filtro onde o filtro de texto seja igual a arquivos CSV - apenas no caso de alguns outros arquivos serem descartados aqui.

A última recomendação é chamar essa consulta OneDriveFolder e, em seguida, referenciá-la. É útil quando você está tentando depurar mais tarde e precisa voltar, ou mesmo quando precisa mudar a pasta.

Isso seria mais complexo do que o exemplo anterior em que trabalhamos. Para este, tudo o que precisamos são as colunas Content e Name .

Vamos apenas clicar com o botão direito do mouse para remover as outras colunas.

Clique na pequena seta de duas pontas, que combinará os arquivos.

A partir deste ponto, o processo será idêntico ao exemplo anterior, onde também foram criadas as consultas helper.

Apenas uma observação rápida de que, se você estiver consolidando arquivos do Excel, uma das telas intermediárias que aparecerão perguntará qual planilha você deseja consolidar. As planilhas realmente precisam ter o mesmo nome porque, se você estiver consolidando vários arquivos do Excel, pode ficar confuso.

Aqui está o nosso arquivo de exemplo transformado , todo amarrado exatamente como fizemos no exemplo anterior.

E, finalmente, aqui está o arquivo de consolidação que será enviado e carregado no modelo de dados.

E também temos essa pasta extra chamada OneDriveFolder . Por fim, não se esqueça de renomear suas etapas com algo útil e significativo.

Práticas recomendadas de Power Query para seu modelo de dados
Organizando suas consultas em grupos no LuckyTemplates

Conclusão

Para este tutorial, trabalhamos em power query, combinando arquivos de várias pastas de nossa rede, desktop, OneDrive ou SharePoint.

Se você gostou do conteúdo abordado neste tutorial específico, assine o canal de TV LuckyTemplates. Temos uma grande quantidade de conteúdo sendo publicado o tempo todo, meu e de vários criadores de conteúdo, todos dedicados a melhorar a maneira como você usa o LuckyTemplates e a Power Platform.