Query Folding e conectando ao SQL Server

Neste tutorial, aprenderemos como se conectar ao servidor SQL. Também discutiremos como a dobragem de consulta funciona no Power Query e como podemos executar comandos SQL no LuckyTemplates. Dentro do Power Query, podemos extrair e manipular dados de várias fontes. Com a dobragem de consulta, podemos descarregar as transformações de dados para a origem em vez de fazê-las no LuckyTemplates.

A dobragem de consultas é muito eficaz com grandes bancos de dados para garantir melhorias de desempenho para seus relatórios.

Índice

• Conectando-se a um banco de dados SQL Server para dobramento de consulta
• Compreendendo a dobragem de consultas no Power Query
• Identificando e corrigindo uma dobragem de consulta quebrada
• Benefícios de conectar o SQL Server e executar a linguagem SQL
• Conclusão

Conectando-se a um banco de dados SQL Server para dobramento de consulta

Faremos este tutorial em um editor do Power Query. Primeiro, clique em SQL Server em New Source .

Se você já instalou uma máquina SQL Server e está trabalhando de forma independente, o nome do servidor será localhost . No entanto, se você estiver trabalhando em uma organização, eles fornecerão o nome do servidor e o acesso ao banco de dados. Também precisamos fornecer o nome do banco de dados. Neste exemplo, usarei o AdventureWorksDW2012 . Você pode aprender como baixar este banco de dados de exemplo neste tutorial .

Para o Data Connectivity Mode , todos os dados que selecionarmos serão carregados no modelo se selecionarmos Import . Mas se escolhermos DirectQuery , nada será carregado no modelo de dados, mas tudo estará no banco de dados. Sempre que aplicarmos um filtro, a consulta será enviada de volta ao SQL Server.

Mas isso não é eficiente porque levará mais tempo para atualizar. Portanto, escolheremos Importar como o Modo de conectividade de dados .

Então, se clicarmos em Opções avançadas , ele nos fornecerá uma seção onde podemos escrever uma instrução SQL. Aprenderemos como fazer isso mais tarde.

Neste exemplo, queremos apenas uma tabela por vez, portanto não traremos colunas ou tabelas de relacionamento. Nesse caso, temos que desmarcar a opção para isso.

Por fim, clique em OK .

A partir daí, poderemos ver as tabelas que estão disponíveis e a partir delas, obter algumas informações. A partir deste exemplo, precisamos obter os dados de vendas de fato pela internet. Portanto, vamos pesquisar e selecionar FactInternetSales e clicar em Ok .

Como resultado, agora teremos os dados em nosso editor do Power Query.

Compreendendo a dobragem de consultas no Power Query

No painel Source , clique com o botão direito do mouse em Navigation e selecione View Native Query .

Com isso, poderemos ver o comando que foi executado por esta máquina. O mecanismo do Power Query criou este comando para ser executado no SQL Server. Vamos agora clicar em Ok .

Como exemplo, criei aleatoriamente um filtro nesta tabela apenas para mostrar que, uma vez criados, poderemos vê-los no painel APPLIED STEPS .

Ao clicar com o botão direito em um dos filtros, veremos que a opção View Native Query ainda está disponível.

Esta consulta SQL do nosso filtro foi executada no SQL Server . Quando não aplicamos o filtro, obtemos 5 milhões de linhas. Agora que aplicamos um filtro, estamos obtendo apenas 4 milhões de linhas.

Isso significa que o LuckyTemplates agora está extraindo 4 milhões de linhas em vez de 5 milhões de linhas do SQL Server. Com isso, o número de linhas diminuiu e o número de cargas da nossa rede também.

Lembre-se de que, desde que vejamos a Native Query , isso significa que a dobragem da consulta está funcionando. Portanto, todo o processamento está sendo feito dentro do sistema de origem. Esta é a maneira mais eficiente de processar dados, especialmente se você tiver um grande volume de dados.

Adicionamos outra etapa em que removemos uma coluna de nossa tabela. Se clicarmos com o botão direito do mouse, veremos a opção View Native Query , o que significa que ainda está funcionando.

Identificando e corrigindo uma dobragem de consulta quebrada

Com algumas transformações, como alterar o tipo de dados de uma coluna, o Query Folding será interrompido. Por exemplo, alteraremos o tipo de dados da coluna TaxAmt para Whole Number .

Isso adicionará uma etapa de Tipo de alteração em ETAPAS APLICADAS . Se clicarmos com o botão direito sobre ela, veremos que a View Native Query agora está desabilitada, o que significa que a Query Folding está quebrada.

Quando uma Query Folding é quebrada, qualquer outra transformação que fizermos será feita no LuckyTemplates Power Query, mas não mais no sistema de origem.

Por exemplo, se estivermos obtendo 3 milhões de linhas, todas elas virão no Power Query. Ainda podemos reduzir esses registros por meio de filtragem. No entanto, esses 3 milhões de linhas agora passarão pela rede, o que não é muito eficiente.

Para outro exemplo, digamos que queremos filtrar OrderDate para exibir apenas as datas após 1º de janeiro de 2012.

Se visualizarmos esse filtro em APPLIED STEPS , a opção View Native Query não estará visível.

Novamente, isso ocorre porque a Query Folding foi quebrada devido à transformação anterior que criamos. O que podemos fazer é mover todas as etapas de filtragem que faremos acima da etapa de transformação que quebrou o Query Folding .

Para este exemplo, vamos apenas clicar com o botão direito do mouse na etapa de filtragem recente que criamos e clicar em Mover antes ou simplesmente arrastá-la para a parte superior da transformação Alterar Tipo .

Se clicarmos com o botão direito do mouse nesse filtro novamente, veremos que a opção View Native Query agora está visível, o que significa que o Query Folding está funcionando novamente.

Benefícios de conectar o SQL Server e executar a linguagem SQL

Digamos, por exemplo, que queremos exibir dados com um total de vendas por país no formato mostrado na imagem.

Em nossa tabela FactInternetSales , temos a coluna SalesAmount , mas não temos informações sobre o país.

Ainda podemos obter informações do país porque temos a coluna SalesTerritoryKey .

O que precisamos fazer é trazer a tabela DimSales aqui para que possamos mesclá-la com nossa FactInternetSales . Então, precisamos trazer a coluna do país e agrupá-los por coluna do país, o que é muito complexo e pode levar muito tempo. Portanto, em vez de fazer tudo isso no Power Query , que não é eficiente, devemos fazê-lo no SQL .

Para fazer isso, basta clicar em New Source > SQL Server .

Vamos nos conectar novamente ao nosso servidor chamado localhost e AdventureWorksDW2012 como nosso banco de dados.

Desta vez, queremos fazer uma opção avançada porque queremos escrever um comando no campo da instrução SQL . Para este exemplo, já escrevemos um comando que inseriremos na instrução SQL. Você pode aprender sobre comandos SQL em nossos outros tutoriais.

Não queremos incluir colunas de relacionamento, então desmarcaremos esta opção aqui. Em seguida, clique no botão OK para executar este comando.

Depois de executar o comando, veremos esta janela de visualização mostrando um Total Sales by Sales Territory Region .

Portanto, conseguimos obter uma saída semelhante da tabela SalesByCountry usando um comando SQL simples em vez de manipular diferentes tabelas e colunas em nosso Power Query.

Outro benefício é que podemos transformar todos os nossos dados em SQL e trazer apenas os dados necessários ou exigidos para o nosso modelo de dados. Com isso, podemos construir um modelo de dados muito eficiente de acordo com nosso plano sem nenhuma dificuldade ou problema.

Download e instalação do SQL Server
SQL para usuários do LuckyTemplates – Novo curso LuckyTemplates
Consultando dados de várias fontes de dados

Conclusão

Neste tutorial, aprendemos o que é uma Query Folding e descobrimos seus benefícios. Também discutimos as etapas sobre como conectar o Power Query ao SQL Server .

Além disso, falamos sobre os benefícios de se conectar ao SQL Server e criar transformações no SQL Server em vez de fazê-las no Power Query .

Espero que você tenha conseguido ver como fazer todas as transformações no SQL é mais eficiente e rápido em comparação com o Power Query .

Tudo de bom,

Hafiz