Práticas recomendadas de carregamento e transformação de dados

Gostaria de apresentar as práticas recomendadas que adotei ao preparar relatórios do LuckyTemplates. Nos últimos anos, consumi muitos recursos on-line sobre carregamento e transformação de dados que foram fundamentais em minha jornada, mas rapidamente fiquei sobrecarregado com o conteúdo, então acabei fazendo minhas próprias anotações. Você pode assistir ao vídeo completo deste tutorial na parte inferior deste blog.

Esta não é uma lista exaustiva nem as melhores práticas – são apenas algumas das que incorporei ao meu próprio desenvolvimento. Além disso, as práticas recomendadas sempre evoluem com o tempo, à medida que recursos novos e aprimorados são introduzidos no aplicativo do LuckyTemplates e apresentados pela comunidade do LuckyTemplates.

Gostaria de apresentar o primeiro dos quatro pilares do desenvolvimento do LuckyTemplates. Os quatro pilares são carregamento e transformação de dados , modelagem de dados , cálculos DAX e relatórios e visualizações . Trataremos da configuração de pré-desenvolvimento e do primeiro pilar nesta postagem do blog.

Índice

• Desativando a Data/Hora Automática
• Desativando relacionamentos de detecção automática
• Interagindo com recursos visuais em relatórios do LuckyTemplates
• Separando conjunto de dados do relatório
• Criando uma tabela de datas dedicadas
• Outros lembretes para a tabela de datas
• Fazendo perguntas sobre o relatório
• Dados de preparação e referência
• Reduzindo a carga de dados
• Dobragem de consultas
• Usando fontes de dados para dobramento de consulta
• Escolhendo o modo de conectividade correto
• Localizando as Transformações
• Práticas recomendadas sobre nomes e tipos de dados
• Fornecimento de dados em uma granularidade consistente
• Conclusão

Desativando a Data/Hora Automática

É altamente recomendável desativar o recurso de data e hora automática no . Você pode fazer isso de duas maneiras.

Você pode fazer isso globalmente para todos os arquivos com estas etapas:

Você também pode desativá-lo para o arquivo atual alterando sua configuração.

Desativando relacionamentos de detecção automática

Também é altamente recomendável desativar os relacionamentos de detecção automática. Você pode ir para Arquivo e visualizar Opções e configurações para desabilitar a detecção automática de novos relacionamentos após o carregamento dos dados.

Interagindo com recursos visuais em relatórios do LuckyTemplates

A próxima coisa sobre a qual quero falar são as duas maneiras pelas quais você pode interagir com visuais nos relatórios do LuckyTemplates. Essas interações podem ser filtradas ou realçadas .

O realce cruzado é habilitado por padrão no LuckyTemplates. Você pode alterar isso acessando Arquivo e, em seguida, Opções e configurações. Para o arquivo atual na seção de configurações do relatório, você pode alterar a interação visual de realce cruzado para filtragem cruzada.

Vamos dar uma olhada em nosso relatório. Você pode ver que, por padrão, o LuckyTemplates usa realce cruzado em visuais relacionados. Se eu clicar em um canal do gráfico de barras à esquerda, você verá que a parte selecionada é destacada em cor escura enquanto a parte não selecionada permanece em cor clara no segundo gráfico de barras.

Você pode ver que a forma completa não muda no gráfico e você vê apenas as partes destacadas. Você pode alterar isso nas configurações do relatório e alterar a interação visual padrão de realce cruzado para filtragem cruzada.

Depois de fazer isso, você verá que a forma do gráfico de barras relacionado mudará toda vez que fizer uma seleção ou um grupo de seleções. Esta é uma boa prática para entrar.

Separando conjunto de dados do relatório

A próxima coisa sobre a qual quero falar é separar o desenvolvimento do conjunto de dados do desenvolvimento do relatório. É aqui que você pode ter um arquivo de conjunto de dados espesso publicado como um conjunto de dados autônomo que não possui recursos visuais e um desenvolvimento de arquivo de relatório fino que usará esses conjuntos de dados publicados.

Uma das vantagens de publicar conjuntos de dados separadamente é que você pode usar o processo de endosso no serviço do LuckyTemplates para promover e certificar conjuntos de dados. É uma prática ideal selecionar um conjunto de dados endossado, preferencialmente um certificado quando você estiver desenvolvendo um novo relatório.

Criando uma tabela de datas dedicadas

Certifique-se de que seu relatório tenha uma tabela de datas dedicada em seu relatório. Você pode usar a disponível no fórum LuckyTemplates. Você pode copiar e colar o código M em uma consulta em branco.

A segunda coisa a fazer quando você tiver uma tabela de datas dedicada é marcá-la como tal. Isso permitirá que ele seja usado pelo LuckyTemplates para cálculos de inteligência de tempo.

Outros lembretes para a tabela de datas

Sempre verifique se sua tabela de dados é contígua e se há uma linha por dia. Além disso, verifique se ele cobre totalmente as bordas de sua tabela de fatos.

Além disso, adicione anos completos à tabela Datas. Também é uma boa ideia adicionar um ano futuro adicional à tabela Datas para permitir cálculos de inteligência de tempo futuros ou previstos.

Se você tiver mais dias em sua tabela de datas do que deseja mostrar em seu relatório, poderá controlar o que está sendo mostrado nas segmentações usando a coluna IsAfterToday ou as colunas de deslocamento disponíveis no painel de filtro.

Fazendo perguntas sobre o relatório

A próxima coisa sobre a qual quero falar é se você deveria fazer um relatório. Ao fazer isso, verifique se existe um relatório existente que você possa usar para atender às suas necessidades. Se não houver relatório, existe um modelo de dados existente que você possa usar para atender à necessidade? Existe um conjunto de dados existente que você pode usar ou realmente precisa começar do zero?

Dados de preparação e referência

A próxima coisa a falar quando o carregamento de dados é os dados de preparação e referência. Ao carregar uma tabela de dados plana, você pode ter fatos e dimensões na mesma tabela como um arquivo do Excel. Ao fazer um carregamento e movê-lo para uma seção de consulta de preparação e renomeá-lo, você pode desmarcar Habilitar carregamento .

A próxima etapa é criar uma referência dessa tabela para cada fato e dimensão de pesquisa e renomear as tabelas apropriadamente. Edite cada referência, mantenha apenas as colunas necessárias e remova as duplicatas.

Organize seu modelo de dados e coloque-o em seu próprio grupo. Sempre tenho um grupo em meus modelos de dados chamado Data Model que contém todas as tabelas que usarei em meus visuais.

Reduzindo a carga de dados

A próxima coisa a falar é o desempenho da ferramenta durante o carregamento de dados. Uma das maiores coisas que afetam o desempenho é o volume de dados, portanto, esforce-se para reduzir o máximo possível a quantidade de dados a serem carregados .

Siga este axioma:

Se você não precisa, não recupere.

É muito mais fácil adicionar coisas novas a um relatório do que retirar coisas do nosso relatório. Além disso, quando você coloca muitas coisas em um relatório, estará pagando uma penalidade pelo desempenho que não precisa experimentar.

De preferência, faça sua filtragem na fonte. Se você não puder fazer isso na fonte, use a seta suspensa de filtro automático na consulta avançada para filtrar os campos nos quais está interessado.

Também na fonte, você também pode reduzir o número de colunas que estão sendo mostradas usando o menu suspenso Escolher colunas e selecionando apenas as colunas que são de seu interesse.

Você pode usar Escolher colunas ou Remover colunas . Eu recomendo usar Escolher colunas como prática recomendada porque é fácil voltar.

Se você mudar de ideia posteriormente, isso permite uma maneira rápida de fazer isso por meio da interface do usuário, em vez de ir para o editor avançado e editar o código M diretamente.

Dobragem de consultas

A dobragem de consulta é outra tentativa de carregamento de dados do LuckyTemplates para combinar várias etapas de seleção e transformação de dados em uma única consulta de fonte de dados.

Para determinar se uma consulta está sendo dobrada, clique com o botão direito nas etapas aplicadas de uma consulta. Você pode ver se uma consulta nativa está esmaecida.

Se estiver acinzentado, a consulta não está sendo encerrada. Se não estiver esmaecido, a consulta pode ser dobrada.

Vamos para Transform data e, em seguida, power query . Nesta tabela, se eu clicar com o botão direito do mouse na etapa de navegação, posso ver que View Native Query não está esmaecido, então posso selecioná-la.

Veremos uma instrução select SQL simples aqui.

Se formos para a próxima etapa após a filtragem e visualizarmos a consulta nativa, podemos ver que a consulta foi ligeiramente alterada e há uma cláusula 'where' na parte inferior dessa consulta.

Se formos para a terceira etapa e clicarmos com o botão direito nela, veremos que a consulta nativa não está esmaecida, então podemos selecioná-la mais uma vez.

Depois de selecionar, podemos ver que há um colapso ainda maior das três consultas em uma. Este é o LuckyTemplates dizendo que a melhor maneira de colocar os dados no modelo é a fonte fazer o trabalho, em vez de eu fazer o trabalho.

Usando fontes de dados para dobramento de consulta

As fontes de dados que normalmente podem ser usadas com dobramento de consulta são objetos padrão em bancos de dados relacionais, como tabelas e exibições.

As consultas SQL personalizadas para bancos de dados relacionais não podem usar dobramento de consulta. Arquivos planos e dados da web também não podem ser dobrados.

Algumas das transformações que podem ser usadas com a dobragem de consulta são filtrar linhas , remover colunas , renomear colunas e junções com outras consultas da mesma fonte de dados.

Algumas das transformações que não podem ser usadas com dobramento de consulta incluem adicionar colunas de índice , alterar tipos de dados de coluna e mesclar ou anexar consultas de diferentes fontes de dados .

Escolhendo o modo de conectividade correto

A próxima coisa a fazer para melhorar o desempenho é escolher o modo de conectividade correto. O modo de importação é o padrão e deve ser usado sempre que possível, pois oferece o melhor desempenho de relatório.

O modo de consulta direta pode ser usado se dados atualizados forem desejados, mas esteja ciente de que pode e provavelmente terá um impacto negativo no desempenho.

Por fim, um modo de conexão ao vivo está disponível quando você acessa armazéns de dados como cubos multidimensionais SSAS.

Localizando as Transformações

A próxima coisa sobre a qual quero falar é o local onde essas transformações devem ser feitas. O melhor lugar para fazê-los é na fonte . Se você não pode fazê-los na fonte, faça-os em power query . Se você não puder fazê-los na consulta de energia, faça-os no DAX .

Realize suas transformações de dados o mais upstream possível e o mais downstream necessário.

Se você pode fazer algo na consulta de energia, provavelmente deveria.

Novamente, se não for algo dinâmico no contexto da sessão de relatório, considere fazê-lo em power query para simplificar seu DAX e aumentar o desempenho de seu relatório.

No que diz respeito à forma de suas tabelas, esforce-se para tornar as tabelas de fatos longas e finas e esforce-se para tornar as tabelas de dimensões curtas e largas .

Práticas recomendadas sobre nomes e tipos de dados

Use um esquema consistente de nomenclatura e maiúsculas que seja fácil de entender para os usuários do relatório. Renomeie suas tabelas e consultas conforme necessário para estar em conformidade com os padrões de nomenclatura e capitalização do seu relatório.

Renomeie suas colunas conforme necessário para estar em conformidade com esses padrões de nomenclatura e maiúsculas e também renomeie suas etapas de consulta avançada conforme necessário para tornar as etapas autodescritivas, pois você pode não ser a pessoa que mantém o relatório.

O LuckyTemplates faz um excelente trabalho ao atribuir os tipos de dados corretos ao importar dados, mas às vezes alguns ajustes também são necessários. Você deve garantir que colunas em tabelas diferentes sejam usadas como colunas de ligação entre duas tabelas que são do mesmo tipo de dados.

Certifique-se de que todas as suas colunas de data sejam Data e não Texto. Divida suas colunas de data/hora em datas separadas e colunas de hora separadas.

Como etapa final, verifique novamente seus tipos de dados . Faça disso uma prática antes de clicar em Fechar e Aplicar na consulta avançada para sempre verificar novamente seus tipos de dados, pois certas transformações podem alternar silenciosamente os tipos de dados para texto.

Fornecimento de dados em uma granularidade consistente

A última coisa a discutir é a granularidade. Durante o processo de carregamento e transformação de dados, você deve se esforçar para obter seus dados em uma granularidade consistente. Ao combinar diferentes granularidades em sua solução, use a consulta avançada (de preferência) ou DAX para alocar os dados de referência adequadamente.

Por exemplo, se seus principais dados de vendas estiverem no nível diário, sua granularidade será diária. Se seus dados de referência de orçamento estiverem no nível mensal, sua granularidade será mensal. Aqui está um exemplo de uma fórmula DAX de alocação de orçamento que você pode revisar ao fazer os ajustes de granularidade.

Conclusão

Espero que você tenha achado útil este tutorial sobre carregamento e transformação de dados. Se sim, não se esqueça de se inscrever no canal LuckyTemplates no YouTube para garantir que você seja notificado sobre qualquer novo conteúdo.

grego