Atualização incremental do LuckyTemplates: o que é e como usá-la

O LuckyTemplates evoluiu para uma ferramenta valiosa para empresas que trabalham com dados, e a atualização incremental é um recurso importante no LuckyTemplates que pode facilitar seu trabalho atualizando dinamicamente seus dados.

A atualização incremental do LuckyTemplates é um processo que permite aos usuários atualizar os dados progressivamente, em vez de fazer uma atualização completa dos dados todas as vezes. Ele pode acelerar significativamente a atualização de dados e reduzir a quantidade de dados que deve ser transferida entre o LuckyTemplates e a fonte de dados.

Neste artigo, mostraremos como configurar a atualização incremental no LuckyTemplates como um profissional, tornando seu fluxo de trabalho de análise de dados mais ágil e permitindo que você tome decisões informadas em tempo real com dados atualizados ao seu alcance. .

Vamos!

Índice

• Fundamentos da atualização incremental do LuckyTemplates
  • 1. Power Query e LuckyTemplates
  • 2. Política de atualização
  • 3. Lógica de filtro
  • 4. Fluxos de Dados
• Como configurar a atualização incremental no LuckyTemplates
  • 1. Gerenciar parâmetros
  • 2. Parâmetros RangeStart e RangeEnd
  • 3. Configurando a Política de Atualização Incremental no LuckyTemplates
• Como trabalhar com dados e filtros ao usar a atualização incremental do LuckyTemplates
  • 1. Data/hora e tipos de dados inteiros
  • 2. Chaves substitutas
  • 3. Filtro Personalizado
• Como melhorar o desempenho e a eficiência ao usar a atualização incremental no LuckyTemplates
  • 1. Desdobramento de partições e consultas
  • 2. Formatos de armazenamento de conjuntos de dados grandes
  • 3. Otimização do consumo de recursos
• Usando atualização incremental com diferentes fontes de dados
  • 1. Banco de Dados SQL
  • 2. Modos DirectQuery e Importação de Dados
  • 3. Armazém de Dados
• 3 técnicas avançadas e dicas para usar a atualização incremental
  • 1. Atualização e dados em tempo real
  • 2. Converter data/hora em número inteiro para DataView
• Pensamentos finais

Fundamentos da atualização incremental do LuckyTemplates

A atualização incremental do LuckyTemplates é uma ferramenta muito útil e entender seus fundamentos é essencial se você quiser aproveitá-la para processos de atualização de dados eficientes para seus relatórios e painéis.

Esses fundamentos incluem:

1. Power Query e LuckyTemplates

A atualização incremental é um recurso do LuckyTemplates que permite carregar apenas um modelo de dados novo ou atualizado, melhorando a eficiência do processo de atualização de dados.

Ao usar os parâmetros de data/hora do Power Query com os nomes reservados e com distinção entre maiúsculas e minúsculas RangeStart e RangeEnd, você pode filtrar os dados da tabela e particioná-los dinamicamente com base no intervalo incremental para separar os dados atualizados com frequência dos dados atualizados com menos frequência.

2. Política de atualização

Se você estiver interessado em implementar um processo de atualização incremental, siga estas etapas:

• Na área de trabalho do LuckyTemplates, selecione a tabela com filtros personalizados aplicados.

• Clique com o botão direito do mouse e escolha a opção Atualização incremental no menu de contexto.

• Na janela Atualização incremental que é aberta, você pode definir várias opções e definir a política.

A política que você definir no LuckyTemplates Desktop será aplicada ao Serviço do LuckyTemplates.

3. Lógica de filtro

A lógica de filtro usada na atualização incremental é baseada em intervalos de datas. Você deve considerar os seguintes fatores ao definir sua lógica de filtro:

• Esteja atento às políticas de retenção de dados históricos de sua fonte de dados.

• Certifique-se de que a fonte de dados oferece suporte a dobragem de consulta e atualizações incrementais.

• Determine o intervalo ideal para sua tabela de dados para minimizar o tempo de carregamento.

4. Fluxos de Dados

O uso da atualização incremental com fluxos de dados requer algumas considerações adicionais:

• Em primeiro lugar, seu fluxo de dados deve residir em um espaço de trabalho com capacidade Premium.

• Em segundo lugar, os planos por aplicativo ou por usuário do Power Apps são necessários para uma atualização incremental no Power Apps.

• Por fim, o fluxo de dados deve usar o Azure Data Lake Storage como destino.

A atualização incremental no LuckyTemplates pode economizar seu tempo e melhorar a eficiência de suas atualizações de dados.

Agora que abordamos os fundamentos da atualização incremental do LuckyTemplates, vamos dar uma olhada em uma explicação detalhada de como configurar a atualização incremental no LuckyTemplates na próxima seção. 

Como configurar a atualização incremental no LuckyTemplates

A configuração da atualização incremental no LuckyTemplates é um processo simples. Você começa habilitando o recurso no Power Query Editor, especificando a tabela desejada para atualização e, finalmente, definindo suas políticas de armazenamento e atualização.

Abaixo está um guia detalhado sobre como configurar a atualização incremental do LuckyTemplates:

1. Gerenciar parâmetros

Para configurar a Atualização Incremental no LuckyTemplates, você deve primeiro criar parâmetros de data/hora usando o Power Query. Esses parâmetros o ajudarão a definir o intervalo de dados a ser atualizado incrementalmente.

• Abra o Editor do Power Query no LuckyTemplates Desktop clicando em Transformar dados.

• Navegue até Gerenciar parâmetros e clique em Novo parâmetro.

2. Parâmetros RangeStart e RangeEnd

Para uma atualização incremental bem-sucedida em seu intervalo incremental desejado, os dois parâmetros de data/hora do Power Query a seguir devem ser criados com seus nomes reservados e com distinção entre maiúsculas e minúsculas:

• RangeStart : Este parâmetro representa a data de início do intervalo de dados que você deseja incluir na atualização incremental.

  

• RangeEnd : Este parâmetro significa a data final do intervalo de dados para a atualização incremental.

  

Com esses parâmetros criados, agora você pode aplicar o filtro de intervalo de datas ao seu conjunto de dados.

3. Configurando a Política de Atualização Incremental no LuckyTemplates

Depois de configurar os parâmetros RangeStart e RangeEnd, você pode configurar a política de atualização incremental:

• No LuckyTemplates Desktop, clique com o botão direito do mouse na tabela desejada e escolha Atualização Incremental.

• Na janela de configurações de Atualização incremental, ative o controle deslizante Atualizar esta tabela de forma incremental.

• Configure a política de armazenamento definindo:

  • O número de dias/anos para armazenar dados no serviço do LuckyTemplates.

  • Uma política de atualização para determinar a frequência de atualizações incrementais.

• Depois de configurar as políticas, clique em Aplicar tudo para salvar suas configurações.

  

Seguindo estas etapas, você pode configurar a atualização incremental no LuckyTemplates e otimizar o processo de atualização para grandes conjuntos de dados. É simples assim!

Agora que abordamos isso, veremos como você pode trabalhar com dados e filtros enquanto usa a atualização incremental do LuckyTemplates na próxima seção.

Como trabalhar com dados e filtros ao usar a atualização incremental do LuckyTemplates

Saber como trabalhar com dados e filtros no LuckyTemplates é útil se você tiver um grande conjunto de dados que não muda com muita frequência, mas ainda deseja ver os dados mais recentes regularmente.

Aqui está como você pode fazer isso:

1. Data/hora e tipos de dados inteiros

Ao trabalhar com a atualização incremental do LuckyTemplates, é essencial entender os diferentes filtros que funcionam em data/hora e o tipo de dados inteiro.

Usando parâmetros de data/hora com os nomes reservados, com distinção entre maiúsculas e minúsculas, RangeStart e RangeEnd, você pode filtrar dados da tabela com eficiência com base em datas.

Por exemplo, em uma tabela de fatos que contém dados desde 2005, você pode configurar a atualização incremental para manter apenas os últimos dez anos , filtrando os dados anteriores a 2010.

No caso de tipos de dados inteiros, você pode configurar filtros personalizados para gerenciar a atualização incremental. Isso ajuda a particionar e separar os dados que precisam de atualização frequente dos dados que não exigem tanta atualização.

2. Chaves substitutas

As chaves substitutas desempenham um papel crucial ao trabalhar com atualização incremental no LuckyTemplates. Essas chaves exclusivas ajudam a gerenciar e controlar os dados da tabela.

Ao usar chaves substitutas durante o processo de configuração, você pode acompanhar facilmente quaisquer alterações ou atualizações em seus dados, garantindo que a chave primária não seja alterada.

Isso permite atualizações incrementais eficientes e eficazes, mantendo a integridade de seus dados.

3. Filtro Personalizado

Além dos tipos de dados de data/hora e número inteiro, você também pode criar e utilizar filtros personalizados na atualização incremental. Os filtros personalizados ajudam você a gerenciar e particionar melhor os dados com base em necessidades ou critérios específicos.

Aqui está um guia passo a passo para criar um filtro personalizado:

1. Clique com o botão direito do mouse na tabela de fatos e preencha os campos necessários para a configuração da atualização incremental.

2. Crie dois parâmetros do tipo de dados Data/Hora, com os nomes de RangeStart e RangeEnd. Defina um valor padrão para cada parâmetro.

3. Implemente a função de filtro personalizado em suas etapas de consulta ou processamento de dados para filtrar os dados com base em seus requisitos específicos.

Usando filtros personalizados, você pode organizar e gerenciar com eficiência os dados em sua solução LuckyTemplates, garantindo desempenho e usabilidade ideais.

Esteja atento às configurações de atualização incremental para evitar cair em armadilhas ou enfrentar problemas que possam prejudicar sua experiência geral.

Depois de entender como trabalhar com dados e filtros no LuckyTemplates, vamos nos aprofundar em como você pode aprimorar o desempenho e a eficiência de seus relatórios e painéis aproveitando a atualização incremental na próxima seção.

Como melhorar o desempenho e a eficiência ao usar a atualização incremental no LuckyTemplates

Existem diferentes maneiras de melhorar o desempenho e a eficiência ao usar a atualização incremental no LuckyTemplates. Veremos alguns deles a seguir.

1. Desdobramento de partições e consultas

Quando você configura a atualização incremental no LuckyTemplates, sua tabela é particionada automaticamente. Uma partição contém dados que precisam ser atualizados com frequência, enquanto a outra partição contém linhas que não estão mudando.

Isso melhora o desempenho e a eficiência do processo de atualização. A dobragem de consulta também desempenha um papel nesse processo; ele combina várias etapas de uma consulta em uma única consulta de banco de dados, reduzindo a quantidade de processamento e o tempo necessário para atualizações de relatórios.

2. Formatos de armazenamento de conjuntos de dados grandes

O LuckyTemplates Premium permite que você trabalhe com grandes conjuntos de dados de forma mais eficiente usando formatos de armazenamento como Columnstore e Aggregations.

Ao processar grandes quantidades de dados, esses formatos de armazenamento aceleram o desempenho da atualização e permitem que você interaja com seus relatórios mais rapidamente.

• Columnstore : esse formato aprimora o desempenho de consultas de leitura intensiva devido ao armazenamento em colunas e aos recursos de compactação.

• Agregações : Este recurso garante que muitas consultas possam ser respondidas pelas tabelas agregadas, reduzindo a necessidade de acesso a grandes tabelas de fatos e melhorando assim o desempenho.

O uso desses formatos de armazenamento ao trabalhar com o LuckyTemplates Premium tornará o gerenciamento de grandes conjuntos de dados do LuckyTemplates mais eficiente.

3. Otimização do consumo de recursos

Monitorar e otimizar o consumo de recursos são cruciais para manter o desempenho do seu sistema LuckyTemplates. Algumas maneiras de fazer isso são:

• Rastreie o uso da memória : analise a métrica PeakMemory durante as operações de atualização do conjunto de dados para entender a memória máxima consumida. Monitorar esse valor ajuda a identificar qualquer gargalo e otimizar o uso de memória.

• Monitore o uso da CPU : fique de olho no MashupCPUTime, que indica o tempo total da CPU consumido pelo Power Query Engine para todas as consultas. Esse insight permite otimizar suas consultas e minimizar o consumo.

Você pode melhorar o desempenho geral e a eficiência do seu sistema LuckyTemplates implementando os itens discutidos acima e aproveitando os recursos do LuckyTemplates, como particionamento, dobragem de consulta e formatos de armazenamento de conjuntos de dados grandes.

A seguir, examinaremos como configurar a atualização incremental usando fontes diferentes.

Usando atualização incremental com diferentes fontes de dados

Você pode usar a Atualização Incremental do LuckyTemplates com diferentes fontes de dados, incluindo Banco de Dados SQL , Modos de Dados de Importação e DirectQuery e Data Warehouses.

Aqui estão algumas coisas a considerar ao selecionar uma fonte de dados para importar para o LuckyTemplates:

1. Banco de Dados SQL

Ao trabalhar com bancos de dados SQL como fonte de dados, lembre-se de:

• Crie parâmetros de data/hora do Power Query com nomes reservados que diferenciam maiúsculas de minúsculas: RangeStart e RangeEnd.

• Aplique filtros nos dados usando esses parâmetros para separar dados atualizados com frequência e com menos frequência.

• Defina uma política de atualização incremental no LuckyTemplates Desktop antes de publicar no serviço do LuckyTemplates.

Lembre-se de que a atualização incremental só tem suporte em LuckyTemplates Pro, conjuntos de dados do LuckyTemplates Embedded e ambientes Premium por plano de usuário.

2. Modos DirectQuery e Importação de Dados

O LuckyTemplates oferece dois modos de acesso a dados: DirectQuery e Import Data .

O uso da atualização incremental com esses modos envolve o seguinte:

• DirectQuery : no modo Direct Query, você consulta dados da fonte de dados em tempo real, o que significa que nenhum dado é importado para o conjunto de dados do LuckyTemplates. Você só pode usar a atualização incremental com consulta direta se tiver um plano de usuário LuckyTemplates Premium, LuckyTemplates Embedded ou Premium por usuário.

• Importar dados : neste modo, você importa dados para o conjunto de dados do LuckyTemplates e pode trabalhar com os dados importados. Para usar a atualização incremental com o modo Importar dados, configure os parâmetros RangeStart e RangeEnd, aplique filtros e defina uma política de atualização incremental.

3. Armazém de Dados

O uso da atualização incremental com data warehouses é semelhante ao uso de bancos de dados SQL. Siga as mesmas etapas para criar os parâmetros RangeStart e RangeEnd, aplique filtros para separar dados com base na frequência de atualização e defina uma política de atualização incremental antes de publicar seu conjunto de dados no serviço LuckyTemplates.

Certifique-se de compreender os modos de acesso a dados e as limitações de seu ambiente do LuckyTemplates para utilizar a atualização incremental adequadamente com diferentes fontes de dados.

As atualizações incrementais configuradas corretamente podem melhorar a eficiência do armazenamento de dados e garantir que as informações mais atualizadas estejam disponíveis para seus relatórios do LuckyTemplates.

Como vimos como usar a atualização incremental com diferentes fontes de dados, veremos as dicas e truques avançados ao usar a atualização incremental do LuckyTemplates na próxima seção.

Essas dicas e truques ajudarão você a aproveitar ao máximo seus dados e garantir que você esteja usando a atualização incremental corretamente.

3 técnicas avançadas e dicas para usar a atualização incremental

Existem dicas e técnicas avançadas listadas abaixo que você pode implantar e otimizar com êxito a atualização incremental do LuckyTemplates em seu modelo de dados:

1. Atualização e dados em tempo real

Ao trabalhar com o LuckyTemplates, é essencial configurar a atualização incremental e os dados em tempo real com eficiência para obter o desempenho ideal.

A atualização incremental permite que você atualize especificamente dados novos ou modificados em vez de todo o conjunto de dados. Quando emparelhado com dados em tempo real, você pode atualizar seu relatório de forma eficiente com as informações mais recentes.

Para aproveitar esses recursos, configure por meio do LuckyTemplates Desktop ou ferramentas como Tabular Model Scripting Language (TMSL) ou Tabular Object Model (TOM) por meio do ponto de extremidade XMLA.

2. Converter data/hora em número inteiro para DataView

A conversão de valores de data/hora em números inteiros facilita o trabalho com os dados e otimiza a eficiência da atualização. Aqui estão as etapas para converter Data/Hora em Inteiro no Power Query:

1. Abra o Editor do Power Query no LuckyTemplates.

2. Selecione a coluna que contém os valores de Data/Hora.

3. Vá para a guia Transformar e clique em Tipo de dados.

4. Escolha Número inteiro como o novo tipo de dados.

Essa conversão promove um melhor desempenho reduzindo a tensão no processamento de dados durante as atualizações incrementais.

3. Atualizar apenas dias completos

É crucial atualizar apenas os dias completos ao configurar as políticas de atualização incremental, pois isso evita o processamento desnecessário de dados e reduz o tempo de carregamento dos relatórios.

Para conseguir isso, siga estas etapas:

1. No LuckyTemplates Desktop, clique com o botão direito do mouse na tabela e selecione Atualização Incremental.

2. Na janela Atualização incremental, defina um filtro, como Date_IS_AFTER = Date.IsAfterOrEqual([Date], DateTimeZone.SwitchZone(DateTime.LocalNow(), -TimeZoneOffset))

3. Configure os parâmetros ' rangeStart ' e ' rangeEnd ' para usar apenas dias completos. Por exemplo, defina ' rangeEnd ' para a data do dia anterior.

Ao aplicar essas dicas e técnicas avançadas, você pode garantir um gerenciamento eficiente de conjuntos de dados, geração de relatórios e desempenho aprimorado em seu fluxo de trabalho do LuckyTemplates.

Pensamentos finais

E aí temos que! Desvendamos o mistério da atualização incremental do LuckyTemplates. Não é apenas um jargão técnico, mas um divisor de águas que pode facilitar o manuseio de grandes conjuntos de dados, economizando muito tempo e recursos.

Como usuário do LuckyTemplates, você pode se beneficiar significativamente do recurso de atualização incremental. Esse recurso avançado na popular ferramenta de business intelligence da Microsoft economiza recursos e tempo atualizando apenas os dados novos ou alterados em seus conjuntos de dados.

Então vá em frente, dê uma olhada e experimente como ele traz eficiência para suas atualizações de dados. Lembre-se, no mundo dos dados, manter-se atualizado é estar à frente!

Se você quiser saber mais sobre o LuckyTemplates, assista ao vídeo abaixo: