Actualisation incrémentielle de LuckyTemplates : de quoi sagit-il et comment lutiliser

LuckyTemplates est devenu un outil précieux pour les entreprises travaillant avec des données, et l'actualisation incrémentielle est une fonctionnalité clé de LuckyTemplates qui peut faciliter votre travail en mettant à jour dynamiquement vos données.

L'actualisation incrémentielle de LuckyTemplates est un processus qui permet aux utilisateurs d'actualiser les données progressivement au lieu d'effectuer une actualisation complète des données à chaque fois. Cela peut considérablement accélérer l'actualisation des données et réduire la quantité de données à transférer entre LuckyTemplates et la source de données.

Dans cet article, nous allons vous montrer comment configurer une actualisation incrémentielle dans LuckyTemplates comme un pro, rendant votre flux de travail d'analyse de données plus agile et vous permettant de prendre des décisions éclairées en temps réel avec des données à jour à portée de main. .

Allons-y!

Table des matières

• Principes de base de l'actualisation incrémentielle de LuckyTemplates
  • 1. PowerQuery et LuckyTemplates
  • 2. Actualiser la politique
  • 3. Logique de filtrage
  • 4. Flux de données
• Comment configurer l'actualisation incrémentielle dans LuckyTemplates
  • 1. Gérer les paramètres
  • 2. Paramètres RangeStart et RangeEnd
  • 3. Configuration de la politique d'actualisation incrémentielle dans LuckyTemplates
• Comment utiliser les données et les filtres lors de l'utilisation de l'actualisation incrémentielle de LuckyTemplates
  • 1. Date/heure et types de données entiers
  • 2. Clés de substitution
  • 3. Filtre personnalisé
• Comment améliorer les performances et l'efficacité lors de l'utilisation de l'actualisation incrémentielle dans LuckyTemplates
  • 1. Pliage des partitions et des requêtes
  • 2. Formats de stockage de grands ensembles de données
  • 3. Optimisation de la consommation des ressources
• Utilisation de l'actualisation incrémentielle avec différentes sources de données
  • 1. Base de données SQL
  • 2. Modes DirectQuery et Importer des données
  • 3. Entrepôt de données
• 3 techniques et astuces avancées pour utiliser l'actualisation incrémentielle
  • 1. Données en temps réel et actualisation
  • 2. Convertir la date/heure en entier pour DataView
• Dernières pensées

Principes de base de l'actualisation incrémentielle de LuckyTemplates

L'actualisation incrémentielle de LuckyTemplates est un outil très pratique, et la compréhension de ses principes fondamentaux est essentielle si vous souhaitez l'exploiter pour des processus d'actualisation des données efficaces pour vos rapports et tableaux de bord.

Ces fondamentaux comprennent :

1. PowerQuery et LuckyTemplates

L'actualisation incrémentielle est une fonctionnalité de LuckyTemplates qui vous permet de charger uniquement un modèle de données nouveau ou mis à jour, améliorant ainsi l'efficacité de votre processus d'actualisation des données.

En utilisant les paramètres de date/heure de Power Query avec les noms réservés et sensibles à la casse RangeStart et RangeEnd, vous pouvez filtrer les données de table et les partitionner dynamiquement en fonction de la plage incrémentielle pour séparer les données fréquemment actualisées des données moins fréquemment actualisées.

2. Actualiser la politique

Si vous souhaitez mettre en œuvre un processus d'actualisation incrémentielle, procédez comme suit :

• Dans le bureau LuckyTemplates, sélectionnez la table avec des filtres personnalisés appliqués.

• Cliquez avec le bouton droit et choisissez l'option Actualisation incrémentielle dans le menu contextuel.

• Dans la fenêtre Actualisation incrémentielle qui s'ouvre, vous pouvez définir diverses options et définir la stratégie.

La stratégie que vous définissez dans LuckyTemplates Desktop sera appliquée au service LuckyTemplates.

3. Logique de filtrage

La logique de filtrage utilisée dans l'actualisation incrémentielle est basée sur des plages de dates. Vous devez tenir compte des facteurs suivants lors de la définition de votre logique de filtrage :

• Tenez compte des politiques de conservation des données historiques de votre source de données.

• Assurez-vous que la source de données prend en charge le pliage des requêtes et les actualisations incrémentielles.

• Déterminez la plage optimale pour votre table de données afin de minimiser le temps de chargement.

4. Flux de données

L'utilisation d'une actualisation incrémentielle avec des flux de données nécessite quelques considérations supplémentaires :

• Tout d'abord, votre flux de données doit résider dans un espace de travail avec une capacité Premium.

• Deuxièmement, des plans Power Apps par application ou par utilisateur sont requis pour une actualisation incrémentielle dans Power Apps.

• Enfin, le flux de données doit utiliser Azure Data Lake Storage comme destination.

L'actualisation incrémentielle dans LuckyTemplates peut vous faire gagner du temps et améliorer l'efficacité de vos mises à jour de données.

Maintenant que nous avons couvert les principes de base de l'actualisation incrémentielle de LuckyTemplates, examinons une explication détaillée de la configuration de l'actualisation incrémentielle dans LuckyTemplates dans la section suivante. 

Comment configurer l'actualisation incrémentielle dans LuckyTemplates

La configuration de l'actualisation incrémentielle dans LuckyTemplates est un processus simple. Vous commencez par activer la fonctionnalité dans l'éditeur Power Query, puis vous spécifiez la table souhaitée pour l'actualisation, et enfin vous définissez vos stratégies de stockage et d'actualisation.

Vous trouverez ci-dessous un guide détaillé sur la configuration de l'actualisation incrémentielle de LuckyTemplates :

1. Gérer les paramètres

Pour configurer l'actualisation incrémentielle dans LuckyTemplates, vous devez d'abord créer des paramètres de date/heure à l'aide de Power Query. Ces paramètres vous aideront à définir la plage de données à actualiser de manière incrémentielle.

• Ouvrez l'éditeur Power Query dans LuckyTemplates Desktop en cliquant sur Transformer les données.

• Accédez à Gérer les paramètres et cliquez sur Nouveau paramètre.

2. Paramètres RangeStart et RangeEnd

Pour une actualisation incrémentielle réussie dans la plage incrémentielle souhaitée, les deux paramètres de date/heure Power Query suivants doivent être créés avec leurs noms réservés sensibles à la casse :

• RangeStart : ce paramètre représente la date de début de la plage de données que vous souhaitez inclure dans l'actualisation incrémentielle.

  

• RangeEnd : ce paramètre indique la date de fin de la plage de données pour l'actualisation incrémentielle.

  

Une fois ces paramètres créés, vous pouvez maintenant appliquer le filtre de plage de dates à votre ensemble de données.

3. Configuration de la politique d'actualisation incrémentielle dans LuckyTemplates

Une fois que vous avez configuré les paramètres RangeStart et RangeEnd, vous pouvez configurer la stratégie d'actualisation incrémentielle :

• Dans LuckyTemplates Desktop, cliquez avec le bouton droit sur la table souhaitée et choisissez Actualisation incrémentielle.

• Dans la fenêtre des paramètres d'actualisation incrémentielle, activez le curseur Actualiser incrémentiellement ce tableau.

• Configurez la politique de stockage en définissant :

  • Le nombre de jours/années pour stocker les données dans le service LuckyTemplates.

  • Une stratégie d'actualisation pour déterminer la fréquence des actualisations incrémentielles.

• Après avoir configuré les stratégies, cliquez sur Appliquer tout pour enregistrer vos paramètres.

  

En suivant ces étapes, vous pouvez configurer une actualisation incrémentielle dans LuckyTemplates et optimiser le processus d'actualisation pour les jeux de données volumineux. C'est si simple!

Maintenant que nous avons couvert cela, nous examinons comment vous pouvez utiliser les données et les filtres tout en utilisant l'actualisation incrémentielle de LuckyTemplates dans la section suivante.

Comment utiliser les données et les filtres lors de l'utilisation de l'actualisation incrémentielle de LuckyTemplates

Savoir comment utiliser les données et les filtres dans LuckyTemplates est utile si vous disposez d'un grand ensemble de données qui ne change pas très souvent, mais que vous souhaitez toujours consulter régulièrement les dernières données.

Voici comment procéder :

1. Date/heure et types de données entiers

Lorsque vous travaillez avec l'actualisation incrémentielle de LuckyTemplates, il est essentiel de comprendre les différents filtres qui fonctionnent sur la date/l'heure et le type de données entier.

En utilisant des paramètres de date/heure avec les noms réservés et sensibles à la casse RangeStart et RangeEnd, vous pouvez filtrer efficacement les données de table en fonction des dates.

Par exemple, dans une table de faits qui contient des données depuis 2005, vous pouvez configurer l'actualisation incrémentielle pour ne conserver que les dix dernières années , en filtrant les données antérieures à 2010.

Dans le cas de types de données entiers, vous pouvez configurer des filtres personnalisés pour gérer l'actualisation incrémentielle. Cela permet de partitionner et de séparer les données nécessitant une actualisation fréquente des données nécessitant moins de mises à jour.

2. Clés de substitution

Les clés de substitution jouent un rôle crucial lors de l'utilisation d'une actualisation incrémentielle dans LuckyTemplates. Ces clés uniques aident à gérer et à contrôler les données de votre table.

Lorsque vous utilisez des clés de substitution pendant le processus de configuration, vous pouvez facilement suivre les modifications ou les mises à jour de vos données tout en vous assurant que la clé primaire n'est pas modifiée.

Cela permet des actualisations incrémentielles efficaces et efficientes tout en préservant l'intégrité de vos données.

3. Filtre personnalisé

Outre les types de données date/heure et nombre entier, vous pouvez également créer et utiliser des filtres personnalisés dans l'actualisation incrémentielle. Les filtres personnalisés vous aident à mieux gérer et partitionner les données en fonction de besoins ou de critères spécifiques.

Voici un guide étape par étape pour créer un filtre personnalisé :

1. Cliquez avec le bouton droit sur la table de faits et remplissez les champs requis pour la configuration de l'actualisation incrémentielle.

2. Créez deux paramètres de type de données Date/Heure, avec les noms RangeStart et RangeEnd. Définissez une valeur par défaut pour chaque paramètre.

3. Implémentez la fonction de filtre personnalisé dans votre requête ou les étapes de traitement des données pour filtrer les données en fonction de vos besoins spécifiques.

À l'aide de filtres personnalisés, vous pouvez organiser et gérer efficacement les données de votre solution LuckyTemplates, en garantissant des performances et une convivialité optimales.

Tenez compte des paramètres d'actualisation incrémentiels pour éviter de tomber dans des pièges ou de faire face à des problèmes susceptibles d'entraver votre expérience globale.

Après avoir compris comment utiliser les données et les filtres dans LuckyTemplates, examinons comment vous pouvez améliorer les performances et l'efficacité de vos rapports et tableaux de bord en tirant parti de l'actualisation incrémentielle dans la section suivante.

Comment améliorer les performances et l'efficacité lors de l'utilisation de l'actualisation incrémentielle dans LuckyTemplates

Il existe différentes façons d'améliorer les performances et l'efficacité tout en utilisant l'actualisation incrémentielle dans LuckyTemplates. Nous allons jeter un oeil à certains d'entre eux ci-dessous.

1. Pliage des partitions et des requêtes

Lorsque vous configurez une actualisation incrémentielle dans LuckyTemplates, votre table est automatiquement partitionnée. Une partition contient des données qui doivent être actualisées fréquemment, tandis que l'autre partition contient des lignes qui ne changent pas.

Cela améliore les performances et l'efficacité du processus d'actualisation. Le pliage des requêtes joue également un rôle dans ce processus ; il combine plusieurs étapes d'une requête en une seule requête de base de données, réduisant ainsi la quantité de traitement et le temps requis pour les mises à jour des rapports.

2. Formats de stockage de grands ensembles de données

LuckyTemplates Premium vous permet de travailler plus efficacement avec des jeux de données volumineux à l'aide de formats de stockage tels que Columnstore et Aggregations.

Lors du traitement de grandes quantités de données, ces formats de stockage accélèrent les performances d'actualisation et vous permettent d'interagir plus rapidement avec vos rapports.

• Columnstore : ce format améliore les performances des requêtes intensives en lecture grâce à ses capacités de stockage et de compression en colonnes.

• Agrégations : cette fonctionnalité garantit que de nombreuses requêtes peuvent être répondues par les tables agrégées, réduisant ainsi le besoin d'accéder à de grandes tables de faits et améliorant ainsi les performances.

L'utilisation de ces formats de stockage tout en travaillant avec LuckyTemplates Premium rendra la gestion de grands ensembles de données LuckyTemplates plus efficace.

3. Optimisation de la consommation des ressources

La surveillance et l'optimisation de la consommation des ressources sont essentielles pour maintenir les performances de votre système LuckyTemplates. Voici quelques façons de procéder :

• Suivre l'utilisation de la mémoire : analysez la métrique PeakMemory pendant les opérations d'actualisation de l'ensemble de données pour comprendre la mémoire maximale consommée. La surveillance de cette valeur vous aide à identifier les goulots d'étranglement et à optimiser l'utilisation de la mémoire.

• Surveiller l'utilisation du CPU : Gardez un œil sur le MashupCPUTime, qui indique le temps CPU total consommé par Power Query Engine pour toutes les requêtes. Cet aperçu vous permet d'optimiser vos requêtes et de minimiser la consommation.

Vous pouvez améliorer les performances et l'efficacité globales de votre système LuckyTemplates en implémentant les éléments décrits ci-dessus et en tirant parti des fonctionnalités de LuckyTemplates telles que le partitionnement, le pliage des requêtes et les formats de stockage de grands ensembles de données.

Ensuite, nous examinerons comment configurer l'actualisation incrémentielle à l'aide de différentes sources.

Utilisation de l'actualisation incrémentielle avec différentes sources de données

Vous pouvez utiliser l'actualisation incrémentielle de LuckyTemplates avec différentes sources de données, notamment SQL Database , DirectQuery et les modes d'importation de données et les entrepôts de données.

Voici quelques éléments à prendre en compte lors de la sélection d'une source de données à importer dans LuckyTemplates :

1. Base de données SQL

Lorsque vous utilisez des bases de données SQL comme source de données, n'oubliez pas :

• Créez des paramètres de date/heure Power Query avec des noms réservés sensibles à la casse : RangeStart et RangeEnd.

• Appliquez des filtres sur les données à l'aide de ces paramètres pour séparer les données fréquemment et moins fréquemment actualisées.

• Définissez une stratégie d'actualisation incrémentielle dans LuckyTemplates Desktop avant de publier sur le service LuckyTemplates.

N'oubliez pas que l'actualisation incrémentielle n'est prise en charge que sur les jeux de données LuckyTemplates Pro, LuckyTemplates Embedded et les environnements de plan par utilisateur Premium.

2. Modes DirectQuery et Importer des données

LuckyTemplates propose deux modes d'accès aux données : DirectQuery et Importer des données .

L'utilisation de l'actualisation incrémentielle avec ces modes implique ce qui suit :

• DirectQuery : en mode Direct Query, vous interrogez les données de la source de données en temps réel, ce qui signifie qu'aucune donnée n'est importée dans votre jeu de données LuckyTemplates. Vous ne pouvez utiliser l'actualisation incrémentielle avec Direct Query que si vous disposez d'un plan LuckyTemplates Premium, d'ensembles de données LuckyTemplates Embedded ou Premium par utilisateur.

• Importer des données : dans ce mode, vous importez des données dans votre ensemble de données LuckyTemplates, et vous pouvez ensuite travailler avec les données importées. Pour utiliser l'actualisation incrémentielle avec le mode d'importation de données, configurez les paramètres RangeStart et RangeEnd, appliquez des filtres et définissez une stratégie d'actualisation incrémentielle.

3. Entrepôt de données

L'utilisation de l'actualisation incrémentielle avec des entrepôts de données est similaire à l'utilisation de bases de données SQL. Suivez les mêmes étapes pour créer les paramètres RangeStart et RangeEnd, appliquez des filtres pour séparer les données en fonction de la fréquence d'actualisation et définissez une stratégie d'actualisation incrémentielle avant de publier votre jeu de données sur le service LuckyTemplates.

Assurez-vous de comprendre les modes d'accès aux données de votre environnement LuckyTemplates et les limitations pour utiliser correctement l'actualisation incrémentielle avec différentes sources de données.

Des actualisations incrémentielles correctement configurées peuvent améliorer l'efficacité du stockage des données et garantir que les informations les plus récentes sont disponibles pour vos rapports LuckyTemplates.

Puisque nous avons expliqué comment utiliser l'actualisation incrémentielle avec différentes sources de données, nous examinerons les conseils et astuces avancés lors de l'utilisation de l'actualisation incrémentielle LuckyTemplates dans la section suivante.

Ces conseils et astuces vous aideront à tirer le meilleur parti de vos données et à vous assurer que vous utilisez correctement l'actualisation incrémentielle.

3 techniques et astuces avancées pour utiliser l'actualisation incrémentielle

Il existe des astuces et techniques avancées répertoriées ci-dessous qui vous permettent de déployer et d'optimiser avec succès l'actualisation incrémentielle de LuckyTemplates dans votre modèle de données :

1. Données en temps réel et actualisation

Lorsque vous travaillez avec LuckyTemplates, il est essentiel de configurer efficacement l'actualisation incrémentielle et les données en temps réel pour des performances optimales.

L'actualisation incrémentielle vous permet d'actualiser spécifiquement les données nouvelles ou modifiées au lieu de l'intégralité du jeu de données. Lorsqu'il est associé à des données en temps réel, vous pouvez mettre à jour efficacement votre rapport avec les dernières informations.

Pour tirer parti de ces fonctionnalités, configurez via LuckyTemplates Desktop ou des outils tels que le langage de script de modèle tabulaire (TMSL) ou le modèle d'objet tabulaire (TOM) via le point de terminaison XMLA.

2. Convertir la date/heure en entier pour DataView

La conversion des valeurs de date/heure en nombres entiers facilite le travail avec les données et optimise l'efficacité de l'actualisation. Voici les étapes pour convertir Date/Heure en entier dans Power Query :

1. Ouvrez l'éditeur Power Query dans LuckyTemplates.

2. Sélectionnez la colonne contenant les valeurs Date/Heure.

3. Allez dans l'onglet Transformer et cliquez sur Type de données.

4. Choisissez Nombre entier comme nouveau type de données.

Cette conversion favorise de meilleures performances en réduisant la pression sur le traitement des données lors des actualisations incrémentielles.

3. Actualiser uniquement les jours complets

Il est crucial de n'actualiser que des jours complets lors de la configuration de politiques d'actualisation incrémentielles, car cela empêche le traitement inutile des données et réduit les temps de chargement des rapports.

Pour y parvenir, suivez ces étapes :

1. Dans LuckyTemplates Desktop, cliquez avec le bouton droit sur la table et sélectionnez Actualisation incrémentielle.

2. Dans la fenêtre Actualisation incrémentielle, définissez un filtre, tel que Date_IS_AFTER = Date.IsAfterOrEqual([Date], DateTimeZone.SwitchZone(DateTime.LocalNow(), -TimeZoneOffset))

3. Configurez les paramètres ' rangeStart ' et ' rangeEnd ' pour n'utiliser que des jours complets. Par exemple, définissez ' rangeEnd ' sur la date du jour précédent.

En appliquant ces techniques et conseils avancés, vous pouvez garantir une gestion efficace des ensembles de données, la génération de rapports et des performances améliorées dans votre flux de travail LuckyTemplates.

Dernières pensées

Et là, nous l'avons! Nous avons percé le mystère de l'actualisation incrémentielle de LuckyTemplates. Il ne s'agit pas seulement d'un jargon technologique, mais d'un changement de jeu qui peut faciliter la gestion d'énormes ensembles de données tout en vous faisant gagner beaucoup de temps et de ressources.

En tant qu'utilisateur de LuckyTemplates, vous pouvez bénéficier de manière significative de la fonctionnalité d'actualisation incrémentielle. Cette fonctionnalité avancée de l'outil de Business Intelligence populaire de Microsoft permet d'économiser des ressources et du temps en actualisant uniquement les données nouvelles ou modifiées dans vos ensembles de données.

Alors allez-y, essayez-le et découvrez comment il apporte de l'efficacité à vos mises à jour de données. N'oubliez pas que dans le monde des données, rester à jour, c'est rester en tête !

Si vous souhaitez en savoir plus sur LuckyTemplates, vous pouvez regarder la vidéo ci-dessous :