Инкрементальное обновление LuckyTemplates: что это такое и как его использовать

LuckyTemplates превратился в ценный инструмент для предприятий, работающих с данными, а добавочное обновление — ключевая функция LuckyTemplates, которая может упростить вашу работу за счет динамического обновления данных.

Инкрементное обновление LuckyTemplates — это процесс, который позволяет пользователям обновлять данные постепенно, а не каждый раз выполнять полное обновление данных. Это может значительно ускорить обновление данных и уменьшить объем данных, которые необходимо передавать между LuckyTemplates и источником данных.

В этой статье мы покажем вам, как настроить добавочное обновление в LuckyTemplates на профессиональном уровне, чтобы сделать ваш рабочий процесс анализа данных более гибким и позволить вам принимать обоснованные решения в режиме реального времени с самыми последними данными на кончиках ваших пальцев. .

Пойдем!

Оглавление

• Основы добавочного обновления LuckyTemplates
  • 1. Power Query и LuckyTemplates
  • 2. Политика обновления
  • 3. Логика фильтрации
  • 4. Потоки данных
• Как настроить добавочное обновление в LuckyTemplates
  • 1. Управление параметрами
  • 2. Параметры RangeStart и RangeEnd
  • 3. Настройка политики добавочного обновления в LuckyTemplates
• Как работать с данными и фильтрами при использовании добавочного обновления LuckyTemplates
  • 1. Дата/время и целочисленные типы данных
  • 2. Суррогатные ключи
  • 3. Пользовательский фильтр
• Как повысить производительность и эффективность при использовании добавочного обновления в LuckyTemplates
  • 1. Свертывание разделов и запросов
  • 2. Форматы хранения больших наборов данных
  • 3. Оптимизация потребления ресурсов
• Использование добавочного обновления с различными источниками данных
  • 1. База данных SQL
  • 2. Режимы DirectQuery и импорта данных
  • 3. Хранилище данных
• 3 передовых метода и советы по использованию добавочного обновления
  • 1. Данные в реальном времени и обновление
  • 2. Преобразование даты/времени в целое число для DataView
• Последние мысли

Основы добавочного обновления LuckyTemplates

Инкрементное обновление LuckyTemplates — очень удобный инструмент, и понимание его основ необходимо, если вы хотите использовать его для эффективных процессов обновления данных для своих отчетов и панелей мониторинга.

Эти основы включают в себя:

1. Power Query и LuckyTemplates

Добавочное обновление — это функция LuckyTemplates, которая позволяет загружать только новую или обновленную модель данных, повышая эффективность процесса обновления данных.

Используя параметры даты и времени Power Query с зарезервированными именами с учетом регистра RangeStart и RangeEnd, вы можете фильтровать данные таблицы и динамически разделять их на основе добавочного диапазона, чтобы отделить часто обновляемые данные от менее часто обновляемых данных.

2. Политика обновления

Если вы заинтересованы в реализации процесса добавочного обновления, выполните следующие действия.

• В рабочем столе LuckyTemplates выберите таблицу с примененными пользовательскими фильтрами.

• Щелкните правой кнопкой мыши и выберите параметр «Пошаговое обновление» в контекстном меню.

• В открывшемся окне Incremental Refresh вы можете установить различные параметры и определить политику.

Политика, которую вы определяете в LuckyTemplates Desktop, будет применяться к службе LuckyTemplates.

3. Логика фильтрации

Логика фильтрации, используемая при добавочном обновлении, основана на диапазонах дат. При определении логики фильтра следует учитывать следующие факторы:

• Помните о политиках хранения исторических данных вашего источника данных.

• Убедитесь, что источник данных поддерживает свертывание запросов и добавочные обновления.

• Определите оптимальный диапазон для таблицы данных, чтобы свести к минимуму время загрузки.

4. Потоки данных

Использование добавочного обновления с потоками данных требует некоторых дополнительных соображений:

• Во-первых, ваш поток данных должен находиться в рабочей области с емкостью Premium.

• Во-вторых, для добавочного обновления в Power Apps требуются планы Power Apps для каждого приложения или пользователя.

• Наконец, поток данных должен использовать Azure Data Lake Storage в качестве места назначения.

Добавочное обновление в LuckyTemplates может сэкономить ваше время и повысить эффективность обновлений данных.

Теперь, когда мы рассмотрели основы добавочного обновления LuckyTemplates, давайте взглянем на подробное объяснение того, как настроить добавочное обновление в LuckyTemplates, в следующем разделе. 

Как настроить добавочное обновление в LuckyTemplates

Настройка добавочного обновления в LuckyTemplates — простой процесс. Вы начинаете с включения этой функции в редакторе Power Query, затем указываете желаемую таблицу для обновления и, наконец, определяете политики хранения и обновления.

Ниже приведено подробное руководство по настройке добавочного обновления LuckyTemplates:

1. Управление параметрами

Чтобы настроить добавочное обновление в LuckyTemplates, необходимо сначала создать параметры даты и времени с помощью Power Query. Эти параметры помогут вам определить диапазон данных, которые будут постепенно обновляться.

• Откройте редактор Power Query в LuckyTemplates Desktop, щелкнув Преобразовать данные.

• Перейдите в раздел «Управление параметрами» и нажмите «Новый параметр».

2. Параметры RangeStart и RangeEnd

Для успешного добавочного обновления в желаемом добавочном диапазоне необходимо создать следующие два параметра даты и времени Power Query с их зарезервированными именами с учетом регистра:

• RangeStart : этот параметр представляет начальную дату диапазона данных, который вы хотите включить в добавочное обновление.

  

• RangeEnd : этот параметр указывает конечную дату диапазона данных для добавочного обновления.

  

Создав эти параметры, вы теперь можете применить фильтр диапазона дат к своему набору данных.

3. Настройка политики добавочного обновления в LuckyTemplates

После настройки параметров RangeStart и RangeEnd вы можете настроить политику добавочного обновления:

• В LuckyTemplates Desktop щелкните правой кнопкой мыши нужную таблицу и выберите «Добавочное обновление».

• В окне настроек Добавочного обновления включите ползунок Добавочное обновление этой таблицы.

• Настройте политику хранения, определив:

  • Количество дней/лет для хранения данных в службе LuckyTemplates.

  • Политика обновления для определения частоты добавочных обновлений.

• После настройки политик нажмите «Применить все», чтобы сохранить настройки.

  

Выполнив следующие действия, вы сможете настроить добавочное обновление в LuckyTemplates и оптимизировать процесс обновления для больших наборов данных. Это так просто!

Теперь, когда мы это рассмотрели, мы рассмотрим, как вы можете работать с данными и фильтрами при использовании добавочного обновления LuckyTemplates в следующем разделе.

Как работать с данными и фильтрами при использовании добавочного обновления LuckyTemplates

Знание того, как работать с данными и фильтрами в LuckyTemplates, полезно, если у вас есть большой набор данных, который меняется не очень часто, но вы все равно хотите регулярно просматривать последние данные.

Вот как вы можете это сделать:

1. Дата/время и целочисленные типы данных

При работе с добавочным обновлением LuckyTemplates важно понимать различные фильтры, которые работают с датой/временем и целочисленным типом данных.

Используя параметры даты/времени с зарезервированными именами с учетом регистра RangeStart и RangeEnd, вы можете эффективно фильтровать данные таблицы на основе дат.

Например, в таблице фактов, содержащей данные с 2005 года, можно настроить добавочное обновление, чтобы хранить только последние десять лет , отфильтровывая данные до 2010 года.

В случае целочисленных типов данных вы можете настроить пользовательские фильтры для управления добавочным обновлением. Это помогает разделять и отделять данные, требующие частого обновления, от данных, которые не требуют столь частого обновления.

2. Суррогатные ключи

Суррогатные ключи играют решающую роль при работе с добавочным обновлением в LuckyTemplates. Эти уникальные ключи помогают управлять и контролировать данные вашей таблицы.

Когда вы используете суррогатные ключи в процессе настройки, вы можете легко отслеживать любые изменения или обновления в ваших данных, гарантируя, что первичный ключ не будет изменен.

Это обеспечивает эффективное и действенное добавочное обновление при сохранении целостности ваших данных.

3. Пользовательский фильтр

Помимо даты/времени и целочисленных типов данных, вы также можете создавать и использовать настраиваемые фильтры при добавочном обновлении. Пользовательские фильтры помогают лучше управлять данными и разделять их на основе конкретных потребностей или критериев.

Вот пошаговое руководство по созданию пользовательского фильтра:

1. Щелкните правой кнопкой мыши таблицу фактов и заполните необходимые поля для конфигурации добавочного обновления.

2. Создайте два параметра типа данных Date/Time с именами RangeStart и RangeEnd. Установите значение по умолчанию для каждого параметра.

3. Внедрите функцию пользовательского фильтра в свой запрос или этапы обработки данных, чтобы отфильтровать данные в соответствии с вашими конкретными требованиями.

Используя настраиваемые фильтры, вы можете эффективно организовывать данные в своем решении LuckyTemplates и управлять ими, обеспечивая оптимальную производительность и удобство использования.

Помните о параметрах добавочного обновления, чтобы не попасть в ловушки и не столкнуться с проблемами, которые могут помешать вашему общему опыту.

Поняв, как работать с данными и фильтрами в LuckyTemplates, давайте углубимся в то, как вы можете повысить производительность и эффективность своих отчетов и панелей мониторинга, используя добавочное обновление в следующем разделе.

Как повысить производительность и эффективность при использовании добавочного обновления в LuckyTemplates

Существуют различные способы повышения производительности и эффективности при использовании добавочного обновления в LuckyTemplates. Ниже мы рассмотрим некоторые из них.

1. Свертывание разделов и запросов

Когда вы настраиваете добавочное обновление в LuckyTemplates, ваша таблица автоматически секционируется. Один раздел содержит данные, которые необходимо часто обновлять, а другой раздел содержит строки, которые не изменяются.

Это повышает производительность и эффективность процесса обновления. Свертывание запроса также играет роль в этом процессе; он объединяет несколько шагов запроса в один запрос к базе данных, сокращая объем обработки и время, необходимое для обновления отчета.

2. Форматы хранения больших наборов данных

LuckyTemplates Premium позволяет более эффективно работать с большими наборами данных, используя такие форматы хранения, как Columnstore и агрегаты.

При обработке больших объемов данных эти форматы хранения повышают производительность обновления и позволяют быстрее взаимодействовать с отчетами.

• Хранилище столбцов : этот формат повышает производительность запросов с интенсивным чтением благодаря возможностям хранения в столбцах и сжатия.

• Агрегации : эта функция гарантирует, что на многие запросы можно ответить с помощью агрегированных таблиц, что снижает потребность в доступе к большим таблицам фактов и, таким образом, повышает производительность.

Использование этих форматов хранения при работе с LuckyTemplates Premium сделает управление большими наборами данных LuckyTemplates более эффективным.

3. Оптимизация потребления ресурсов

Мониторинг и оптимизация потребления ресурсов имеют решающее значение для поддержания производительности вашей системы LuckyTemplates. Вот несколько способов сделать это:

• Отслеживание использования памяти : проанализируйте показатель PeakMemory во время операций обновления набора данных, чтобы определить максимальное потребление памяти. Мониторинг этого значения помогает выявить узкие места и оптимизировать использование памяти.

• Мониторинг использования ЦП : следите за MashupCPUTime, который указывает общее время ЦП, потребляемое Power Query Engine для всех запросов. Это понимание позволяет оптимизировать ваши запросы и минимизировать потребление.

Вы можете повысить общую производительность и эффективность своей системы LuckyTemplates, реализовав описанные выше вещи и используя такие функции LuckyTemplates , как секционирование, свертывание запросов и форматы хранения больших наборов данных.

Далее мы рассмотрим, как настроить добавочное обновление с использованием разных источников.

Использование добавочного обновления с различными источниками данных

Вы можете использовать добавочное обновление LuckyTemplates с различными источниками данных, включая базу данных SQL , DirectQuery и режимы импорта данных, а также хранилища данных.

Вот некоторые моменты, которые следует учитывать при выборе источника данных для импорта в LuckyTemplates:

1. База данных SQL

При работе с базами данных SQL в качестве источника данных не забудьте:

• Создайте параметры даты и времени Power Query с зарезервированными именами с учетом регистра: RangeStart и RangeEnd.

• Примените фильтры к данным, используя эти параметры, чтобы разделить часто и редко обновляемые данные.

• Определите политику добавочного обновления в LuckyTemplates Desktop перед публикацией в службе LuckyTemplates.

Имейте в виду, что добавочное обновление поддерживается только в средах LuckyTemplates Pro, наборов данных LuckyTemplates Embedded и планах Premium на пользователя.

2. Режимы DirectQuery и импорта данных

LuckyTemplates предлагает два режима доступа к данным: DirectQuery и Import Data .

Использование добавочного обновления в этих режимах включает следующее:

• DirectQuery : в режиме прямого запроса вы запрашиваете данные из источника данных в режиме реального времени, что означает, что данные не импортируются в ваш набор данных LuckyTemplates. Вы можете использовать добавочное обновление с прямым запросом, только если у вас есть план LuckyTemplates Premium, наборы данных LuckyTemplates Embedded или план Premium на пользователя.

• Импорт данных . В этом режиме вы импортируете данные в свой набор данных LuckyTemplates, а затем можете работать с импортированными данными. Чтобы использовать добавочное обновление с режимом импорта данных, настройте параметры RangeStart и RangeEnd, примените фильтры и определите политику добавочного обновления.

3. Хранилище данных

Использование добавочного обновления с хранилищами данных похоже на использование баз данных SQL. Выполните те же действия, чтобы создать параметры RangeStart и RangeEnd, применить фильтры для разделения данных на основе частоты обновления и определить политику добавочного обновления перед публикацией набора данных в службе LuckyTemplates.

Убедитесь, что вы понимаете режимы доступа к данным в вашей среде LuckyTemplates и ограничения для правильного использования добавочного обновления с различными источниками данных.

Правильно настроенные добавочные обновления могут повысить эффективность хранения данных и обеспечить наличие самой актуальной информации для ваших отчетов LuckyTemplates.

Поскольку мы рассмотрели, как использовать добавочное обновление с различными источниками данных, мы рассмотрим дополнительные советы и рекомендации по использованию добавочного обновления LuckyTemplates в следующем разделе.

Эти советы и рекомендации помогут вам получить максимальную отдачу от ваших данных и убедиться, что вы правильно используете добавочное обновление.

3 передовых метода и советы по использованию добавочного обновления

Ниже перечислены дополнительные советы и методы, которые помогут вам успешно развернуть и оптимизировать добавочное обновление LuckyTemplates в вашей модели данных.

1. Данные в реальном времени и обновление

При работе с LuckyTemplates важно эффективно настроить добавочное обновление и данные в реальном времени для оптимальной производительности.

Инкрементное обновление позволяет специально обновлять новые или измененные данные, а не весь набор данных. В сочетании с данными в реальном времени вы можете эффективно обновлять свой отчет самой последней информацией.

Чтобы использовать такие возможности, настройте либо с помощью LuckyTemplates Desktop, либо с помощью таких инструментов, как язык сценариев табличных моделей (TMSL) или табличная объектная модель (TOM) через конечную точку XMLA.

2. Преобразование даты/времени в целое число для DataView

Преобразование значений даты и времени в целые числа упрощает работу с данными и оптимизирует эффективность обновления. Вот шаги для преобразования даты/времени в целое число в Power Query:

1. Откройте редактор Power Query в LuckyTemplates.

2. Выберите столбец, содержащий значения даты и времени.

3. Перейдите на вкладку «Преобразование» и нажмите «Тип данных».

4. Выберите Целое число в качестве нового типа данных.

Это преобразование способствует повышению производительности за счет снижения нагрузки на обработку данных во время добавочных обновлений.

3. Обновляйте только полные дни

При настройке политик добавочного обновления важно обновлять только полные дни, поскольку это предотвращает ненужную обработку данных и сокращает время загрузки отчетов.

Для этого выполните следующие действия:

1. В LuckyTemplates Desktop щелкните таблицу правой кнопкой мыши и выберите Добавочное обновление.

2. В окне «Пошаговое обновление» определите фильтр, например Date_IS_AFTER = Date.IsAfterOrEqual([Date], DateTimeZone.SwitchZone(DateTime.LocalNow(), -TimeZoneOffset))

3. Настройте параметры rangeStart и rangeEnd , чтобы использовать только полные дни. Например, установите для rangeEnd дату предыдущего дня.

Применяя эти передовые методы и советы, вы можете обеспечить эффективное управление наборами данных, создание отчетов и повышение производительности рабочего процесса LuckyTemplates.

Последние мысли

И вот оно! Мы разгадали тайну добавочного обновления LuckyTemplates. Это не просто какой-то технический жаргон, а способ изменить правила игры, который может упростить обработку массивных наборов данных, сэкономив при этом немало времени и ресурсов.

Как пользователь LuckyTemplates, вы можете значительно выиграть от функции добавочного обновления. Эта расширенная функция популярного инструмента бизнес-аналитики Microsoft экономит ресурсы и время, обновляя только новые или измененные данные в ваших наборах данных.

Так что давай, попробуй его и узнай, как он повышает эффективность обновлений данных. Помните, что в мире данных оставаться в курсе — значит оставаться впереди!

Если вы хотите узнать больше о LuckyTemplates, вы можете посмотреть видео ниже: