Что такое LuckyTemplates DirectQuery? Полное руководство

Если вы энтузиаст данных или кто-то, кто работает с большими наборами данных, вы, вероятно, знаете, насколько важно иметь доступ к отчетам в реальном времени, и именно здесь на сцену выходит LuckyTemplates DirectQuery! 

LuckyTemplates DirectQuery — это функция, которая позволяет обрабатывать большие наборы данных без предварительной агрегации, предоставляя вам доступ к активному базовому источнику данных, обеспечивая при этом актуальные результаты и избегая необходимости предварительной загрузки модели данных Power BI  .

Это руководство поможет вам глубоко погрузиться в мир LuckyTemplates DirectQuery, объясняя все, что вам нужно знать об этой революционной функции, включая ее преимущества и способы ее использования. 

Независимо от того, являетесь ли вы энтузиастом данных, бизнес-аналитиком или лицом, принимающим решения, это руководство даст вам всестороннее представление о LuckyTemplates DirectQuery и о том, как использовать его возможности для обработки больших наборов данных и предоставления отчетов в режиме реального времени. 

Итак, если вы хотите раскрыть весь потенциал LuckyTemplates DirectQuery, продолжайте читать!

Оглавление

• Основы DirectQuery в LuckyTemplates
  • Режимы подключения DirectQuery
• Поддерживаемые источники данных в LuckyTemplates DirectQuery
  • Совместимость с источниками данных
• 7 преимуществ LuckyTemplates DirectQuery
• Пять главных ограничений LuckyTemplates DirectQuery
• Установка и настройка DirectQuery
  • 3 шага для подключения к источникам данных в DirectQuery
  • Как обрабатывать учетные данные и аутентификацию в DirectQuery
  • Как использовать шлюз данных в DirectQuery
• Моделирование и анализ данных с помощью LuckyTemplates DirectQuery
  • 1. Установление отношений с DirectQuery
  • 2. Преобразование данных с помощью DirectQuery
  • 3. Использование DirectQuery для расчетов
• Рекомендации по производительности и рекомендации для DirectQuery
  • 1. Обновление данных и расписание
  • 2. Предварительная агрегация и оптимизация
  • 3. Рекомендации по лучшей производительности
• Расширенные функциональные возможности и варианты использования DirectQuery
  • 1. Облачные и локальные источники
  • 2. Многомерные источники
  • 3. Корпоративные функции
• Последние мысли

Основы DirectQuery в LuckyTemplates

В этом разделе мы рассмотрим основы LuckyTemplates DirectQuery, включая различные типы режимов DirectQuery и поддерживаемые источники данных. 

В LuckyTemplates вы можете выбрать один из двух основных режимов подключения к данным: режим DirectQuery и режим импорта .

Вот краткое сравнение, которое поможет вам понять их различия:

• DirectQuery : этот режим позволяет извлекать данные из источника данных в режиме реального времени, при этом данные никогда не сохраняются и не кэшируются в LuckyTemplates. Вместо этого LuckyTemplates отправляет запросы к источнику и напрямую отображает результаты.

• Режим импорта . В этом режиме LuckyTemplates импортирует данные из источника и создает моментальный снимок данных в памяти. Этот моментальный снимок используется для создания отчетов, и все запросы выполняются с этими данными в памяти. Это может повысить производительность отчетов, но может быть не идеальным для обработки больших наборов данных или требующих данных в реальном времени.

  

Режимы подключения DirectQuery

Чтобы правильно использовать DirectQuery в LuckyTemplates, необходимо понимать его режимы подключения. Существует два основных режима подключения для DirectQuery:

1. DirectQuery из одного источника . В этом режиме LuckyTemplates подключается к одному источнику данных с помощью механизма DirectQuery. Вы можете работать с данными в режиме реального времени без необходимости их импорта в LuckyTemplates. Он поддерживает ряд источников данных, включая реляционные базы данных и облачные службы данных.

   Некоторые из поддерживаемых источников данных для единого источника DirectQuery включают SQL Server, базу данных SQL Azure, базу данных Oracle и SAP HANA.

2. Составной режим . Этот режим позволяет использовать в одном отчете LuckyTemplates как режим DirectQuery, так и режим импорта . Вы можете подключаться к нескольким источникам данных и импортировать данные, одновременно подключаясь к другим источникам данных напрямую с помощью DirectQuery. В этом режиме пользователи также могут использовать Power Query для формирования и преобразования данных перед их загрузкой в ​​LuckyTemplates.

Для создания отчета DirectQuery требуется знание DAX — языка формул, используемого в LuckyTemplates для создания пользовательских вычислений и показателей. При использовании DirectQuery запросы DAX отправляются в источник данных, а результаты отображаются в отчете.

Обратите внимание, что не все функции DAX совместимы с DirectQuery, а некоторые функции могут быть недоступны в режиме DirectQuery.

Каждый режим подключения к данным также имеет свои преимущества и недостатки, поэтому оцените свой конкретный вариант использования, требования к данным и ожидаемую производительность при выборе между режимами DirectQuery и Import в LuckyTemplates.

Если вы хотите узнать больше о DirectQuery, вы можете прочитать нашу статью о функциях Power Query .

Теперь, когда мы рассмотрели основы DirectQuery, давайте рассмотрим некоторые поддерживаемые источники данных.

Поддерживаемые источники данных в LuckyTemplates DirectQuery

Этот раздел даст вам четкое представление о различных источниках данных, которые вы можете использовать с LuckyTemplates DirectQuery, чтобы вы могли принимать обоснованные решения и оптимизировать свои возможности отчетности.

Совместимость с источниками данных

LuckyTemplates DirectQuery предназначен для бесперебойной работы с различными источниками данных. Вот список некоторых примеров источников данных, совместимых с DirectQuery:

• База данных SQL-сервера

• Склад SAP для бизнеса

• База данных SQL Azure

• САП ХАНА

• Снежинка

• Аналитика синапсов Azure

• Амазонка Красное смещение

• Azure HDInsight Spark

• Google BigQuery

• IBM Netezza

• Импала

• База данных Терадата

• Вертика

DirectQuery может не подходить для всех источников данных наилучшим образом, поэтому при использовании DirectQuery учитывайте последствия для производительности и возможности соответствующего источника данных.

Теперь мы приступим к изучению преимуществ и ограничений LuckyTemplates DirectQuery.

7 преимуществ LuckyTemplates DirectQuery

В этом разделе мы рассмотрим преимущества использования DirectQuery в отчетах LuckyTemplates, включая повышение производительности, масштабируемости и безопасности.

1. Отчеты в режиме реального времени. С помощью DirectQuery вы можете получить доступ к базовому источнику данных в реальном времени, обеспечивая актуальные результаты без необходимости предварительной загрузки данных в модель LuckyTemplates. Это идеально подходит для сценариев, когда ваши данные постоянно меняются и вам нужны отчеты в режиме реального времени.

2. Обработка больших наборов данных . DirectQuery позволяет работать с большими наборами данных без предварительной агрегации, что позволяет обрабатывать огромные объемы данных и при этом получать точные результаты, не влияя на производительность отчетов.

3. Соблюдение суверенитета данных . В ситуациях, когда вступают в действие правила суверенитета данных, DirectQuery может быть очень полезным. Поскольку данные никогда не кэшируются в LuckyTemplates, вы можете быть уверены, что всегда используете самые актуальные данные, не нарушая законы о суверенитете данных.

4. Дополнительная безопасность : DirectQuery предлагает дополнительный уровень безопасности, поскольку все правила безопасности, определенные источником, применяются напрямую. Это гарантирует, что только авторизованные пользователи могут получить доступ к данным, сводя к минимуму риск несанкционированного доступа к данным.

5. Обновления практически в реальном времени : DirectQuery позволяет получать обновления из источника данных практически в реальном времени, избавляя от необходимости ждать запланированных обновлений или обновлений вручную.

6. Уменьшение использования памяти: поскольку данные не импортируются в LuckyTemplates, DirectQuery сокращает использование памяти, позволяя работать с большими наборами данных, не сталкиваясь с проблемами, связанными с памятью.

7. Гибридный подход . В сценариях, где гибридный подход, сочетающий In-Memory и DirectQuery, является оптимальным, DirectQuery обеспечивает гибкость интеграции обоих режимов в один и тот же отчет, оптимизируя производительность и возможности обработки данных.

Хотя DirectQuery предоставляет отчеты практически в реальном времени и позволяет обрабатывать большие наборы данных без предварительной агрегации, важно понимать его ограничения и недостатки, которые мы рассмотрим в следующем разделе.

Пять главных ограничений LuckyTemplates DirectQuery

Несмотря на свою универсальность, DirectQuery имеет определенные ограничения , о которых вам следует знать.

1. Производительность . DirectQuery опирается на базовый источник данных для предоставления интерактивных результатов запроса менее чем за 5 секунд для типичного агрегированного запроса. Прежде чем выбрать DirectQuery, убедитесь, что ваш источник данных может справиться с созданной нагрузкой запроса, особенно для больших объемов данных.

2. Ограничения на количество строк . Для облачных источников данных DirectQuery ограничивает возвращаемые данные максимальным количеством строк в 1 миллион. Для локальных источников существует ограничение полезной нагрузки 4 МБ на строку или 16 МБ для всего визуального элемента. Если вы работаете с большими наборами данных и вам нужна помощь в оптимизации ваших запросов, в редакторе Power Query есть множество встроенных функций, которые помогут вам.

3. Преобразования . Некоторые преобразования могут препятствовать свертыванию запроса в DirectQuery. В результате некоторые функции могут быть недоступны.

4. Ограничения DAX : функции аналитики времени DAX, такие как "каждый год", "месяц за месяцем" и "один и тот же период", не поддерживаются при работе с DirectQuery.

5. Планирование данных : при использовании DirectQuery отчет обновляется каждые 15 минут, чтобы вы получали самую актуальную информацию.

Таким образом, всегда уделяйте время рассмотрению совместимости, ограничений и того, как эти факторы повлияют на производительность выбранного вами источника данных при работе с LuckyTemplates DirectQuery.

Установка и настройка DirectQuery

В этом разделе мы рассмотрим процесс установки и настройки LuckyTemplates DirectQuery. 

Мы обсудим шаги, которые необходимо выполнить для начала работы, в том числе выбор поддерживаемого источника данных и выбор режима подключения DirectQuery при подключении к источнику данных.

К концу этого раздела вы будете хорошо понимать, как устанавливать и настраивать LuckyTemplates DirectQuery, что позволит вам использовать весь его потенциал и с легкостью обрабатывать большие наборы данных. 

Итак, давайте погрузимся и начнем!

3 шага для подключения к источникам данных в DirectQuery

Чтобы настроить LuckyTemplates DirectQuery, сначала необходимо подключить источник данных. Чтобы сделать это в LuckyTemplates Desktop, выполните следующие действия.

1. Запустите Microsoft LuckyTemplates Desktop.

2. Перейдите на ленту «Главная» и выберите «Получить данные».

3. Выберите нужный источник данных, например SQL Server или любой другой доступный вариант.

После выбора источника данных LuckyTemplates Desktop запросит у вас информацию о подключении, например строку подключения или адрес сервера, в зависимости от типа источника данных. 

После подключения к источнику данных вы можете выбрать режим подключения DirectQuery при подключении к своим данным.

Ваш отчет LuckyTemplates в LuckyTemplates Desktop будет импортировать данные, а затем использовать запросы Data Analysis Expression (DAX) для получения данных из источника.

Как обрабатывать учетные данные и аутентификацию в DirectQuery

Чтобы DirectQuery мог безопасно получить доступ к вашему источнику данных, вам необходимо предоставить необходимые учетные данные и включить надлежащую проверку подлинности. 

В зависимости от типа источника данных и среды вам может потребоваться настроить различные параметры безопасности, например:

• Стандартная аутентификация : требуется указать имя пользователя и пароль для подключения к вашему источнику данных.

• Аутентификация с единым входом (SSO) : позволяет использовать существующую систему управления идентификацией вашей организации для бесперебойной и безопасной работы.

Чтобы предоставить необходимые учетные данные:

1. В LuckyTemplates Desktop перейдите на вкладку «Главная», в разделе «Запросы» и выберите «Преобразовать запросы».

2. В окне редактора запросов щелкните Настройки источника данных.

3. Выберите источник данных, который вы хотите настроить, и нажмите «Изменить разрешения».

Здесь вы можете указать необходимые учетные данные и выбрать нужный метод аутентификации. Прежде чем продолжить, не забудьте проверить, поддерживает ли ваш источник данных аутентификацию SSO!

Как использовать шлюз данных в DirectQuery

Для локальных источников данных необходимо установить и настроить локальный шлюз данных , чтобы включить подключение DirectQuery. Шлюз служит мостом между LuckyTemplates и вашим источником данных, обеспечивая безопасную передачу данных.

Выполните следующие действия, чтобы настроить локальный шлюз данных.

1. Загрузите установщик шлюза с веб-сайта LuckyTemplates.

2. Запустите программу установки и следуйте инструкциям для завершения установки.

3. Войдите в службу LuckyTemplates и перейдите в меню «Настройки».

4. На вкладке «Шлюзы» нажмите «Добавить шлюз».

5. Укажите необходимую информацию и нажмите «Добавить».

После установки и настройки шлюза его можно использовать для включения DirectQuery для локальных источников данных.

Шлюз данных является важным компонентом при работе с LuckyTemplates DirectQuery. Выполнив шаги, описанные в этом разделе, вы сможете установить и настроить его, что позволит вам безопасно подключаться к локальным источникам данных и использовать преимущества DirectQuery. 

В следующем разделе мы рассмотрим процесс моделирования и анализа данных с помощью LuckyTemplates DirectQuery. Мы обсудим передовые методы моделирования данных в режиме DirectQuery, в том числе способы оптимизации моделей данных для повышения производительности и способы создания эффективных запросов. 

Моделирование и анализ данных с помощью LuckyTemplates DirectQuery

DirectQuery выводит моделирование и анализ данных на новый уровень. С DirectQuery мы выходим за рамки традиционных процессов импорта данных, открывая совершенно новый мир крупномасштабного анализа данных в реальном времени.

В этом разделе мы рассмотрим, как DirectQuery позволяет устанавливать отношения между наборами данных, обеспечивает преобразование данных и выполняет вычисления.

1. Установление отношений с DirectQuery

При работе с LuckyTemplates DirectQuery необходимо установить связи между наборами данных, чтобы обеспечить эффективный анализ данных. 

Установление связей между таблицами позволяет создавать визуализации, основанные на данных из нескольких источников.

Вы можете управлять этими взаимосвязями в представлении моделирования в LuckyTemplates Desktop, и они имеют решающее значение для точных и эффективных вычислений.

2. Преобразование данных с помощью DirectQuery

В режиме DirectQuery у вас по-прежнему есть доступ к ряду преобразований данных. Вы можете выполнять преобразования данных с помощью редактора запросов, чтобы очищать и формировать данные перед их использованием в вашей модели LuckyTemplates. 

Общие преобразования данных включают в себя:

• Фильтрация и сортировка данных

• Разделение или объединение столбцов

• Изменение типов данных

При использовании DirectQuery данные остаются в исходном источнике, и любые применяемые вами преобразования будут влиять на производительность вашего отчета. Поэтому важно сбалансировать потребности в преобразовании данных с быстротой реагирования отчетов.

3. Использование DirectQuery для расчетов

Вычисления помогают извлекать ценные сведения из ваших данных, и вы можете создавать их с помощью показателей и других вычисляемых таблиц и столбцов в режиме DirectQuery. 

Показатели — это динамические вычисления, основанные на контексте вашего запроса или визуализации, а вычисляемые столбцы — это вычисления, которые добавляются в вашу таблицу как новые столбцы. 

Имейте в виду следующие ключевые моменты:

• Используйте DAX (выражения анализа данных) для создания расчетов.

• Безопасность на уровне строк (RLS) может применяться для защиты конфиденциальных данных в вашей модели.

• Агрегации могут помочь повысить производительность при работе с большими наборами данных.

Уделяя пристальное внимание взаимосвязям, преобразованиям данных и вычислениям, вы можете построить эффективную модель данных и выполнить углубленный анализ данных с помощью LuckyTemplates DirectQuery. 

В следующем разделе мы углубимся в тему соображений производительности и рекомендаций для DirectQuery.

Рекомендации по производительности и рекомендации для DirectQuery

DirectQuery может быть мощным инструментом, но для обеспечения оптимальной производительности он требует вдумчивого обращения. 

В этом разделе рассматриваются ключевые моменты, которые следует учитывать при использовании DirectQuery, а также рекомендации по обеспечению бесперебойной и эффективной работы ваших отчетов. 

Некоторые соображения включают: 

1. Обновление данных и расписание

При работе с LuckyTemplates DirectQuery важно учитывать стратегию обновления данных.

В отличие от запланированного обновления, DirectQuery поддерживает постоянное подключение к базовому источнику данных, а это означает, что у вас всегда будет доступ к самым последним данным. Однако эта возможность создания отчетов в режиме реального времени может повлиять на производительность, особенно при выполнении запросов к большим наборам данных.

Чтобы избежать проблем с производительностью, важно соблюдать баланс между актуальностью данных и скоростью отклика отчетов.

2. Предварительная агрегация и оптимизация

Чтобы повысить производительность запросов, рассмотрите возможность реализации методов предварительной агрегации в базовом источнике данных. 

Например:

• Материализуйте результаты преобразования в источнике реляционной базы данных, если это возможно, так как это может значительно повысить производительность.

• Например, если вы работаете с хранилищем данных Snowflake, попробуйте использовать оптимизированные методы запросов для агрегирования данных до того, как они будут переданы в механизм запросов.

• Чтобы оптимизировать запросы для повышения производительности, используйте такие инструменты, как SQL Server Management Studio, для выявления и оптимизации медленных запросов. 

• Используйте фильтры запросов и другие методы, чтобы свести к минимуму количество возвращаемых строк и столбцов, что также может повысить производительность запросов.

• Используйте механизмы кэширования с эффективным использованием памяти, чтобы справиться с естественным противоречием между интерактивной скоростью и свежестью данных.

• Использование кэша запросов может значительно повысить производительность, особенно при работе с плитками оперативного отчета.

3. Рекомендации по лучшей производительности

Вот несколько рекомендаций, которые помогут вам добиться максимальной производительности от LuckyTemplates DirectQuery.

• Ограничьте количество таблиц и связей в вашей модели DirectQuery и убедитесь, что они правильно проиндексированы.

• Используйте фильтры и срезы, чтобы ограничить запрашиваемые данные только тем, что необходимо, уменьшив размер набора данных.

• Разбейте сложные вычисления на более мелкие шаги, используя вычисляемые столбцы, где это уместно.

• Помните об ограничении в 1 миллион строк, так как производительность DirectQuery может снизиться при превышении этого ограничения.

• Если возможно, используйте емкость LuckyTemplates Premium , которая предлагает выделенные ресурсы для повышения производительности.

• Непрерывно отслеживайте и оптимизируйте свой отчет и базовый источник данных, чтобы оставаться в допустимых пределах производительности.

• Убедитесь, что вы защищаете свои источники данных с помощью соответствующих мер безопасности, таких как брандмауэры, шифрование и другие методы безопасности.

• При разработке модели данных используйте соответствующие типы данных и структуры данных, соответствующие вашим бизнес-требованиям. Избегайте использования ненужных структур данных и таблиц.

• Чтобы повысить производительность, используйте свертывание запросов везде, где это возможно. Сворачивание запросов позволяет LuckyTemplates передавать фильтры и другие преобразования в источник данных, уменьшая объем передаваемых данных.

Следуя этим передовым методам и принимая во внимание последствия настройки LuckyTemplates DirectQuery для производительности, вы можете гарантировать, что ваши отчеты будут актуальными и эффективными. 

Чтобы узнать больше о передовых методах работы с LuckyTemplates DirectQuery, посмотрите это видео с канала LuckyTemplates на YouTube:

Расширенные функциональные возможности и варианты использования DirectQuery

DirectQuery — это не просто инструмент для доступа к данным в реальном времени; он предлагает ряд расширенных функций, которые могут значительно улучшить ваши процессы анализа данных. 

В этом разделе мы углубимся в эти расширенные функции и изучим, как их можно использовать для решения сложных задач с данными.

1. Облачные и локальные источники

LuckyTemplates DirectQuery позволяет получать доступ и анализировать данные из различных источников данных, включая облачные и локальные источники.

Некоторые популярные источники данных, поддерживаемые DirectQuery:

• Хранилище данных SQL Azure

• База данных SQL

• Служба PowerBI

При работе с облачными источниками, такими как хранилище данных SQL Azure или база данных SQL, файл PBIX остается легким, поскольку в нем хранятся только метаданные и определения запросов. 

С другой стороны, при подключении к локальным источникам вы должны обеспечить производительность и безопасность за счет правильной настройки.

2. Многомерные источники

DirectQuery поддерживает подключение к многомерным источникам, таким как модели реляционных баз данных.

В режиме DirectQuery вы можете использовать функции DAX, которые работают с многомерными источниками. Однако некоторые функции могут быть ограничены по умолчанию, чтобы избежать проблем с производительностью. Вы можете включить эти функции, выбрав опцию «разрешить неограниченные измерения через DirectQuery».

При подключении к базам данных со сложными многомерными отношениями DirectQuery обеспечивает согласованность отчетов LuckyTemplates, отражая отношения и иерархии, определенные в исходной модели.

3. Корпоративные функции

Для корпоративных сценариев DirectQuery предлагает несколько функций, отвечающих потребностям организаций. Некоторые ключевые функции предприятия включают в себя:

• Суверенитет данных: он обеспечивает соблюдение ограничений суверенитета данных, сохраняя данные в исходном источнике и не импортируя их в LuckyTemplates.

• Правила безопасности. Использование DirectQuery позволяет последовательно применять правила безопасности из базового источника данных, обеспечивая надлежащий контроль доступа к данным.

• Отчетность в режиме реального времени: запрашивает данные непосредственно из источника, вы можете получать отчеты практически в реальном времени без необходимости планировать обновление данных.

Последние мысли

Мы надеемся, что это исчерпывающее руководство по LuckyTemplates DirectQuery дало вам полное представление о том, как работает эта функция, ее преимуществах и способах ее использования в ваших интересах. 

Используя LuckyTemplates DirectQuery, вы можете легко обрабатывать большие наборы данных, предоставляя отчеты в режиме реального времени, которые всегда актуальны с учетом последних данных. 

Помните о рекомендациях, которые мы рассмотрели в этом руководстве, включая моделирование данных, соображения производительности и соображения безопасности.

С помощью этих советов вы сможете раскрыть весь потенциал LuckyTemplates DirectQuery и создавать эффективные и действенные отчеты. 

Итак, смело отправляйтесь в мир LuckyTemplates DirectQuery и получайте удовольствие от отчетов!