Рекомендации по загрузке и преобразованию данных

Я хотел бы представить лучшие практики, которые я использовал при подготовке отчетов LuckyTemplates. За последние несколько лет я израсходовал множество онлайн-ресурсов по загрузке и преобразованию данных, которые сыграли важную роль в моем путешествии, но я быстро был перегружен содержанием, поэтому в итоге я начал делать свои собственные заметки. Вы можете посмотреть полное видео этого урока в нижней части этого блога.

Это ни в коем случае не исчерпывающий список и не лучшие практики — это лишь некоторые из тех, которые я включил в свою собственную разработку. Кроме того, передовые методы всегда развиваются с течением времени, поскольку в приложение LuckyTemplates вводятся новые и улучшенные возможности, которые представляются сообществом LuckyTemplates.

Я хотел бы представить первый из четырех столпов разработки LuckyTemplates. Четыре столпа — это загрузка и преобразование данных , моделирование данных , вычисления DAX , а также отчеты и визуализации . В этом посте мы рассмотрим предварительную настройку и первый столп.

Оглавление

• Отключение автоматической даты/времени
• Отключение автоматического определения отношений
• Взаимодействие с визуальными элементами в отчетах LuckyTemplates
• Отделение набора данных от отчета
• Создание специальной таблицы дат
• Другие напоминания для таблицы дат
• Задавать вопросы об отчете
• Постановка и ссылки на данные
• Уменьшение нагрузки данных
• Свертывание запросов
• Использование источников данных для свертывания запросов
• Выбор правильного режима подключения
• Расположение преобразований
• Лучшие практики по именованию и типам данных
• Источники данных с постоянной степенью детализации
• Заключение

Отключение автоматической даты/времени

Настоятельно рекомендуется отключить функцию автоматической настройки даты и времени в . Вы можете сделать это двумя способами.

Вы можете сделать это глобально для всех файлов, выполнив следующие действия:

Вы также можете отключить его для текущего файла, изменив его настройку.

Отключение автоматического определения отношений

Также настоятельно рекомендуется отключить автоматическое определение отношений. Вы можете перейти в «Файл» и просмотреть «Параметры и настройки», чтобы отключить автоматическое определение новых отношений после загрузки данных.

Взаимодействие с визуальными элементами в отчетах LuckyTemplates

Следующее, о чем я хочу поговорить, — это два способа взаимодействия с визуальными элементами в отчетах LuckyTemplates. Эти взаимодействия могут быть либо перекрестно отфильтрованы , либо перекрестно выделены .

Перекрестное выделение включено по умолчанию в LuckyTemplates. Вы можете изменить это, перейдя в «Файл», затем «Параметры и настройки». Для текущего файла в разделе настроек отчета можно изменить визуальное взаимодействие с перекрестной подсветки на перекрестную фильтрацию.

Давайте посмотрим на наш отчет. Вы можете видеть, что по умолчанию LuckyTemplates использует перекрестное выделение связанных визуальных элементов. Если я нажму на один канал на левой гистограмме, вы увидите, что выбранная часть выделена темным цветом, а невыбранная часть остается светлой на второй гистограмме.

Вы можете видеть, что полная форма не меняется на графике, и вы видите только выделенные части. Вы можете изменить это в настройках отчета и изменить визуальное взаимодействие по умолчанию с перекрестного выделения на перекрестную фильтрацию.

Сделав это, вы увидите, что форма связанной гистограммы будет меняться каждый раз, когда вы делаете выборку или группу выборок. Это хорошая практика.

Отделение набора данных от отчета

Следующее, о чем я хочу поговорить, — это отделение разработки набора данных от разработки отчета. Здесь вы можете опубликовать толстый файл набора данных как автономный набор данных, не содержащий визуальных элементов, и разработать тонкий файл отчета, который будет использовать эти опубликованные наборы данных.

Одним из преимуществ отдельной публикации наборов данных является то, что вы можете использовать процесс утверждения в службе LuckyTemplates для продвижения и сертификации наборов данных. Идеальной практикой является выбор утвержденного набора данных, предпочтительно сертифицированного, при разработке нового отчета.

Создание специальной таблицы дат

Убедитесь, что в вашем отчете есть специальная таблица дат. Вы можете использовать , которая доступна на форуме LuckyTemplates. Вы можете скопировать и вставить M-код в пустой запрос.

Второе, что нужно сделать, если у вас есть выделенная таблица Dates, — это пометить ее как таковую. Это позволит LuckyTemplates использовать его для расчетов логики операций со временем.

Другие напоминания для таблицы дат

Всегда следите за тем, чтобы ваша таблица данных была непрерывной и чтобы в день отображалась одна строка. Кроме того, убедитесь, что он полностью закрывает края таблицы фактов.

Кроме того, добавьте полные годы в таблицу «Даты». Также рекомендуется добавить дополнительный будущий год в таблицу «Даты», чтобы включить любые будущие или прогнозные расчеты времени.

Если в вашей таблице дат больше дней, чем вы хотите показать в своем отчете, вы можете управлять тем, что отображается в срезах, используя столбец IsAfterToday или столбцы смещения, доступные на панели фильтров.

Задавать вопросы об отчете

Следующее, о чем я хочу поговорить, это о том, стоит ли вам вообще делать отчет. При этом проверьте, существует ли существующий отчет, который вы можете использовать для удовлетворения ваших потребностей. Если отчета нет, существует ли существующая модель данных, которую вы можете использовать для удовлетворения потребности? Есть ли существующий набор данных, который вы можете использовать, или вам действительно нужно начинать с нуля?

Постановка и ссылки на данные

Следующее, о чем стоит поговорить при загрузке данных, — это промежуточные данные и ссылки на них. Когда вы загружаете плоскую таблицу данных, у вас могут быть факты и измерения в той же таблице, что и в файле Excel. Когда вы выполняете загрузку и перемещаете ее в промежуточный раздел запроса и переименовываете, вы можете снять флажок Enable load .

Следующим шагом является создание ссылки на эту таблицу для каждого измерения фактов и поиска и соответствующее переименование таблиц. Отредактируйте каждую ссылку, оставьте только необходимые столбцы и удалите дубликаты.

Организуйте свою модель данных и поместите ее в отдельную группу. У меня всегда есть группа в моих моделях данных под названием «Модель данных», в которой есть все таблицы, которые я собираюсь использовать в своих визуальных элементах.

Уменьшение нагрузки данных

Следующее, о чем стоит поговорить, это производительность инструмента при загрузке данных. Одной из самых больших вещей, влияющих на производительность, является объем данных, поэтому постарайтесь максимально уменьшить объем загружаемых данных .

Следуйте этой аксиоме:

Если он вам не нужен, не извлекайте его.

Гораздо проще добавлять новые элементы в отчет, чем удалять их из нашего отчета. Кроме того, когда вы включаете в отчет слишком много вещей, вы будете платить штраф за производительность, которую вам не нужно испытывать.

Желательно делать фильтрацию в источнике. Если вы не можете сделать это в исходном коде, используйте стрелку раскрывающегося списка автоматического фильтра в расширенном запросе, чтобы отфильтровать интересующие вас поля.

Кроме того, в источнике вы также можете уменьшить количество отображаемых столбцов, используя раскрывающийся список «Выбрать столбцы» и выбирая только интересующие вас столбцы.

Вы можете использовать либо Выбрать столбцы , либо Удалить столбцы . Я рекомендую использовать Выбрать столбцы в качестве лучшей практики, потому что к ней легко вернуться.

Если вы передумаете позже, это позволит вам быстро сделать это через пользовательский интерфейс вместо того, чтобы заходить в расширенный редактор и редактировать M-код напрямую.

Свертывание запросов

Свертывание запроса — это еще одна попытка загрузки данных LuckyTemplates для объединения нескольких шагов выбора и преобразования данных в один запрос к источнику данных.

Чтобы определить, складывается ли запрос, щелкните правой кнопкой мыши примененные шаги запроса. Вы можете увидеть, если собственный запрос выделен серым цветом.

Если он неактивен, запрос не сворачивается. Если он не выделен серым цветом, запрос можно свернуть.

Давайте перейдем к преобразованию данных , затем к силовому запросу . В этой таблице, если я щелкну правой кнопкой мыши шаг навигации, я увижу, что View Native Query не выделен серым цветом, поэтому я могу его выбрать.

Здесь мы увидим простой оператор выбора SQL.

Если мы перейдем к следующему шагу после того, как фильтрация была выполнена, и просмотрим собственный запрос, мы увидим, что запрос был немного изменен, и в нижней части этого запроса есть предложение «где».

Если мы перейдем к третьему шагу и щелкнем по нему правой кнопкой мыши, мы увидим, что собственный запрос не выделен серым цветом, поэтому мы можем выбрать его еще раз.

Как только мы выберем, мы увидим, что три запроса слились в один. Это LuckyTemplates говорит, что лучший способ передать данные в модель — это чтобы источник выполнял работу, а не я.

Использование источников данных для свертывания запросов

Источники данных, которые обычно можно использовать со свертыванием запросов, — это стандартные объекты в реляционных базах данных, такие как таблицы и представления.

Пользовательские запросы SQL к реляционным базам данных не могут использовать свертывание запросов. Плоские файлы и веб-данные также не могут быть свернуты.

Некоторые из преобразований, которые можно использовать со свертыванием запроса, — это фильтрация строк , удаление столбцов , переименование столбцов и объединение с другими запросами из того же источника данных.

Некоторые из преобразований, которые нельзя использовать при свертывании запросов, включают добавление столбцов индекса , изменение типов данных столбцов и слияние или добавление запросов из разных источников данных .

Выбор правильного режима подключения

Следующее, что нужно сделать для повышения производительности, — это выбрать правильный режим подключения. Режим импорта используется по умолчанию, и его следует использовать по возможности, поскольку он обеспечивает наилучшую производительность отчета.

Режим прямого запроса можно использовать, если нужны самые свежие данные, но имейте в виду, что это может и, скорее всего, будет иметь негативное влияние на производительность.

Наконец, при доступе к хранилищам данных, таким как многомерные кубы SSAS, доступен режим живого подключения .

Расположение преобразований

Следующее, о чем я хочу поговорить, это место, где должны быть выполнены эти преобразования. Лучшее место, чтобы сделать их в источнике . Если вы не можете сделать это в исходниках, сделайте это в power query . Если вы не можете сделать это в power query, сделайте это в DAX .

Выполняйте преобразования данных как можно дальше вверх по течению и как можно дальше вниз по течению.

Если вы можете что-то сделать в power query, то вам, вероятно, следует.

Опять же, если это не является чем-то динамическим в контексте сеанса отчета, рассмотрите возможность выполнения этого в мощном запросе, чтобы упростить DAX и повысить производительность отчета.

Что касается формы ваших таблиц, старайтесь делать таблицы фактов длинными и тонкими , а таблицы измерений — короткими и широкими .

Лучшие практики по именованию и типам данных

Используйте согласованную схему именования и оформления регистров, которая будет проста для понимания пользователями отчетов. При необходимости переименуйте таблицы и запросы , чтобы они соответствовали стандартам именования и регистра для вашего отчета.

При необходимости переименуйте свои столбцы , чтобы они соответствовали этим стандартам именования и регистра, а также переименуйте шаги мощного запроса , чтобы сделать шаги самоописываемыми, поскольку вы, возможно, не являетесь лицом, которое ведет отчет.

LuckyTemplates отлично справляется с назначением правильных типов данных при импорте данных, но иногда также необходимы некоторые корректировки. Вы должны убедиться, что столбцы в разных таблицах будут использоваться в качестве связывающих столбцов между двумя таблицами, имеющими один и тот же тип данных.

Убедитесь, что все ваши столбцы даты являются датой, а не текстом. Разделите столбцы даты/времени на отдельные столбцы «Даты» и «Время».

В качестве последнего шага перепроверьте типы данных . Возьмите за правило, прежде чем нажимать «Закрыть» и «Применить» в мощном запросе, всегда перепроверять типы данных, поскольку определенные преобразования могут автоматически переключать типы данных на текст.

Источники данных с постоянной степенью детализации

Последнее, что нужно обсудить, — это гранулярность. В процессе загрузки и преобразования данных вы должны стремиться получать данные с постоянной степенью детализации. Когда вы комбинируете различные степени детализации в своем решении, используйте power query (предпочтительно) или DAX для надлежащего распределения эталонных данных.

Например, если ваши основные данные о продажах находятся на ежедневном уровне, они будут детализированы по дням. Если ваши справочные данные по бюджету представлены на уровне месяца, то детализация будет помесячной. Вот пример формулы DAX распределения бюджета, которую вы можете просмотреть при корректировке детализации.

Заключение

Я надеюсь, что вы нашли это руководство по загрузке и преобразованию данных полезным. Если да, не забудьте подписаться на канал LuckyTemplates на YouTube, чтобы получать уведомления о любом новом контенте.

Грег