Power Query: объединение файлов из нескольких папок

В этом посте мы будем работать в режиме power query, объединяя файлы из нескольких папок в нашей сети, на рабочем столе, в OneDrive или SharePoint.

В этом примере у нас есть три файла CSV в папке, и данные выглядят так:

Мы будем использовать запрос мощности в Excel, который работает точно так же, как запрос мощности в LuckyTemplates.

Оглавление

• Подключение к папке в сети
• Очистка данных
• Подключение к папке в SharePoint или OneDrive
• Заключение

Подключение к папке в сети

Мы начнем с нашего руководства по power query, объединим файлы из нескольких папок с пустым файлом Excel и перейдем на вкладку данных, нажмите « Получить данные» , «Из файла» , а затем «Из папки» .

Вот как вы подключаетесь к папке на диске C или в вашей сети. Если вы хотите подключиться к файлу в SharePoint, используйте этот соединитель.

Используйте поле обзора для поиска папки. Затем нажмите кнопку «Объединить и преобразовать данные» .

Затем нас спросят, какой это тип CSV-файла. Нажмите «ОК» , и если это не сработает, вернитесь и измените тип файла CSV на правильный.

Мы получаем этот большой блок шагов в power query. Это может быть немного пугающим и запутанным. Эти три файла расположены друг над другом, а это не то, чего мы хотим добиться.

Мы нажмем на первый файл, а затем на Transform Sample File . Какие бы изменения мы ни внесли в этот файл, они также будут применены к другим файлам.

Очистка данных

Давайте сначала уберем это. Мы хотим, чтобы эта дата заполнялась напротив каждой записи. Если столбец 1 содержит дату слова, мы хотим поместить дату в другие столбцы и заполнить эту дату.

Мы добавим условный столбец , который говорит, что если столбец 1 равен дате слова, то нам нужно значение из столбца 2. В противном случае оставьте поле пустым.

Выберите столбец даты и нулей, затем щелкните правой кнопкой мыши и заполните.

Результатом будет столбец со всеми датами.

Чтобы избавиться от пробелов и нулей здесь, нажмите «Удалить пустые» .

Мы не хотим использовать первую строку в качестве заголовков, но мы также не можем использовать кнопку «Использовать первую строку в качестве заголовков» , потому что она переместит даты в строку заголовка.

Это изменит дату для каждого файла. Самое простое решение — переименовать эти столбцы вручную.

Выберите все столбцы, нажмите правую кнопку мыши, затем нажмите «Удалить другие столбцы» .

После того, как мы отредактировали подзаголовки, мы в значительной степени настроены.

Когда мы нажимаем на DemoFolder , мы получаем сообщение об ошибке. Мы получаем это в большинстве случаев, когда вносим небольшие изменения в файл примера преобразования.

В большинстве случаев ошибка вызвана этим шагом «Измененный тип» , потому что он пытается изменить исходный столбец 1, которого больше не существует.

Простое удаление этого шага устраняет ошибку.

Все, что мы сделали с первым файлом, теперь будет применено ко всем файлам. Это действительно полагается на то, что наши исходные файлы структурированы одинаково. Это не невозможно, если они разные, но это будет намного сложнее.

Итак, давайте вернемся к этим запросам и разберемся, что происходит. Если мы перейдем к исходному шагу файла примера, он ссылается на эту вещь, называемую Parameter1 .

И если мы посмотрим налево, Parameter1 называется файлом сэмпла.

И если мы перейдем к источнику файла сэмпла, мы перейдем к записи 0.

Power query — это язык с отсчетом от нуля, что означает, что Record1 на самом деле является элементом 0. Он просто захватывает первый файл, а затем автоматически преобразуются другие шаги, что просто блестяще. Раньше вам приходилось делать это вручную на вкладке «Преобразовать файл».

Если мы расширим это, это даст имя файла, а затем прогон всех шагов.

Если вы собираетесь использовать расширенный редактор, вы получите это предупреждение. Мы рекомендуем вам не делать этого, потому что вы не сможете восстановить их впоследствии. Как правило, просто внесите все свои изменения в пример файла.

Итак, что произошло на этом этапе консолидации, так это то, что он перешел к папке и отфильтровал скрытые файлы или системные файлы. Затем он добавил вызванную пользовательскую функцию, переименовал несколько столбцов, а затем удалил все остальное.

Единственное, что вы заметите, это то, что он теряет типы столбцов. Таким образом, какие бы типы столбцов вы ни выбрали в образце файла преобразования, они не будут унаследованы файлом консолидации.

Затем мы нажмем «Закрыть и загрузить» . Каждый раз, когда мы нажимаем «Обновить», он будет сканировать эту папку.

Подключение к папке в SharePoint или OneDrive

Если ваши файлы находятся в папке OneDrive или SharePoint, процесс практически такой же, но несколько отличается. Вам нужен правильный путь для OneDrive, который является URL-адресом до вашего имени. Мы нажмем «Получить данные», затем папку SharePoint.

Он запросит у нас URL-адрес, по которому мы можем вставить ссылку. Затем он перечислит почти все файлы, которые у вас есть в OneDrive. Как только мы перейдем к Transform Data , нам нужно будет сделать несколько разных шагов. Во-первых, нам нужно найти нужную папку, а именно DemoOneDriveFolder .

Мы нажмем «Текстовый фильтр» , затем «Содержит» , затем введите «DemoOneDrive» . Если мы этого не сделаем, мы можем целую вечность прокручивать страницу и не находить то, что ищем.

Затем этот процесс отфильтрует его в нужную папку. Как видите, у нас есть три файла. Отличный.

Мы перейдем к столбцу «Путь к папке» , щелкните правой кнопкой мыши, перейдите к « Текстовый фильтр» и выберите «Равно» .

Таким образом, мы можем получить правильный путь, а не часть содержимого. Мы можем просто избавиться от последнего шага, потому что он нам не нужен.

Еще один совет — создать фильтр, в котором текстовый фильтр соответствует CSV-файлам — на случай, если сюда попадут какие-то другие файлы.

Последняя рекомендация — вызвать этот запрос OneDriveFolder , а затем сослаться на него. Это полезно, когда вы пытаетесь выполнить отладку позже и вам нужно вернуться назад, или даже когда вам нужно изменить папку.

Это будет сложнее, чем предыдущий пример, над которым мы работали. Для этого все, что нам нужно, это столбцы Content и Name .

Мы просто щелкнем правой кнопкой мыши, чтобы удалить другие столбцы.

Щелкните маленькую двунаправленную стрелку, которая объединит файлы.

С этого момента процесс будет идентичен предыдущему примеру, где также были созданы вспомогательные запросы.

Небольшое замечание: если вы объединяете файлы Excel, на одном из всплывающих промежуточных экранов будет задан вопрос, какой лист вы хотите объединить. Листы действительно должны иметь одно и то же имя, потому что, если вы объединяете несколько файлов Excel, это может привести к беспорядку.

Вот наш преобразованный образец файла, аккуратно связанный точно так же, как мы делали это в предыдущем примере.

И, наконец, вот файл консолидации , который будет загружен в модель данных.

И у нас также есть одна дополнительная папка с именем OneDriveFolder . Наконец, не забудьте переименовать свои шаги во что-то полезное и значимое.

Рекомендации по Power Query для вашей модели данных
Организация запросов в группы в LuckyTemplates

Заключение

В этом руководстве мы работали над запросом мощности, объединяя файлы из нескольких папок из нашей сети, рабочего стола, OneDrive или SharePoint.

Если вам понравился контент, описанный в этом руководстве, подпишитесь на телеканал LuckyTemplates. У нас есть огромное количество контента, который постоянно выходит от меня и ряда создателей контента, и все они посвящены улучшению того, как вы используете LuckyTemplates и Power Platform.