Наборы данных в Pandas с помощью ProfileReport () | Python в LuckyTemplates

Один из наиболее частых вопросов, с которыми вы столкнетесь как аналитик данных, — это лучший способ изучить данный набор данных. Это важное соображение, прежде всего, если вы хотите объединить все данные в отчет, который будет легко интерпретировать вам или вашей команде. В этом уроке я собираюсь продемонстрировать, как вы можете эффективно исследовать наборы данных в Pandas, используя ProfileReport(). Вы можете посмотреть полное видео этого урока в нижней части этого блога.

Когда вы получаете набор данных, что вы делаете? Как вы исследуете набор данных? В первую очередь, если вы хотите собрать все вместе в удобном для чтения отчете для себя, коллег и т. д., вам нужно учесть множество вещей.

Во-первых, вы думаете о том, какие это переменные, потому что это повлияет на то, как вы их анализируете и как вы к ним относитесь. Данные означают то, что дано. Итак, чего не хватает, так это тех данных, которых у нас нет. Другое дело — визуализировать эти отношения. Как они выглядят? Мы хотим использовать эту силу визуализации рано и часто.

Это множество взаимосвязанных сложных вопросов. Хорошо, что есть эта функция отчета о профилировании, которая даст нам эти ответы. Итак, давайте посмотрим на все это в Python.

Оглавление

• Исследуйте наборы данных в Pandas, используя функцию ProfileReport()
• Заключение

Исследуйте наборы данных в Pandas, используя функцию ProfileReport()

Во-первых, мы собираемся загрузить набор данных.

Затем из pandas_profiling мы собираемся импортировать эту вещь, называемую отчетом о профиле. Теперь, если вы получите сообщение об ошибке, вам, вероятно, нужно установить его. Я использую Анаконду. Я предлагаю вам использовать это также. Давайте запустим это, а затем распечатаем.

Итак, вот оно. У нас есть Обзор . Это дает нам разбивку типов переменных. У нас есть статистика набора данных. Мы видим количество столбцов строки, так далее и тому подобное. Преимущество этого отчета в том, что он похож на универсальный магазин, а также выглядит очень красиво. У него очень привлекательная подача.

Мы прокручиваем здесь, и у нас есть Variables . Мы получаем визуализацию и можем переключать дополнительные сведения о переменной. У нас есть флажки, указывающие на вещи, которые могут быть немного необычными. У нас также есть эти оповещения и многие другие функции, которые предоставят нам дополнительную информацию. И это для каждой переменной.

Продолжая прокручивать вниз, мы найдем «Взаимодействия», где созданы точечные диаграммы для визуализации данных.

И затем у нас есть Correlations , которые резюмируют отношения.

Далее идут Missing Values , которые очень важны. Как видите, у нас есть некоторые пропущенные значения, и мы хотим знать, почему. Эти визуализации здесь предназначены, чтобы помочь нам сделать это. Мы можем щелкнуть по каждому изображению и проанализировать данные.

Наконец, у нас есть образец. Мы могли бы получить это многими способами, но все, что мы делаем, это просто печатаем первые несколько строк, что полезно знать.

MultiIndex в Pandas для многоуровневых или иерархических данных
Как загрузить примеры наборов данных в Python
Python в LuckyTemplates: как установить и настроить

Заключение

Вот как вы исследуете наборы данных в Pandas, используя функцию ProfileReport(). Есть много способов нарезать данные. Подумайте обо всех комбинациях перестановок данных. Это не сможет сделать все за вас, но это действительно хорошее начало.

Когда мы исследуем данные, это действительно итеративный процесс. Не существует такой волшебной таблетки, которую мы могли бы захотеть. Однако ProfilerReport() действительно отличный инструмент. Мы получаем много информации и всего одну строчку кода. Это бесплатный инструмент, поэтому я надеюсь, что вы сможете использовать его в своей работе. Дайте нам знать, как вы это делаете.

Всего наилучшего!