Conjuntos de dados em Pandas com ProfileReport() | Python no LuckyTemplates

Uma das perguntas mais comuns que você encontrará como analista de dados é qual é a melhor maneira de explorar um determinado conjunto de dados. Essa é uma consideração importante, principalmente se você deseja reunir todos os dados em um relatório fácil de interpretar por você ou por sua equipe. Neste tutorial, vou demonstrar como você pode explorar com eficiência conjuntos de dados em Pandas usando ProfileReport(). Você pode assistir ao vídeo completo deste tutorial na parte inferior deste blog.

Quando você recebe um conjunto de dados, o que você faz? Como você explora o conjunto de dados? Principalmente, se você deseja reunir tudo em um relatório fácil de ler para você, para colegas de trabalho, etc., você tem muitas coisas a considerar.

Primeiro, você pensa sobre que tipos de variáveis ​​são porque isso vai influenciar a forma como você as analisa e como as trata. Dados significam o que é dado. Então, o que falta são os dados que não temos. Outra coisa é visualizar esses relacionamentos. Como eles se parecem? Queremos usar esse poder de visualização cedo e com frequência.

Estas são muitas questões complexas interligadas. O bom é que existe essa função de relatório de criação de perfil disponível que nos dará essas respostas. Então, vamos ver tudo isso em Python.

Índice

• Explorar conjuntos de dados em Pandas usando a função ProfileReport()
• Conclusão

Explorar conjuntos de dados em Pandas usando a função ProfileReport()

Primeiro, vamos carregar o conjunto de dados.

Em seguida, de pandas_profiling , vamos importar essa coisa chamada relatório de perfil. Agora, se você receber um erro aqui, provavelmente precisará instalá-lo. Estou usando Anaconda. Eu sugiro que você use isso também. Vamos executar isso e, em seguida, imprimi-lo.

Então aqui está. Temos uma visão geral . Isso nos dá uma divisão dos tipos de variáveis. Temos as estatísticas do conjunto de dados. Vemos o número de colunas de linha, e assim por diante. A coisa boa com este relatório é que ele é como um balcão único e também parece muito bom. Tem uma apresentação muito apelativa.

Descemos aqui e temos as Variáveis . Obtemos uma visualização e podemos alternar mais detalhes sobre a variável. Temos sinalizadores que indicam coisas que podem ser um pouco incomuns. Também temos esses alertas e muitos outros recursos que nos fornecerão mais informações. E isso é para cada variável.

À medida que continuamos a rolar para baixo, encontraremos as Interações, onde são criados gráficos de dispersão para visualizar os dados.

E então, temos Correlations , que resumiu o relacionamento.

Em seguida, estão os valores ausentes , que são muito importantes. Como você pode ver, temos alguns valores ausentes aqui e queremos saber o porquê. Essas visualizações aqui são destinadas a nos ajudar a fazer isso. Podemos clicar em cada visual e analisar os dados.

Por último, temos a amostra. Poderíamos obter isso de várias maneiras, mas tudo isso é apenas imprimir as primeiras linhas, o que é bom saber.

MultiIndex em Pandas para dados multiníveis ou hierárquicos
Como carregar conjuntos de dados de amostra em Python
Python no LuckyTemplates: como instalar e configurar

Conclusão

É assim que você explora conjuntos de dados no Pandas usando a função ProfileReport(). Existem várias maneiras de dividir e dividir os dados. Pense em todas as combinações de permutações dos dados. Isso não será capaz de fazer tudo por você, mas é um bom começo.

Quando exploramos dados, é realmente um processo iterativo. Não há pílula mágica pronta tanto quanto podemos querer uma. No entanto, o ProfilerReport() é realmente uma ótima ferramenta. Obtemos muitas informações e apenas uma linha de código. Esta é uma ferramenta gratuita, então espero que você possa usá-la em seu próprio trabalho. Deixe-nos saber como você faz isso.

Tudo de bom!