Conjunto de dados Python: aplicando códigos repetíveis

Neste blog, você aprenderá como aplicar códigos ou funções repetíveis a conjuntos de dados do Python para produzir o mesmo tipo de saída. Isso ajudará você a ser mais eficiente e a se esforçar menos para extrair determinados dados de diferentes conjuntos de dados. Neste tutorial, vamos utilizar um código existente que criei anteriormente como exemplo.

Você também aprenderá como fazer cópias de conjuntos de dados para evitar danificar a versão original do conjunto de dados, importar bibliotecas e funções usando códigos repetíveis e criar uma visualização no LuckyTemplates .

Para este blog, recomendo que você obtenha o arquivo CSV o tempo todo e o leve para o LuckyTemplates. Também demonstrarei como podemos trazer esse arquivo CSV e colocá-lo diretamente no LuckyTemplates, caso seja necessário.

Índice

• Buscando um arquivo CSV no LuckyTemplates
• Fazendo uma cópia do conjunto de dados do Python
• Transformando um conjunto de dados executando um script Python
• Verificando o conjunto de dados
• Importando bibliotecas e funções usando códigos repetíveis
• Gerando Tabelas de Dados
• Conclusão

Buscando um arquivo CSV no LuckyTemplates

Para trazer um arquivo CSV para o LuckyTemplates, a primeira coisa que você precisa fazer é clicar no menu “ Obter dados ” na faixa de opções Home .

Depois de clicar, um menu suspenso aparecerá e você deverá selecionar a opção “ Texto/CSV ” no menu.

Depois de selecionar a opção “ Texto/CSV ”, abrirá uma janela onde podemos selecionar o arquivo que queremos trazer para o LuckyTemplates. Para este exemplo, vamos usar o arquivo IMDB Dataset . 

Ao abrir o arquivo IMDB Dataset.csv , você verá outra janela que exibe os dados contidos nesse arquivo. Como esse arquivo contém uma grande quantidade de dados, ele apenas visualiza alguns dos dados.

A primeira coisa que vamos fazer neste arquivo é transformá-lo. Para isso, basta clicar na opção “ Transform Data ” na parte inferior direita da janela.

Fazendo uma cópia do conjunto de dados do Python

Antes de fazer qualquer alteração neste conjunto de dados, é importante fazer uma cópia do conjunto de dados original. Para fazer isso, basta clicar com o botão direito do mouse no conjunto de dados. 

Em seguida, no menu, selecione “ Copiar ”.

Por fim, clique com o botão direito do mouse no painel Consultas e selecione “ Colar ” nas opções.

Depois de aplicar essas etapas, você deve ter uma cópia do conjunto de dados IMDB original no painel Consultas .

Transformando um conjunto de dados executando um script Python

Ao transformar um arquivo CSV, você poderá dividir grandes quantidades de conjuntos de dados do Python em conjuntos menores. Podemos fazer isso aplicando algum script Python neste arquivo.

Mas primeiro, temos que ter certeza de que os cabeçalhos estão alinhados corretamente. Clique no menu Home , procure a opção “ Use First Row as Headers ” e clique nela.

Depois de clicar na opção " Usar primeira linha como cabeçalhos ", os cabeçalhos agora são alterados para os dados das primeiras linhas anteriores, que são " revisão " e " sentimento ".

Em seguida, vá ao menu Transform e clique na opção “ Run Python Script ” no grupo de opções “ Scripts ”.

Depois disso, uma janela “ Run Python Script ” aparecerá. Nesta janela, você pode executar qualquer script Python que desejar para transformar o arquivo atual que está usando. Para este exemplo, vou diminuir o conjunto de dados executando o código a seguir.

Usei a função .iloc no conjunto de dados para selecionar as linhas e colunas específicas do conjunto de dados do IMDB. Em seguida, nos parâmetros, selecionei todas as primeiras 500 linhas e todas as colunas do IMDB Dataset. Eu armazenei em uma variável chamada “ dataset ”.

Após executar o script, devemos ver o “dataset” que é a variável que criamos no passo anterior. Ele contém os dados que alteramos usando o script Python.

Verificando o conjunto de dados

Para abrir a tabela do conjunto de dados , basta clicar em “ Tabela ” na coluna Valor .

Podemos ver que esse conjunto de dados agora está reduzido a 500 linhas .

Agora que dividimos nosso conjunto de dados Python em 500 linhas, a próxima coisa que faremos é importar as bibliotecas de que precisamos. Faremos isso usando o mesmo procedimento que fizemos ao alterar o conteúdo do IMDB Dataset. Isso é para garantir que nosso código possa ser gerenciado em determinados cenários com menos alterações.

Importando bibliotecas e funções usando códigos repetíveis

Para importar as bibliotecas, vamos voltar ao nosso notebook e copiar as bibliotecas que precisamos. Lembre-se de que, antes deste tutorial, já criei essas bibliotecas que estamos prestes a copiar. Estou apenas reutilizando-os para que você tenha uma ideia clara sobre o uso de funções como códigos repetíveis.

Depois que as bibliotecas forem copiadas, cole-as na janela “ Run Python Script ” e não se esqueça de incluir a linha “ from collections import Counter ” no final do script. 

Em seguida, copiaremos a função de limpeza de dados de nosso notebook e a adicionaremos ao script Python no LuckyTemplates.

Vamos adicioná-lo abaixo das bibliotecas. 

Também copiaremos o código para chamar a função que acabamos de adicionar.

Em seguida, cole-o no script Python no LuckyTemplates.

Gerando Tabelas de Dados

Agora que adicionamos o código para chamar a função de limpeza de dados , precisamos alterar “ df2 ” para “ dataset ” e “ title ” para “ review ”. Fizemos isso devido às alterações que fizemos no conjunto de dados.

Mudamos “df2” para “ dataset ” porque armazenamos os dados com 500 linhas em “dataset”. Em seguida, para “título”, atualizamos para “revisão” como resultado da alteração dos cabeçalhos das colunas.

Com esses códigos adicionados, devemos ser capazes de obter ou gerar 3 tabelas que são data1 para frequência de palavra, data2 para frequência de bigrama e data3 para frequência de trigrama.

Você também pode fazer outra cópia deste conjunto de dados IMDB alterado (2) para abrir outra tabela mais tarde.

Agora no IMDB Dataset (2) , vamos abrir a tabela data1 . 

 Uma vez que a tabela data1 é aberta, podemos ver a lista de palavras, bem como a frequência.

Como você pode ver, podemos executar determinados procedimentos do conjunto de dados principal com o uso de códigos repetíveis que extraímos do Jupyter Notebook. Com esses códigos repetíveis, podemos transformar um conjunto de dados Python e gerar uma tabela para frequência de palavra, frequência de bigrama e frequência de trigrama sem digitar os códigos novamente.

No IMDB Dataset (3) , vamos abrir a tabela data2 para ver a frequência bigrama.

Na tabela de frequência bigrama, você pode ver o “ br ” incluído na lista. Isso provavelmente está conectado a um código HTML. Podemos simplesmente voltar e adicionar outra coisa, mas não faremos isso neste tutorial.

Agora que os dados foram carregados com a ajuda dos códigos repetíveis, podemos começar a fazer visualizações sobre eles no LuckyTemplates. Por exemplo, um gráfico de barras para a frequência de cada palavra. 

funções definidas pelo usuário do Python | Uma Visão Geral
Lista Python e For Loops no LuckyTemplates
Usando Python no LuckyTemplates | Conjunto de dados e função de string

Conclusão

Para resumir, os códigos repetíveis podem ajudá-lo a executar determinados procedimentos em um conjunto de dados com menos esforço. Você aprendeu a utilizar códigos repetíveis para transformar um conjunto de dados Python no LuckyTemplates. Você também pode usar a função .iloc para especificar as linhas e colunas a serem selecionadas na alteração de um conjunto de dados.

Além disso, você criou cópias de conjuntos de dados e criou uma visualização usando um gráfico de barras. Essa visualização é baseada nos conjuntos de dados do Python que criamos e alteramos com a ajuda de códigos repetíveis.

Tudo de bom,

gaellim