Python-dataset: herhaalbare codes toepassen

In deze blog leer je hoe je herhaalbare codes of functies kunt toepassen op Python-datasets om hetzelfde type uitvoer te produceren. Dit zal u helpen efficiënter te zijn en minder moeite te doen om bepaalde gegevens uit verschillende datasets op te halen. In deze zelfstudie gaan we een bestaande code gebruiken die ik eerder als voorbeeld heb gemaakt.

U leert ook hoe u kopieën van datasets maakt om beschadiging van de originele versie van de dataset te voorkomen, hoe u bibliotheken en functies importeert met behulp van herhaalbare codes en hoe u een visualisatie maakt in LuckyTemplates .

Voor deze blog raad ik je aan om altijd het CSV- bestand op te halen en over te brengen naar LuckyTemplates. Ik zal ook laten zien hoe we dit CSV-bestand kunnen overbrengen en rechtstreeks in LuckyTemplates kunnen plaatsen, voor het geval dat het moet.

Inhoudsopgave

• Een CSV-bestand ophalen in LuckyTemplates
• Een kopie maken van de Python-gegevensset
• Een gegevensset transformeren door een Python-script uit te voeren
• De gegevensset controleren
• Bibliotheken en functies importeren met herhaalbare codes
• Gegevenstabellen genereren
• Conclusie

Een CSV-bestand ophalen in LuckyTemplates

Om een ​​CSV-bestand naar LuckyTemplates te brengen, klikt u eerst op het menu " Gegevens ophalen " in het Home -lint.

Nadat u erop hebt geklikt, verschijnt er een vervolgkeuzemenu en moet u de optie " Tekst/CSV " in het menu selecteren.

Zodra u de optie " Tekst / CSV " selecteert, wordt er een venster geopend waarin we het bestand kunnen selecteren dat we in LuckyTemplates willen brengen. Laten we voor dit voorbeeld het IMDB Dataset- bestand gebruiken. 

Bij het openen van het IMDB Dataset.csv- bestand, ziet u een ander venster met de gegevens in dat bestand. Aangezien dit bestand een grote hoeveelheid gegevens bevat, worden slechts enkele voorbeelden van de gegevens weergegeven.

Het eerste dat we in dit bestand gaan doen, is het transformeren. Om dat te doen, klikt u gewoon op de optie " Gegevens transformeren " rechtsonder in het venster.

Een kopie maken van de Python-gegevensset

Voordat we wijzigingen aanbrengen in deze dataset, is het belangrijk om een ​​kopie te maken van de originele dataset. Klik hiervoor met de rechtermuisknop op de dataset. 

Selecteer vervolgens in het menu " Kopiëren ".

Klik ten slotte met de rechtermuisknop op het deelvenster Query's en selecteer vervolgens " Plakken " uit de opties.

Nadat u deze stappen hebt toegepast, zou u een kopie van de originele IMDB-gegevensset in het deelvenster Query's moeten hebben .

Een gegevensset transformeren door een Python-script uit te voeren

Door een CSV-bestand te transformeren, kunt u grote hoeveelheden Python-datasets opsplitsen in kleinere. We kunnen dat doen door een Python-script in dit bestand toe te passen.

Maar eerst moeten we ervoor zorgen dat de headers goed zijn uitgelijnd. Klik op het Home- menu en zoek vervolgens naar de optie " Gebruik eerste rij als kopteksten " en klik erop.

Nadat u op de optie " Eerste rij als kopteksten gebruiken " hebt geklikt, zijn de kopteksten nu gewijzigd in de gegevens van de vorige eerste rijen, namelijk " review " en " sentiment ".

Ga vervolgens naar het menu Transformeren en klik op de optie " Python-script uitvoeren " in de optiegroep " Scripts ".

Daarna verschijnt een venster " Run Python Script ". In dit venster kun je elk gewenst Python-script uitvoeren om het huidige bestand dat je gebruikt te transformeren. Voor dit voorbeeld ga ik de dataset kleiner maken door de volgende code uit te voeren.

Ik heb de .iloc- functie op de dataset gebruikt om de specifieke rijen en kolommen uit de IMDB-dataset te selecteren. Vervolgens heb ik in de parameters alle eerste 500 rijen en alle kolommen in de IMDB-gegevensset geselecteerd. Ik heb het opgeslagen in een variabele met de naam " dataset ".

Na het uitvoeren van het script zouden we de "dataset" moeten zien, de variabele die we in de vorige stap hebben gemaakt. Het bevat de gegevens die we hebben gewijzigd met behulp van het Python-script.

De gegevensset controleren

Om de datasettabel te openen, klikt u gewoon op " Tabel " onder de kolom Waarde .

We kunnen zien dat deze dataset nu nog maar 500 rijen bevat .

Nu we onze Python- dataset hebben opgesplitst in 500 rijen, is het volgende dat we gaan doen de bibliotheken importeren die we nodig hebben. We doen dat met dezelfde procedure als bij het wijzigen van de inhoud van IMDB Dataset. Dit is om ervoor te zorgen dat onze code in bepaalde scenario's met minder wijzigingen kan worden beheerd.

Bibliotheken en functies importeren met herhaalbare codes

Om de bibliotheken te importeren, gaan we terug naar ons notitieblok en kopiëren we de bibliotheken die we nodig hebben. Houd er rekening mee dat ik voorafgaand aan deze zelfstudie al deze bibliotheken heb gemaakt die we gaan kopiëren. Ik hergebruik deze gewoon voor u om duidelijk het idee te krijgen over het gebruik van functies als herhaalbare codes.

Zodra de bibliotheken zijn gekopieerd, plakt u ze in het venster " Run Python Script " en vergeet niet de regel " from collections import Counter " aan het einde van het script op te nemen. 

Vervolgens kopiëren we de functie voor het opschonen van gegevens uit onze notebook en voegen deze toe aan het Python- script in LuckyTemplates.

We voegen het toe onder de bibliotheken. 

We kopiëren ook de code voor het aanroepen van de functie die we zojuist hebben toegevoegd.

Plak het vervolgens in het Python-script in LuckyTemplates.

Gegevenstabellen genereren

Nu we de code hebben toegevoegd voor het aanroepen van de functie voor het opschonen van gegevens , moeten we " df2 " wijzigen in " dataset " en de " title " in " review ". We hebben dit gedaan vanwege de wijzigingen die we in de dataset hebben aangebracht.

We hebben "df2" gewijzigd in " dataset " omdat we de gegevens met 500 rijen in "dataset" hebben opgeslagen. Vervolgens hebben we voor "titel" het bijgewerkt naar "review" als gevolg van het wijzigen van de koppen van de kolommen.

Met deze codes toegevoegd, zouden we in staat moeten zijn om 3 tabellen te krijgen of te genereren, namelijk data1 voor woordfrequentie, data2 voor bigramfrequentie en data3 voor trigramfrequentie.

U kunt ook nog een kopie maken van deze gewijzigde IMDB-gegevensset (2) om later een andere tabel te openen.

Laten we nu in IMDB Dataset (2) de tabel data1 openen . 

 Zodra de data1-tabel is geopend, kunnen we zowel de lijst met woorden als de frequentie zien.

Zoals je kunt zien, kunnen we bepaalde procedures uit de hoofddataset uitvoeren met behulp van herhaalbare codes die we uit de Jupyter Notebook hebben gehaald. Met die herhaalbare codes kunnen we een Python-dataset transformeren en een tabel genereren voor woordfrequentie, bigramfrequentie en trigramfrequentie zonder de codes helemaal opnieuw te typen.

Laten we in IMDB Dataset (3) de data2-tabel openen om de bigram-frequentie te zien.

In de Bigram-frequentietabel kunt u de " br " in de lijst zien. Dit is waarschijnlijk gekoppeld aan een HTML-code. We kunnen gewoon teruggaan en iets anders toevoegen, maar dat gaan we in deze tutorial niet doen.

Nu de data is ingeladen met behulp van de herhaalbare codes, kunnen we er visualisaties over gaan maken in LuckyTemplates. Bijvoorbeeld een staafdiagram voor de frequentie van elk woord. 

Python door de gebruiker gedefinieerde functies | Een overzicht van
Python-lijst en for-loops in LuckyTemplates
Python gebruiken in LuckyTemplates | Dataset en tekenreeksfunctie

Conclusie

Kortom, herhaalbare codes kunnen u helpen bepaalde procedures op een dataset met minder moeite uit te voeren. U hebt geleerd hoe u herhaalbare codes kunt gebruiken om een ​​Python-dataset in LuckyTemplates te transformeren. U was ook in staat om de .iloc- functie te gebruiken om de rijen en kolommen op te geven die moeten worden geselecteerd bij het wijzigen van een dataset.

Daarnaast heb je kopieën van datasets gemaakt en een visualisatie gemaakt met behulp van een staafdiagram. Deze visualisatie is gebaseerd op de Python-datasets die we hebben gemaakt en gewijzigd met behulp van herhaalbare codes.

Al het beste,

Gaellim