Setul de date Python: aplicarea codurilor repetabile

În acest blog, veți învăța cum să aplicați coduri sau funcții repetabile la seturile de date Python pentru a produce același tip de ieșire. Acest lucru vă va ajuta să fiți mai eficient și să depuneți mai puțin efort în extragerea anumitor date din diferite seturi de date. În acest tutorial, vom folosi un cod existent pe care l-am creat anterior ca exemplu.

De asemenea, veți învăța cum să faceți copii ale setului de date pentru a evita deteriorarea versiunii originale a setului de date, să importați biblioteci și funcții folosind coduri repetabile și să creați o vizualizare în LuckyTemplates .

Pentru acest blog, vă recomand să obțineți fișierul CSV tot timpul și să îl aduceți la LuckyTemplates. De asemenea, voi demonstra cum putem aduce acest fișier CSV și îl plasăm direct în LuckyTemplates, în cazul în care trebuie să o faceți.

Cuprins

• Preluarea unui fișier CSV în LuckyTemplates
• Realizarea unei copii a setului de date Python
• Transformarea unui set de date prin rularea unui script Python
• Verificarea setului de date
• Importul biblioteci și funcții folosind coduri repetabile
• Generarea tabelelor de date
• Concluzie

Preluarea unui fișier CSV în LuckyTemplates

Pentru a aduce un fișier CSV în LuckyTemplates, primul lucru pe care trebuie să-l faceți este să faceți clic pe meniul „ Obțineți date ” din panglica Acasă .

După ce faceți clic, va apărea un meniu derulant și trebuie să selectați opțiunea „ Text/CSV ” din meniu.

Odată ce selectați opțiunea „ Text/CSV ”, se va deschide o fereastră în care putem selecta fișierul pe care dorim să îl aducem în LuckyTemplates. Pentru acest exemplu, să folosim fișierul IMDB Dataset . 

La deschiderea fișierului IMDB Dataset.csv , veți vedea o altă fereastră care afișează datele din acel fișier. Deoarece acest fișier conține o cantitate mare de date, previzualizează doar unele dintre date.

Primul lucru pe care îl vom face în acest fișier este să-l transformăm. Pentru a face acest lucru, faceți clic pe opțiunea „ Transformare date ” din partea dreaptă jos a ferestrei.

Realizarea unei copii a setului de date Python

Înainte de a face modificări acestui set de date, este important să facem o copie a setului de date original. Pentru a face acest lucru, faceți clic dreapta pe setul de date. 

Apoi, din meniu, selectați „ Copiere ”.

În cele din urmă, faceți clic dreapta pe panoul Interogări , apoi selectați „ Lipire ” din opțiuni.

După aplicarea acestor pași, ar trebui să aveți o copie a setului de date IMDB original în panoul Interogări .

Transformarea unui set de date prin rularea unui script Python

Prin transformarea unui fișier CSV, veți putea împărți cantități mari de seturi de date Python în altele mai mici. Putem face asta aplicând un script Python în acest fișier.

Dar mai întâi, trebuie să ne asigurăm că anteturile sunt aliniate corect. Faceți clic pe meniul Acasă , apoi căutați opțiunea „ Utilizați primul rând ca antete ” și faceți clic pe ea.

După ce ați făcut clic pe opțiunea „ Utilizați primul rând ca antete ”, anteturile s-au schimbat acum în datele de pe primele rânduri anterioare, care sunt „ revizuire ” și „ sentiment ”.

Apoi, accesați meniul Transformare și faceți clic pe opțiunea „ Rulați Script Python ” din grupul de opțiuni „ Scripturi ”.

După aceea, va apărea o fereastră „ Run Script Python ”. În această fereastră, puteți rula orice script Python dorit pentru a transforma fișierul curent pe care îl utilizați. Pentru acest exemplu, voi face setul de date mai mic rulând următorul cod.

Am folosit funcția .iloc de pe setul de date pentru a selecta rândurile și coloanele specifice din setul de date IMDB. Apoi, în parametri, am selectat toate primele 500 de rânduri și toate coloanele din setul de date IMDB. L-am stocat într-o variabilă numită „ dataset ”.

După executarea scriptului, ar trebui să vedem „setul de date”, care este variabila pe care am creat-o în pasul anterior. Conține datele pe care le-am modificat folosind scriptul Python.

Verificarea setului de date

Pentru a deschide tabelul setului de date , faceți clic pe „ Tabel ” din coloana Valoare .

Putem vedea că acest set de date este acum redus la 500 de rânduri .

Acum că ne-am împărțit setul de date Python în 500 de rânduri, următorul lucru pe care îl vom face este să importam bibliotecile de care avem nevoie. Vom face asta folosind aceeași procedură pe care am făcut-o la modificarea conținutului setului de date IMDB. Acest lucru este pentru a ne asigura că codul nostru poate fi gestionabil în anumite scenarii cu mai puține modificări.

Importul biblioteci și funcții folosind coduri repetabile

Pentru a importa bibliotecile, să ne întoarcem la caietul nostru și să copiem bibliotecile de care avem nevoie. Rețineți că înainte de acest tutorial, am creat deja aceste biblioteci pe care urmează să le copiam. Le reutilizam doar pentru a vă face o idee clară despre utilizarea funcțiilor ca coduri repetabile.

Odată ce bibliotecile sunt copiate, lipiți-le în fereastra „ Run Python Script ” și nu uitați să includeți linia „ din colecții import Counter ” la sfârșitul scriptului. 

Apoi vom copia funcția de curățare a datelor din blocnotes și o vom adăuga la scriptul Python din LuckyTemplates.

Îl vom adăuga sub biblioteci. 

Vom copia, de asemenea, codul pentru apelarea funcției pe care tocmai am adăugat-o.

Apoi lipiți-l în scriptul Python în LuckyTemplates.

Generarea tabelelor de date

Acum că am adăugat codul pentru apelarea funcției de curățare a datelor , trebuie să schimbăm „ df2 ” în „ set de date ” și „ titlul ” în „ revizuire ”. Am făcut acest lucru datorită modificărilor pe care le-am făcut în setul de date.

Am schimbat „df2” în „ dataset ” deoarece am stocat datele cu 500 de rânduri în „dataset”. Apoi, pentru „titlu”, l-am actualizat la „revizuire” ca urmare a modificării antetelor coloanelor.

Cu aceste coduri adăugate, ar trebui să putem obține sau genera 3 tabele care sunt data1 pentru frecvența cuvintelor, data2 pentru frecvența bigramelor și data3 pentru frecvența trigramelor.

De asemenea, puteți face o altă copie a acestui set de date IMDB modificat (2) pentru a deschide un alt tabel mai târziu.

Acum, în IMDB Dataset (2) , să deschidem tabelul data1 . 

 Odată deschis tabelul data1 , putem vedea lista de cuvinte precum și frecvența.

După cum puteți vedea, putem efectua anumite proceduri din setul de date principal cu utilizarea codurilor repetabile pe care le-am luat din Jupyter Notebook. Cu aceste coduri repetabile, putem transforma un set de date Python și genera un tabel pentru frecvența cuvintelor, frecvența bigramelor și frecvența trigramelor fără a introduce codurile din nou.

În set de date IMDB (3) , să deschidem tabelul data2 pentru a vedea frecvența bigramelor.

În tabelul de frecvență bigram, puteți vedea „ br ” inclus în listă. Acesta este probabil conectat la un cod HTML. Putem pur și simplu să ne întoarcem și să adăugăm altceva, dar nu vom face asta în acest tutorial.

Acum că datele au fost încărcate cu ajutorul codurilor repetabile, putem începe să facem vizualizări despre acestea în LuckyTemplates. De exemplu, un grafic cu bare pentru frecvența fiecărui cuvânt. 

Funcții definite de utilizator Python | Prezentare generală
a listei Python și a buclelor For în LuckyTemplates
folosind Python în LuckyTemplates | Set de date și funcție șir

Concluzie

Pentru a rezuma, codurile repetabile vă pot ajuta să efectuați anumite proceduri pe un set de date cu mai puțin efort. Ați învățat cum să utilizați coduri repetabile pentru a transforma un set de date Python în LuckyTemplates. De asemenea, ați putut să utilizați funcția .iloc pentru a specifica rândurile și coloanele care trebuie selectate la modificarea unui set de date.

În plus, ați creat copii ale seturilor de date și ați creat o vizualizare folosind un grafic cu bare. Această vizualizare se bazează pe seturile de date Python pe care le-am creat și modificat cu ajutorul codurilor repetabile.

Toate cele bune,

Gaellim