Obsługa brakujących danych w Pythonie przy użyciu metody interpolacji

Interpolacja to metoda generowania punktów pomiędzy zadanymi punktami. W tym samouczku pokażę, jak można wykorzystać interpolację do obsługi brakujących danych w Pythonie. Możesz obejrzeć pełny film z tego samouczka na dole tego bloga.

W Pythonie interpolacja jest techniką używaną najczęściej do przypisania brakujących wartości w ramce danych lub serii danych podczas wstępnego przetwarzania danych. Pokażę, jak można użyć tej metody do oszacowania brakujących punktów danych w danych przy użyciu języka Python w usłudze LuckyTemplates.

Jeśli spojrzymy na nasze oryginalne dane poniżej, które są przedstawione na górnym wykresie, zobaczymy, że jest wiele dziur lub brakujących danych, których nie możemy przedstawić na wykresie, ponieważ nic tam nie ma. Ale na dolnym wykresie widzimy, że dokonaliśmy pewnych szacunków, aby dowiedzieć się, jak te dane mogą wyglądać. Rzeczywiste dane są reprezentowane w kolorze jasnoniebieskim, podczas gdy dane interpolowane są w kolorze ciemnoniebieskim.

Mamy do czynienia z kilkoma różnymi rodzajami oszacowań. Zrobimy interpolację liniową, najbliższą interpolację, a następnie ważoną interpolację czasu. Każdy z nich da nam nieco inne wyniki.

Powyższy przykład wykorzystuje ważoną interpolację czasu, która wygląda prawie tak samo jak interpolacja liniowa, z wyjątkiem tego, że jest ważona na podstawie dni. Liniowa oszacowała dane na podstawie nachylenia między tymi dwoma punktami danych. Najbliższa interpolacja ma bardziej płaski typ oszacowania, jak widać poniżej, gdzie przyjrzeliśmy się najbliższej wartości i byliśmy w stanie oszacować, co istnieje między tymi dwoma.

Przejdźmy więc do notatnika Jupyter i przynieś to.

Spis treści

• Jak używać interpolacji w obsłudze brakujących danych w Pythonie
• Wniosek

Jak używać interpolacji w obsłudze brakujących danych w Pythonie

Możesz użyć Edytora skryptów do napisania wszystkiego, ale jest to łatwiejsze. Otrzymasz więcej opinii w notesie Jupyter. Udokumentujmy więc, co robimy. Kiedy skopiujemy i wkleimy to do naszego edytora skryptów Pythona, będzie to bardzo czyste i przejrzyste.

Zaimportujmy biblioteki, które chcemy, a następnie zaimportujemy Pandy i zapiszemy je jako zmienną PD. Zaimportujemy Numpy i zapiszemy go jako zmienną NP. Pandas to biblioteka do manipulacji danymi, podczas gdy Numpy pozwala nam również manipulować danymi i daje nam pewną algebrę liniową.

Chcemy wprowadzić nasz zestaw danych i zapiszemy go jako zmienną df . A my po prostu użyjemy zmiennej Pandas ( pd ) i użyjemy funkcji read.csv . Następnie skopiujemy i wkleimy tam, gdzie ten plik istnieje na naszym komputerze. Mój znajduje się w moim katalogu roboczym, więc wszystko, co muszę zrobić, to napisać machine.csv i umieścić to w nawiasach.

Przyjrzyjmy się naszemu zbiorowi danych za pomocą zmiennej df. Możesz zobaczyć, że trwa to od 1 stycznia 2022 r., aż do 25 grudnia. To kolejne dni aż do 15-go, potem brakuje czterech dni 19-go, potem są trzy dni brakujące, kiedy dochodzimy do 22-go, i dwa dni brakujące 25-go.

Dni, które są pomijane, nie zawierają brakujących danych. To po prostu nie jest dane w naszym zbiorze danych. Tym, z czym będziemy mieli do czynienia, są brakujące dane, które, jak widzisz, są reprezentowane przez te NaN lub brak wartości.

Teraz, gdy mamy już nasz zestaw danych, użyjmy naszych różnych typów interpretacji i zapiszmy je jako różne kolumny. Widzimy, że mamy obiekt , który jest reprezentowany przez tekst, a także pływak .

Zamierzam wyizolować kolumnę Data za pomocą notacji nawiasów. Następnie użyję równań, aby to przypisać. Zamierzam użyć zmiennej pd , a następnie użyję funkcji to_datetime. Następnie zamknę tę funkcję nawiasami i dodam w kolumnie Data.

Widzimy, że teraz mamy Date jako właściwy typ danych.

Mamy tutaj indeks, który jest oznaczony cyframi od 1 do 18. Kiedy robimy Linear, użyjemy tych liczb do stworzenia liniowego połączenia między istniejącymi punktami danych. Ale chcemy również móc korzystać z interpolacji ważonej czasem, która patrzy na czas i daje nam wyniki oparte na rzeczywistych dniach. Chcemy ustawić kolumnę Data jako indeks, abyśmy mogli z niej skorzystać.

Zamierzam użyć zmiennej ramki danych (df) i zrobić set_index. Musimy przekazać parametr o nazwie inplace , aby upewnić się, że zostanie on przekazany na stałe. Więc użyję inplace równa się true, a następnie wcisnę shift i enter. I dzięki temu widać, że indeks numeryczny zniknął i mamy indeks Datetime.

Teraz możemy zacząć budować te kolumny, które chcemy. Zbudujmy kolumnę, w której interpolujemy najbliższy punkt danych, który wypełni te brakujące wartości najbliższą wartością. Chcemy utworzyć kolumnę o nazwie users_nearest i chcemy przypisać ją do kolumny Users .

Chcemy utworzyć kolumnę o nazwie user_nearest i chcemy przypisać ją do kolumny użytkownika. A teraz, gdy mamy tę kolumnę wyizolowaną, możemy użyć funkcji interpolacji i możemy nacisnąć klawisz Shift-Tab, aby zobaczyć, jakie parametry przyjmuje ta funkcja. Istnieje wiele różnych rodzajów metod.

Możesz zobaczyć, że domyślna jest liniowa, a jeśli chcesz, aby zobaczyła wszystkie różne metody, jest w tym informacja. Możesz otworzyć to do końca i jest tu wiele informacji, które dadzą ci wiele wglądu. Ale zawsze lepiej jest zejść na stronę Pandas i po prostu zobaczyć, jakie są różne rodzaje interpolacji.

Teraz przekażemy metodę, którą chcemy, i użyjemy metody Najbliższej Interpolacji. Wszystko, co musimy zrobić, to uruchomić to i widać, że tworzona jest kolumna. Jeśli spojrzymy na tę konkretną linię, możemy zobaczyć, że jest to brakująca wartość. I widzicie, że zostało to interpolowane, gdzie wzięto najbliższą wartość i dodano ją tutaj. Jak widać, nie mamy już brakujących wartości dla tego konkretnego wiersza.

Teraz skopiujmy to dwukrotnie i zmieńmy nazwy tych kolumn na user_linear i user_time . Zmienimy również metody, aby pasowały do ​​naszych nagłówków. Możemy przesuwać i wchodzić, i widać, że stworzyliśmy trzy kolumny oparte na różnych typach metod interpolacji.

Następnie chcę utworzyć jeszcze jedną konkretną kolumnę, która pozwoli nam wskazać, które z nich są puste, jak flaga w naszych danych. Użyjemy do tego Numpy.

Stworzymy więc nową kolumnę o nazwie df , a następnie nazwiemy ją flagą. Przypiszemy to tym znakiem równości. Następnie użyjemy np , która jest naszą zmienną Numpy. A potem użyjemy funkcji where , która jest funkcją warunkową. Ustawiamy warunek, a następnie otrzymujemy przykład dla prawdy i fałszu. Używamy podwójnych równości, które są równe w Pythonie. Kiedy to prawda, chcemy powiedzieć Missing Data . Inną opcją będzie Data .

Możemy użyć tej flagi w naszej wizualizacji. Gdy jesteśmy w twoim notatniku, przejdź do transformacji i naciśnij Uruchom skrypt Pythona. Teraz jest kilka różnych kroków. Musimy sprawić, by to działało w środowisku LuckyTemplates .

Mamy tutaj wszystkie nasze kody i musimy dodać jeszcze kilka kroków. Po pierwsze, gdy mamy do czynienia z datą i godziną, musimy dodać parametr błędu, który mówi, że jeśli mamy jakieś błędy, możesz wymusić lub spróbować to zmienić. Więc wstawię tutaj błędy równe , a następnie nawiasy wymuszające . Następnie musimy ponownie przypisać zmienną zestawu danych jako df.

Kiedy klikniemy OK, pojawi się kolejny błąd i właśnie to musimy zrobić, aby to naprawić. Jeśli przejdziemy przez nasze kroki, nie musimy mieć formatowanej daty. Pozwolimy Pythonowi pracować z datami, ponieważ daty są unikalne dla każdej platformy. Pierwszą rzeczą, którą musimy zrobić, to pozbyć się Changed Type .

Nie mamy kolumny Data, ponieważ data jest indeksem. Więc wracamy do naszego skryptu Pythona, a następnie po prostu resetujemy nasz indeks, df.reset_index . Mówimy, że chcemy zresetować go do obejścia kolumny Date w tym nawiasie, a następnie chcemy zrobić inplace = true .

A teraz mamy datę i wszystkie inne typy danych są kompletne.

Jeśli umieścimy to w wizualizacji, tak to wygląda w trzech różnych metodach interpolacji w obsłudze brakujących danych w Pythonie.

Kursy walut w usłudze LuckyTemplates: obsługa brakujących danych
Skrypty w języku Python w raportach danych usługi LuckyTemplates
Jak załadować przykładowe zestawy danych w języku Python

Wniosek

W tym samouczku poznałeś trzy metody interpolacji w obsłudze brakujących danych w Pythonie . Omówiliśmy metody interpolacji liniowej, najbliższej i ważonej w czasie.

Mam nadzieję, że uznasz to za przydatne i zastosujesz w swojej pracy. Możesz obejrzeć pełny samouczek wideo poniżej, aby uzyskać więcej informacji i sprawdzić poniższe linki, aby uzyskać więcej powiązanych treści na temat obsługi brakujących danych w Pythonie.

Wszystkiego najlepszego!

Gaelim