Lematyzacja w Pythonie | Przewodnik dla początkujących

W tym samouczku omówimy lematyzację w Pythonie , która jest metodą używaną do grupowania różnych elementów słowa. Lematyzacja ma również na celu zmniejszenie fleksji słów i skupia się na zapewnieniu rdzenia lub podstawowej formy słowa, co oznacza słowo lemat .

Spis treści

• Lematyzacja kontra stemming
• Rzeczy, które należy wziąć pod uwagę przy stosowaniu lematyzacji
• Etap przygotowania do lematyzacji w Pythonie
• Implementacja lematyzacji w Pythonie
• Wniosek

Lematyzacja kontra stemming

Lematyzacja jest podobna do stemmingu, który działa również w celu zmniejszenia fleksji w słowach. Jedyna różnica polega na tym, że w wyniku lematyzacji używane są słowa ze słownika.

Z drugiej strony, stemming usuwa tylko afiksy z odmienionego słowa, co może skutkować słowami, które nie istnieją.

Na przykład, jeśli użyjemy wynikania ze studiów słownych , da to słowo studi jako wynik, ponieważ ma na celu usunięcie sufiksów ze studiów słownych .

Z drugiej strony, jeśli zastosuje się lematyzację , w wyniku zostanie podane badanie słów, ponieważ koncentruje się ono na zapewnieniu podstawowej formy słowa.

Rzeczy, które należy wziąć pod uwagę przy stosowaniu lematyzacji

• Używa słów opartych na słowniku. W przypadku terminu lemat , który oznacza rdzeń lub formę podstawową słowa, lematyzacja ma na celu zapewnienie podstawowej formy słowa, a nie tylko usuwanie odmiany słowa.
• Znalezienie podstawowego słowa całkowicie zależy od części mowy. Bez określenia części mowy) lematyzacja może nie działać dobrze i możesz nie uzyskać oczekiwanego wyniku.
• Jest wolniejszy niż łodygi, ale ma większą moc. Ponieważ lematyzacja nie jest zgodna z algorytmem działania na słowach i koniecznością dostarczania części mowy, jest uważana za wolniejszą niż wynikanie. Jest jednak potężniejszy w taki sposób, że używa słów opartych na słowniku do wyników. 
• Ma większą dokładność w poszukiwaniu słowa głównego. Ponieważ lematyzacja wykorzystuje słowa oparte na słownikach do układania wyników z odmienionego słowa, będziesz mieć większe szanse na uzyskanie dokładnych wyników.

Etap przygotowania do lematyzacji w Pythonie

Zanim przystąpimy do implementacji lematyzacji, zacznijmy od zaimportowania biblioteki Worda z obiektu textblob .

Następnie utworzymy obiekt Word. 

Aby utworzyć obiekt Word, utworzyliśmy zmienną o nazwie w . Następnie zapisaliśmy bibliotekę Word, która zawiera nasz obiekt słowny, którym jest octopi , liczba mnoga słowa octopus. Zwróć uwagę, że podczas przekazywania elementu za pomocą biblioteki Word ważne jest, aby ująć ten element w pojedyncze cudzysłowy.

Zainicjujmy zmienną w, aby zobaczyć, czy zawiera ona właśnie utworzony obiekt Word.

Po wykonaniu zmiennej w otrzymujemy w rezultacie słowo obiekt octopi .

Implementacja lematyzacji w Pythonie

Następnie zaimplementujemy lematyzację za pomocą funkcji .lemmatize . 

W tym kroku użyliśmy zmiennej w , która przechowuje słowo obiekt octopi i wykorzystaliśmy funkcję .lemmatize , aby zastosować lematyzację. W rezultacie otrzymaliśmy słowo ośmiornica , które jest rdzeniem lub podstawową formą słowa ośmiornica .

Następnie spróbujmy zastosować lematyzację ze słowem lepiej .

W poprzednim przykładzie zaktualizowaliśmy nasz obiekt Word z octopi na lepszy . Następnie dokonaliśmy lematyzacji za pomocą funkcji .lemmatize . Tak więc wynik, który otrzymaliśmy, jest taki sam, jak obiekt słowny, którego użyliśmy.

Korzystając z funkcji .lemmatize, możesz zmienić sposób jej lematyzacji, przekazując część mowy. Jako przykład spróbujmy przekazać a do funkcji .lemmatize, która oznacza przymiotnik w częściach mowy. 

Po dodaniu części mowy do funkcji .lemmatize jesteśmy w stanie w rezultacie uzyskać dobre słowo bazowe.

Zmieńmy ponownie nasz obiekt word na działający . Zmieńmy też część mowy, którą będziemy przekazywać funkcji .lemmatize, na v , które oznacza czasownik.

Po dokonaniu zmian i zainicjowaniu funkcji .lemmatize otrzymaliśmy słowo źródłowe uruchamianego słowa, które jest uruchamiane w wyniku. Większość lematyzatorów nie jest w stanie wykonać metod, które właśnie zastosowaliśmy przy użyciu funkcji .lemmatize.

Jednak funkcja .lemmatize jest znaczącym narzędziem do wykorzystania podczas wykonywania pewnych rodzajów analizy tekstu w Pythonie w celu uzyskania podstawowej formy słowa.

Jak używać skryptu Pythona w usłudze LuckyTemplates
Jak ładować przykładowe zestawy danych w języku Python
Funkcje zdefiniowane przez użytkownika w języku Python | Przegląd

Wniosek

Krótko mówiąc, jesteśmy w stanie zrozumieć użycie lematyzacji w Pythonie i jej działanie. Omówiliśmy również podobieństwa i różnice między lematyzacją a wynikaniem . Jesteśmy również w stanie stworzyć obiekt Word za pomocą biblioteki Word i jak korzystać z funkcji .lemmatize .

Ponadto nauczyliśmy się stosować różne części mowy w funkcji .lemmatize. Wdrożenie lematyzacji w codziennych zadaniach związanych z analizą tekstu znacznie pomoże zmniejszyć czas i wysiłek związany z wyszukiwaniem podstawowego słowa określonego słowa.

Wszystkiego najlepszego,

gaelim