Lematização em Python | Guia de um iniciante

Neste tutorial, vamos discutir a lematização em Python , que é um método usado para agrupar os diferentes elementos de uma palavra. A lematização também visa reduzir a inflexão da palavra e se concentra em fornecer a raiz ou a forma básica de uma palavra, que é o que a palavra lema significa.

Índice

• Lematização x Stemming
• Coisas a considerar ao utilizar a lematização
• Estágio de preparação para lematização em Python
• Implementando lematização em Python
• Conclusão

Lematização x Stemming

A lematização é semelhante à lematização, que também funciona para reduzir as inflexões nas palavras. A única diferença é que a lematização usa palavras baseadas em dicionário como resultado.

Por outro lado, a derivação apenas remove os afixos de uma palavra flexionada, o que pode resultar em palavras que não existem.

Por exemplo, se utilizarmos a derivação da palavra studies , ele dará a palavra studi como saída, pois visa remover os sufixos da palavra studies .

Por outro lado, se for utilizada a lematização , o resultado será o estudo da palavra, uma vez que se concentra em fornecer a forma básica de uma palavra.

Coisas a considerar ao utilizar a lematização

• Ele usa palavras baseadas em dicionário. Com o termo lema , que significa a raiz ou a forma básica de uma palavra, a lematização visa fornecer a forma básica de uma palavra, em vez de apenas remover as inflexões de uma palavra.
• Depende completamente das partes do discurso para encontrar uma palavra base. Sem especificar as classes gramaticais), a lematização pode não funcionar bem e você pode não obter o resultado que está procurando.
• É mais lento que o stemming, mas é mais poderoso. Como a lemmatização não segue um algoritmo para atuar nas palavras e a necessidade de fornecer partes do discurso, ela é considerada mais lenta do que a lematização. No entanto, é mais poderoso de uma forma que usa palavras baseadas em dicionário para obter resultados. 
• Tem maior precisão em procurar a palavra raiz. Como a lemmatização usa palavras baseadas em dicionário ao apresentar os resultados de uma palavra flexionada, você terá maiores chances de obter saídas precisas.

Estágio de preparação para lematização em Python

Antes de prosseguirmos com a implementação da lematização, vamos começar importando a biblioteca do Word de textblob .

Depois disso, vamos criar um objeto de palavra. 

Para criar um objeto de palavra, criamos uma variável chamada w . Em seguida, armazenamos a biblioteca do Word que contém nosso objeto de palavra, que é octopi , a forma plural da palavra polvo. Observe que, ao passar um elemento usando a biblioteca do Word, é importante colocar esse elemento entre aspas simples.

Vamos inicializar a variável w para ver se ela contém o objeto word que acabamos de criar.

Ao executar a variável w , obtemos a palavra objeto octopi como resultado.

Implementando lematização em Python

Em seguida, vamos implementar a lematização usando a função .lemmatize . 

Nesta etapa, utilizamos a variável w que contém o objeto word octopi e utilizamos a função .lemmatize para aplicar a lematização. Como resultado, obtivemos a palavra polvo , que é a raiz ou forma básica da palavra polvo .

Depois disso, vamos tentar aplicar a lematização com a palavra better .

No exemplo anterior, atualizamos nosso objeto de palavra de octopi para better . Em seguida, nós o lematizamos com a função .lemmatize . Assim, o resultado que obtivemos é o mesmo da palavra objeto que usamos.

Ao usar a função .lemmatize, você pode alterar a forma de sua lematização passando uma classe gramatical. Como exemplo, vamos tentar passar a para a função .lemmatize que significa adjetivo nas partes do discurso. 

Depois de adicionar uma classe gramatical à função .lemmatize, podemos obter a palavra base good como resultado.

Vamos mudar nossa palavra object novamente para running . Vamos também mudar a classe gramatical que passaremos para a função .lemmatize para v , que significa verbo.

Depois de fazer as alterações e inicializar a função .lemmatize, obtemos a palavra raiz da palavra running que é executada como resultado. A maioria dos lematizadores não é capaz de executar os métodos que acabamos de fazer ao usar a função .lemmatize.

No entanto, a função .lemmatize é uma ferramenta considerável a ser utilizada ao executar certos tipos de análise de texto em Python para obter a forma básica de uma palavra.

Como usar o script Python no LuckyTemplates
Como carregar conjuntos de dados de amostra no Python
Funções definidas pelo usuário do Python | Uma visão geral

Conclusão

Em resumo, podemos entender o uso da lematização em Python e como ela funciona. Também discutimos a semelhança e as diferenças entre lemmatizar e derivar . Também podemos criar um objeto de palavra usando a biblioteca do Word e como utilizar a função .lemmatize .

Além disso, aprendemos como aplicar diferentes partes do discurso na função .lemmatize. A implementação da lematização em suas tarefas diárias de análise de texto ajudará muito a diminuir o tempo e o esforço na busca pela palavra base de uma palavra específica.

Tudo de bom,

gaellim