Lemmatisasi Dalam Python | Panduan Pemula

Dalam tutorial ini, kita akan membincangkan lemmatisasi dalam Python yang merupakan kaedah yang digunakan untuk mengumpulkan bersama unsur-unsur yang berbeza bagi sesuatu perkataan. Lemmatisasi juga bertujuan untuk mengurangkan infleksi perkataan dan memberi tumpuan kepada penyediaan akar atau bentuk pangkal sesuatu perkataan iaitu maksud perkataan lemma .

Isi kandungan

• Lemmatisasi Vs Stemming
• Perkara Yang Perlu Dipertimbangkan Dalam Menggunakan Lemmatisasi
• Peringkat Persediaan Untuk Lemmatisasi Dalam Python
• Melaksanakan Lemmatisasi Dalam Python
• Kesimpulan

Lemmatisasi Vs Stemming

Lemmatization sama dengan stemming yang juga berfungsi untuk mengurangkan infleksi dalam perkataan. Satu-satunya perbezaan ialah lemmatisasi menggunakan perkataan berasaskan kamus sebagai hasilnya.

Sebaliknya, stemming hanya mengalih keluar imbuhan daripada perkataan infleksi yang mungkin menghasilkan perkataan yang tidak wujud.

Sebagai contoh, jika kita menggunakan berpunca daripada perkataan kajian , ia akan memberikan perkataan kajian sebagai output kerana ia bertujuan untuk membuang akhiran es daripada perkataan kajian .

Sebaliknya, jika lemmatisasi digunakan, perkataan kajian akan diberikan sebagai hasilnya kerana ia memberi tumpuan kepada penyediaan bentuk dasar sesuatu perkataan.

Perkara Yang Perlu Dipertimbangkan Dalam Menggunakan Lemmatisasi

• Ia menggunakan perkataan berasaskan kamus. Dengan istilah lemma yang bermaksud akar atau bentuk pangkal sesuatu perkataan, lemmatisasi bertujuan untuk menyediakan bentuk dasar sesuatu perkataan dan bukannya hanya membuang fleksi sesuatu perkataan.
• Ia bergantung sepenuhnya pada bahagian pertuturan untuk mencari kata dasar. Tanpa menyatakan bahagian pertuturan), lemmatisasi mungkin tidak berfungsi dengan baik dan anda mungkin tidak mendapat hasil yang anda cari.
• Ia lebih perlahan daripada berpunca tetapi ia lebih berkuasa. Memandangkan lemmatisasi tidak mengikut algoritma untuk melakukan pada perkataan dan keperluan menyediakan bahagian pertuturan, ia dianggap lebih perlahan daripada berpunca. Walau bagaimanapun, ia lebih berkuasa dalam cara menggunakan perkataan berasaskan kamus untuk hasil. 
• Ia mempunyai ketepatan yang lebih tinggi dalam mencari kata dasar. Memandangkan lemmatisasi menggunakan perkataan berasaskan kamus dalam meletakkan hasil daripada perkataan infleksi, anda akan mempunyai peluang yang lebih tinggi untuk mendapatkan output yang tepat.

Peringkat Persediaan Untuk Lemmatisasi Dalam Python

Sebelum kita meneruskan untuk melaksanakan lemmatisasi, mari kita mulakan dengan mengimport perpustakaan Word daripada textblob .

Selepas itu, kita akan mencipta objek perkataan. 

Untuk mencipta objek perkataan, kami mencipta pembolehubah bernama w . Kemudian kami menyimpan perpustakaan Word yang memegang objek perkataan kami iaitu octopi , bentuk jamak bagi perkataan octopus. Ambil perhatian bahawa apabila menghantar elemen menggunakan perpustakaan Word, adalah penting untuk menyertakan elemen tersebut dengan petikan tunggal.

Mari kita mulakan pembolehubah w untuk melihat sama ada ia memegang perkataan objek yang baru kita buat.

Apabila melaksanakan pembolehubah w , kita mendapat perkataan objek octopi sebagai hasilnya.

Melaksanakan Lemmatisasi Dalam Python

Seterusnya, kita akan melaksanakan lemmatisasi dengan menggunakan fungsi .lemmatize . 

Dalam langkah ini, kami menggunakan pembolehubah w yang memegang perkataan objek octopi dan kami menggunakan fungsi .lemmatize untuk menggunakan lemmatisasi. Hasilnya, kami mendapat perkataan sotong yang merupakan akar atau bentuk pangkal perkataan sotong .

Selepas itu, mari cuba gunakan lemmatisasi dengan perkataan better .

Dalam contoh sebelumnya, kami mengemas kini objek perkataan kami daripada octopi kepada better . Kemudian kami lemmatize dengan fungsi .lemmatize . Oleh itu, hasil yang kami dapat adalah sama dengan perkataan objek yang kami gunakan.

Dalam menggunakan fungsi .lemmatize, anda boleh menukar cara lematisasinya dengan menghantar sebahagian daripada pertuturan. Sebagai contoh, mari cuba hantarkan a kepada fungsi .lemmatize yang bermaksud kata sifat dalam bahagian-bahagian ucapan. 

Selepas menambah sebahagian daripada pertuturan pada fungsi .lemmatize, kita boleh mendapatkan kata dasar yang baik sebagai hasilnya.

Mari kita tukar objek perkataan kita sekali lagi kepada berjalan . Mari juga tukar bahagian pertuturan yang akan kita salurkan kepada fungsi .lemmatize kepada v yang bermaksud kata kerja.

Selepas membuat perubahan dan memulakan fungsi .lemmatize, kami mendapat kata dasar perkataan berjalan yang dijalankan sebagai hasilnya. Kebanyakan lemmatizer tidak mampu melaksanakan kaedah yang baru kami lakukan dalam menggunakan fungsi .lemmatize.

Walau bagaimanapun, fungsi .lemmatize ialah alat yang cukup besar untuk digunakan apabila melakukan jenis analisis teks tertentu dalam Python untuk mendapatkan bentuk asas sesuatu perkataan.

Cara Menggunakan Skrip Python Dalam LuckyTemplates
Cara Memuatkan Contoh Dataset Dalam Python
Python Fungsi Ditakrifkan Pengguna | Gambaran keseluruhan

Kesimpulan

Secara ringkasnya, kami dapat memahami penggunaan lemmatisasi dalam Python dan cara ia berfungsi. Kami telah membincangkan persamaan dan perbezaan lematizing daripada stemming juga. Kami juga boleh mencipta objek perkataan menggunakan perpustakaan Word dan cara menggunakan fungsi .lemmatize .

Selain itu, kami telah mempelajari cara menggunakan bahagian pertuturan yang berbeza dalam fungsi .lemmatize. Melaksanakan lemmatisasi dalam tugasan analisis teks harian anda akan sangat membantu anda mengurangkan masa dan usaha dalam mencari kata dasar bagi perkataan tertentu.

Semua yang terbaik,

Gaellim