การวิเคราะห์ข้อความโดยใช้ Python: วิธีระบุส่วนของคำพูด

ในบล็อกนี้ เราจะแสดงวิธีการวิเคราะห์ข้อความโดยใช้ Python เพื่อระบุส่วนของคำพูดในข้อมูลข้อความภายใน LuckyTemplates เราจะกล่าวถึงขั้นตอนการใช้ Python สำหรับการวิเคราะห์ข้อความและให้ตัวอย่างและคำแนะนำเพื่อช่วยให้คุณเริ่มต้นกับโครงการวิเคราะห์ข้อความของคุณเอง คุณสามารถดูวิดีโอทั้งหมดของบทช่วยสอนนี้ได้ที่ด้านล่างของบล็อกนี้

สารบัญ

• แหล่งข้อมูล
• การวิเคราะห์ข้อความโดยใช้ Python
  • การนำเข้าแพ็คเกจ
  • การเปลี่ยนชื่อตัวแปร
  • ทำการวิเคราะห์ข้อความ
• แก้ไขรหัสสำหรับการวิเคราะห์ข้อความใน Python
• บทสรุป

แหล่งข้อมูล

ในบทช่วยสอนนี้ เราจะใช้ word cloud แบบสำเร็จรูปซึ่งมีข้อความที่เราจะประเมิน ซึ่งแสดงอยู่ทางด้านซ้ายของภาพด้านล่าง ทางด้านขวา เรามีตัวกรองเพื่อระบุส่วนต่างๆ ของคำพูด ตัวอย่างเช่น คำคุณศัพท์หรือกริยา 

เราสามารถกรองคำที่เป็นกริยาวิเศษณ์ คำนาม คำนามหรือกริยาประเภทต่างๆ และฐานกริยา สิ่งนี้มีประโยชน์มากเมื่อสร้างแคมเปญการตลาดและค้นหาคำในบทวิจารณ์ของลูกค้า 

เริ่มต้นด้วยการเปิดตัวแก้ไข  Power Query ของเรา

ในแหล่งข้อมูลของเรา เรามีคอลัมน์สำหรับ ID อายุ ชื่อเรื่อง และข้อความรีวิว เราจะมุ่งเน้นไปที่ คอลัมน์ ข้อความรีวิวและเราจะแยกวิเคราะห์เพื่อทำการวิเคราะห์ข้อความของเรา นอกจากนี้ยังมีหมวดหมู่อื่น ๆ ที่อาจเป็นประโยชน์ในการวิเคราะห์ของเรา

การวิเคราะห์ข้อความโดยใช้ Python

เริ่มจากข้อมูลปกติที่เรานำเข้ามา สิ่งแรกที่เราจะทำคือกรองแถวเพราะเรามีข้อมูลจำนวนมาก และเมื่อเราทำการวิเคราะห์ข้อความก็ต้องใช้เวลา 

ในการกรองข้อมูลของเรา ให้ใช้ 50 แถวแรกเพื่อทำให้การวิเคราะห์ข้อความเร็วขึ้นเล็กน้อย 

เมื่อกรองออกแล้ว ให้ไปที่Transform and Run Python script เราจะเขียนโค้ดทุกอย่างที่นี่เพราะโค้ดมีไม่มาก 

การนำเข้าแพ็คเกจ

มารวมสองแพ็คเกจสำหรับการวิเคราะห์ข้อความ Python โดยใช้ตัวแก้ไขสคริปต์ Python ของเรา เราจะ"นำเข้าแพนด้าเป็น pd"ซึ่งเป็นไลบรารีการจัดการข้อมูลของเราที่จะบันทึกเป็นตัวแปร pd จากนั้น " จากtext blob "เราจะ " นำเข้า TextBlob"โดยมีตัวพิมพ์ใหญ่อยู่ระหว่างคำ 

เราสามารถบันทึกสิ่งที่เรากำลังทำอยู่เสมอโดยใส่สตริงเอกสาร มาเขียน#bring ในไลบรารีที่จำเป็นบนแพ็คเกจของเรา

การเปลี่ยนชื่อตัวแปร

ในบรรทัดแรกของสคริปต์ของเรา มีบรรทัดนี้ที่จัดทำโดย LuckyTemplates ที่ระบุว่า# 'ชุดข้อมูล' เก็บข้อมูลอินพุตสำหรับสคริปต์นี้ บรรทัดนี้บอกว่าข้อมูลของเราเรียกว่าชุดข้อมูล 

ดังนั้นขอเปลี่ยนเนื่องจากการเขียน "ชุดข้อมูล" ใช้เวลานานเกินไป พิมพ์#change ตัวแปร datasetและdf = datasetในบรรทัดถัดไป

ตอนนี้การเขียนตัวแปรของเราสั้นลง 

ทำการวิเคราะห์ข้อความ

เรามาวิเคราะห์ข้อความกันต่อ โปรดจำไว้ว่าข้อความทบทวนของเราอยู่ในคอลัมน์ที่มีแต่ละเซลล์ การตั้งค่านี้ไม่เป็นประโยชน์สำหรับเราจริงๆ เนื่องจากเราต้องการรวมข้อความทั้งหมดไว้ด้วยกัน เพื่อที่เราจะสามารถทำการวิเคราะห์ได้ 

อย่างไรก็ตาม เราไม่ต้องการให้รวมเข้าด้วยกันโดยไม่มีช่องว่าง ดังนั้นเรามาเริ่มโค้ดของเราด้วยการเว้นวรรคภายในเครื่องหมายอัญประกาศคู่  

จากนั้นมาเพิ่ม.joinและแยกคอลัมน์ข้อความรีวิวโดยใช้ ตัวแปร dfซึ่งเก็บชุดข้อมูล พิมพ์'ข้อความรีวิว'วางไว้ในเครื่องหมายวงเล็บซึ่งแยกคอลัมน์ 

รหัสนี้จะรวมทุกอย่าง แต่เราต้องบันทึกดังนั้นมาสร้างตัวแปรที่เรียกว่าคำ

เมื่อเรารวมคำศัพท์ทั้งหมดเข้าด้วยกันแล้ว เราก็สามารถใช้ text blob เพื่อเริ่มวิเคราะห์คำศัพท์ได้ 

สิ่งแรกที่ต้องทำคือสร้างส่วนของคำพูดโดยใช้ ตัวแปร หยดซึ่งเราจำเป็นต้องส่งคำไปยังหยดข้อความ เราจะใช้ข้อความหยดนั้นและส่งผ่านข้อความ ซึ่งก็คือคำพูดของ เรา สิ่งนี้ถูกพิมพ์เป็นblob = TextBlob (คำ)

ตอน นี้เรามี blob นั้นแล้ว เราจะนำมันมาสร้างตัวแปรparts_of_speech โดยใช้ blob.tags แท็กจะเป็นตัวย่อสำหรับแต่ละส่วนของคำพูด 

สิ่งที่เราจะทำต่อไปคือบันทึกสิ่งนี้เป็น data frame โดยใช้Pandas  ที่เรานำเข้ามา เรียกมันว่าข้อมูล ของเรา ซึ่งเท่ากับpd.DataFrameและเรากำลังนำpart_of_speech ของเราเข้ามา

คลิกตกลงเพื่อรันโค้ดของเรา หลังจากรันโค้ดแล้ว เราควรจะได้ตารางของตัวแปรของเรา เรามีชุดข้อมูลหรือข้อมูลเดิมของเรา เรายังมีข้อมูลของ  เรา และdf

หากคุณไม่ได้ผลลัพธ์ตามที่ตั้งใจไว้ เราจะแสดงวิธีต่างๆ เพื่อหลีกเลี่ยงข้อผิดพลาดที่คุณอาจได้รับในโค้ด

แก้ไขรหัสสำหรับการวิเคราะห์ข้อความใน Python

บางครั้ง เราอาจต้องมีความชัดเจนมากในการเปลี่ยนรูปแบบของข้อความที่เกี่ยวข้อง 

เราสามารถทำได้โดยการเรียก ตัวแปร dfแยก' Review Text ' ที่อยู่ในวงเล็บ จากนั้นเปลี่ยนประเภทเป็นสตริงโดยใช้.astype('str') จากนั้นบันทึกซ้ำอีกครั้งในตัวแปร  df

คลิกตกลงเพื่อรันโค้ดอีก ครั้ง เราควรได้รับผลลัพธ์เช่นเดียวกับที่เราได้รับก่อนหน้านี้

ตอนนี้เราต้องการเปิดข้อมูล ของเรา ตัวแปรสุดท้ายที่เรานำเข้ามาเพื่อดูว่ามีลักษณะอย่างไร 

เราควรแยกคำพูดทั้งหมดออกเป็นส่วนๆ ของคำพูด เรายังไม่ได้ตั้งชื่อคอลัมน์ของเรา แต่เราสามารถทำได้ง่ายๆ 

ในการวิเคราะห์ข้อความเดียวกันนี้ในเวอร์ชันเก่า ฉันเรียกคอลัมน์แรกว่าWordและคอลัมน์ที่สองว่า  Abbreviation

ใน แบบสอบถาม Parts of Speechเรานำคำจริงที่มีไว้สำหรับตัวย่อเหล่านี้เข้ามาและเชื่อมโยงทั้งหมดเข้าด้วยกัน

ตอนนี้มาปิด & สมัครกันเถอะ 

ขั้นตอนที่เราทำช่วยให้เรากรองส่วนต่างๆ ของคำพูดที่เราระบุได้โดยใช้โค้ดPython แบบง่ายๆ มันทำให้เราเห็นภาพนี้ใน LuckyTemplates ซึ่งเราสามารถกรองข้อความของเราตามประเภทของคำพูดที่อยู่ในหมวดหมู่ได้อย่างง่ายดาย 

การวิเคราะห์ข้อความใน Python | บทนำ
Python User Defined Functions | รายการ Python ภาพรวม
และสำหรับลูปใน LuckyTemplates

บทสรุป

ในฐานะนักวิเคราะห์ข้อมูลคุณอาจพบกับความจำเป็นในการดึงข้อมูลเชิงลึกและความหมายจากข้อมูลข้อความที่ไม่มีโครงสร้างจำนวนมาก สิ่งที่คุณได้เรียนรู้เป็นแนวทางที่มีประโยชน์ในการทำความเข้าใจข้อมูลข้อความผ่านการวิเคราะห์ข้อความ

ตอนนี้ คุณสามารถแยกข้อความออกเป็นหน่วยย่อยๆ เช่น คำและประโยค จากนั้นวิเคราะห์หน่วยเหล่านี้เพื่อหารูปแบบและความสัมพันธ์ คุณสามารถบรรลุเป้าหมายเหล่านี้ได้โดยใช้การวิเคราะห์ข้อความใน Python และ LuckyTemplates 

สิ่งที่ดีที่สุด