تحليل النص باستخدام بايثون: كيفية التعرف على أجزاء من الكلام

في هذه المدونة ، سنوضح لك كيفية إجراء تحليل نصي باستخدام Python لتحديد أجزاء الكلام في البيانات النصية داخل LuckyTemplates. سنغطي خطوات استخدام Python لتحليل النص ونقدم أمثلة ونصائح لمساعدتك على البدء في مشاريع تحليل النص الخاصة بك. يمكنك مشاهدة الفيديو الكامل لهذا البرنامج التعليمي أسفل هذه المدونة.

جدول المحتويات

• مصدر معلومات
• تحليل النص باستخدام بايثون
  • استيراد الطرود
  • إعادة تسمية المتغير
  • القيام بتحليل النص
• إصلاح كود تحليل النص في بايثون
• خاتمة

مصدر معلومات

في هذا البرنامج التعليمي ، سنستخدم سحابة كلمات جاهزة تحتوي على النصوص التي سنقوم بتقييمها. يظهر هذا على الجانب الأيسر من الصورة أدناه. على الجانب الأيمن ، لدينا المرشحات لتحديد أجزاء الكلام المختلفة ، على سبيل المثال ، الصفات أو الأفعال. 

يمكننا تصفية الكلمات التي هي ظرف ، وأسماء ، وأنواع مختلفة من الأسماء أو الأفعال ، وقواعد الفعل. هذا مفيد جدًا عند إنشاء حملة تسويقية والبحث عن كلمات في مراجعات العملاء. 

لنبدأ بفتح محرر Power Query الخاص بنا . 

في بيانات المصدر لدينا ، لدينا أعمدة للمعرفات والعمر والعنوان ونص المراجعة. سنركز على عمود مراجعة النص ، وسنقوم بتحليله لإجراء تحليل نصي. هناك أيضًا فئات أخرى قد تكون مفيدة في تحليلنا.

تحليل النص باستخدام بايثون

لنبدأ بالبيانات العادية التي أدخلناها. أول شيء سنفعله هو تصفية الصفوف لأن لدينا الكثير من البيانات ، وعندما نقوم بتحليل النص ، يستغرق الأمر وقتًا. 

لتصفية بياناتنا ، خذ أول 50 صفاً لجعل تحليل النص أسرع قليلاً. 

بمجرد التصفية ، انتقل إلى Transform و Run Python script. سنقوم بترميز كل شيء هنا لأنه لا يوجد الكثير من التعليمات البرمجية. 

استيراد الطرود

دعنا نحضر حزمتين لتحليل نص Python باستخدام محرر نص Python الخاص بنا . سنقوم "باستيراد الباندا كـ pd" ، مكتبة معالجة البيانات الخاصة بنا ليتم حفظها كـ pd متغير. ثم " من نص blob " ، سنقوم " باستيراد TextBlob" بحرف كبير بين الكلمات. 

يمكننا دائمًا توثيق ما نقوم به من خلال وضع سلسلة من المستندات. دعنا نكتب #bring في المكتبات الأساسية فوق حزمنا.

إعادة تسمية المتغير

في السطر الأول من البرنامج النصي ، يوجد هذا السطر المقدم من LuckyTemplates الذي يقول # "مجموعة البيانات" تحتفظ ببيانات الإدخال لهذا البرنامج النصي. يقول هذا السطر أن بياناتنا تسمى مجموعة البيانات. 

لذلك دعونا نغير ذلك لأنه يستغرق وقتًا طويلاً لكتابة "مجموعة البيانات". اكتب # تغيير متغير مجموعة البيانات و df = مجموعة البيانات في السطر التالي.

الآن أصبح كتابة المتغير أقصر. 

القيام بتحليل النص

دعنا ننتقل إلى تحليل النص الخاص بنا. تذكر أن نصوص المراجعة الخاصة بنا موجودة في عمود به خلايا فردية. هذا الإعداد ليس مفيدًا لنا حقًا لأننا نريد جميع النصوص معًا حتى نتمكن من إجراء تحليل عليها. 

ومع ذلك ، لا نريد ضمهم بدون مسافة ، لذلك دعونا نبدأ الكود الخاص بنا بمسافة داخل علامة اقتباس مزدوجة .  

ثم دعونا نضيف .join وعزل عمود نص المراجعة الخاص بنا باستخدام متغير df ، الذي يحتوي على مجموعة البيانات. اكتب "مراجعة النص" الموضوعة داخل رمز القوس الذي يعزل العمود. 

سينضم هذا الرمز إلى كل شيء ، لكننا نحتاج إلى حفظه ، لذلك دعونا ننشئ متغيرًا يسمى الكلمات.

بمجرد أن نحصل على كل الكلمات معًا ، يمكننا بعد ذلك استخدام blob النص الخاص بنا لبدء تحليل الكلمات. 

أول شيء يجب القيام به هو إنشاء أجزاء الكلام الخاصة بنا باستخدام متغير blob الذي نحتاجه لتمرير الكلمات إلى blob نصي. سنستخدم هذا النص ونمرره في النص ، وهو كلماتنا . تتم كتابة هذا على هيئة blob = TextBlob (كلمات).

الآن بعد أن أصبح لدينا هذه النقطة ، سنأخذها وننشئ متغير parts_of_speech باستخدام blob.tags . ستكون العلامات هي الاختصارات لكل جزء من أجزاء الكلام. 

ما سنفعله بعد ذلك هو حفظ هذا كإطار بيانات باستخدام Pandas التي جلبناها. دعنا نسميها بياناتنا التي تساوي pd.DataFrame وسنقوم بإدخال أجزائنا في الكلام . 

لنضغط على "موافق" لتشغيل الكود الخاص بنا. بعد تشغيل الكود ، يجب أن نحصل على جدول بالمتغيرات الخاصة بنا. لدينا مجموعة البيانات أو بياناتنا الأصلية. لدينا أيضًا بياناتنا و df . 

إذا لم تحصل على النتائج المرجوة ، فسنعرض لك الطرق المختلفة لتجنب بعض الأخطاء التي قد تحصل عليها في الكود.

إصلاح كود تحليل النص في بايثون

في بعض الأحيان ، قد نحتاج إلى أن نكون صريحين جدًا في تغيير تنسيق النص الذي نهتم به. 

يمكننا القيام بذلك عن طريق استدعاء متغير df الخاص بنا ، وعزل "مراجعة النص " الموضوعة داخل ترميز قوس ، ثم تغيير النوع إلى سلاسل باستخدام .astype ('str') . ثم أعد حفظ هذا في متغير df . 

انقر فوق "موافق" لإعادة تشغيل الرمز. يجب أن نحصل على نفس النتائج التي حصلنا عليها سابقًا.

الآن ، نريد أن نفتح بياناتنا ، المتغير الأخير الذي أدخلناه لنرى كيف يبدو ذلك. 

يجب أن تكون كل كلماتنا مقسمة إلى أجزاء من الكلام. لم نقم بتسمية أعمدتنا بعد ، ولكن يمكننا القيام بذلك بسهولة. 

في الإصدار القديم من تحليل النص نفسه ، أطلقت على العمود الأول كلمة Word والثاني باسم الاختصار . 

في استعلام أجزاء الكلام ، نقوم بإحضار الكلمات الفعلية لهذه الاختصارات وربطها معًا.

الآن ، دعنا نغلق ونطبق . 

سمحت لنا الخطوات التي قمنا بتصفية أجزاء الكلام المختلفة التي حددناها باستخدام رمز Python البسيط . إنه يعطينا هذه الصورة المرئية في LuckyTemplates حيث يمكننا بسهولة تصفية نصنا بناءً على أجزاء فئة الكلام التي يقعون فيها. 

تحليل النص في بايثون | مقدمة
وظائف يحددها مستخدم بايثون | نظرة عامة على
قائمة Python وللحلقة في LuckyTemplates

خاتمة

بصفتك محلل بيانات ، قد تواجه الحاجة إلى استخراج الأفكار والمعنى من كميات كبيرة من البيانات النصية غير المنظمة. ما تعلمته هو طريقة مفيدة لفهم البيانات النصية من خلال تحليل النص.

الآن ، يمكنك بسهولة تقسيم النص إلى وحدات أصغر مثل الكلمات والجمل ، ثم تحليل هذه الوحدات لمعرفة الأنماط والعلاقات. يمكنك تحقيق كل هذه الأهداف باستخدام تحليل النص في Python و LuckyTemplates. 

أتمنى لك كل خير،