Python Kullanarak Metin Analizi: Konuşmanın Bölümlerini Nasıl Belirlersiniz?

Bu blogda, LuckyTemplates'da metin verilerindeki konuşma bölümlerini belirlemek için Python kullanarak nasıl metin analizi yapacağınızı göstereceğiz . Python'u metin analizi için kullanma adımlarını ele alacağız ve kendi metin analizi projelerinize başlamanıza yardımcı olacak örnekler ve ipuçları vereceğiz. Bu eğitimin tam videosunu bu blogun alt kısmından izleyebilirsiniz.

İçindekiler

• Kaynak Veriler
• Python Kullanarak Metin Analizi
  • Paketleri İçe Aktarma
  • Değişkeni Yeniden Adlandırmak
  • Metin Analizini Yapmak
• Python'da Metin Analizi İçin Kodu Düzeltme
• Çözüm

Kaynak Veriler

Bu eğitimde, değerlendireceğimiz metinleri içeren, kullanıma hazır bir kelime bulutu kullanacağız. Bu, aşağıdaki görüntünün sol tarafında gösterilmiştir. Sağ tarafta, örneğin sıfatlar veya fiiller gibi konuşmanın farklı bölümlerini tanımlayan filtrelerimiz var. 

Zarf, isim, farklı isim veya fiil türleri ve fiil tabanları olan kelimeleri filtreleyebiliriz. Bu, bir pazarlama kampanyası oluştururken ve müşteri incelemelerinizde kelimeler ararken çok kullanışlıdır. 

Power Query düzenleyicimizi açarak başlayalım . 

Kaynak verilerimizde kimlikler, yaş, unvan ve inceleme metni için sütunlarımız var. Metni İncele sütununa odaklanacağız ve metin analizimizi yapmak için onu ayrıştıracağız. Analizimizde faydalı olabilecek başka kategoriler de var.

Python Kullanarak Metin Analizi

Getirdiğimiz normal verilerle başlayalım. İlk yapacağımız şey satırları filtrelemek olacak çünkü çok fazla verimiz var ve metin analizi yaptığımızda zaman alıyor. 

Verilerimizi filtrelemek için, metin analizini biraz daha hızlı yapmak için ilk 50 satırı alın. 

Filtrelendikten sonra, Python betiğini Dönüştür ve Çalıştır'a gidin . Çok fazla kod olmadığı için burada her şeyi kodlayacağız. 

Paketleri İçe Aktarma

Python betik düzenleyicimizi kullanarak Python metin analizimiz için iki paket getirelim . Veri işleme kitaplığımız pd değişkeni olarak kaydedilecek olan “ pandaları pd olarak içe aktaracağız ” . Ardından “ from text blob ” , kelimeler arasına büyük harflerle  “ TextBlob'u import” edeceğiz .

Bir belge dizisi koyarak ne yaptığımızı her zaman belgeleyebiliriz. Paketlerimizin üzerine gerekli kütüphaneleri #bring in yazalım .

Değişkeni Yeniden Adlandırmak

Komut dosyamızın ilk satırında, LuckyTemplates tarafından sağlanan # 'dataset' bu komut dosyası için giriş verilerini tutar diyen bir satır var. Bu satır, verilerimizin veri kümesi olarak adlandırıldığını söylüyor. 

Bunu değiştirelim çünkü “veri kümesi” yazmak çok uzun sürüyor. Sonraki satıra #change dataset değişkenini ve df = dataset yazın .

Şimdi değişkenimizi yazmak daha kısa. 

Metin Analizini Yapmak

Metin çözümlememize devam edelim. İnceleme metinlerimizin tek tek hücreler içeren bir sütunda olduğunu hatırlayın. Bu kurulum bize pek yardımcı olmuyor çünkü üzerinde bir analiz yapabilmek için tüm metinleri bir arada istiyoruz. 

Ancak boşluk olmadan birleştirilmesini istemiyoruz, o yüzden kodumuza çift tırnak içinde boşluk bırakarak başlayalım .  

Ardından .join'i ekleyelim ve veri setini tutan df değişkenimizi kullanarak inceleme metni sütunumuzu izole edelim . Sütunu izole eden köşeli parantez gösteriminin içine yerleştirilmiş  'Review Text' yazın .

Bu kod her şeyi birleştirecek, ancak onu kaydetmemiz gerekiyor, bu yüzden word adında bir değişken oluşturalım .

Tüm kelimeleri bir araya getirdikten sonra, kelimeleri analiz etmeye başlamak için metin bloğumuzu kullanabiliriz. 

Yapılacak ilk şey , kelimeleri bir metin bloğuna iletmek için ihtiyaç duyduğumuz blob değişkenini kullanarak konuşma bölümlerimizi oluşturmaktır . Bu metin blobunu kullanacağız ve sözlerimiz olan metni geçireceğiz . Bu , blob = TextBlob(words) şeklinde yazılır .

Artık bu blob'a sahip olduğumuza göre, onu alıp blob.tags'ı kullanarak parts_of_speech değişkenimizi oluşturacağız . Etiketler, konuşmanın her bir bölümünün kısaltmaları olacaktır. 

Bundan sonra yapacağımız şey, getirdiğimiz Pandaları kullanarak bunu bir veri çerçevesi olarak kaydetmek . 

Tamam diyerek kodumuzu çalıştıralım. Kodumuzu çalıştırdıktan sonra, değişkenlerimizin bir tablosunu almalıyız. Veri kümesine veya orijinal verilerimize sahibiz . Ayrıca verilerimiz ve df var . 

İstenen sonuçları alamadıysanız, kodda alabileceğiniz bazı hataları önlemenin farklı yollarını size göstereceğiz.

Python'da Metin Analizi İçin Kodu Düzeltme

Bazen ilgilendiğimiz metnin biçimini değiştirirken çok açık olmamız gerekebilir. 

Bunu, df değişkenimizi çağırarak, köşeli parantez içindeki 'Review Text'i ayırarak ve ardından .astype('str') kullanarak türü dizgelere çevirerek yapabiliriz . Ardından bunu df değişkenine yeniden kaydedin . 

Kodu yeniden çalıştırmak için Tamam'ı tıklayın . Daha önce aldığımız sonuçların aynısını almalıyız.

Şimdi, neye benzediğini görmek için getirdiğimiz son değişken olan  data'mızı açmak istiyoruz .

Tüm sözlerimizi konuşma bölümlerine göre ayırmalıyız. Sütunlarımıza henüz isim vermedik ama bunu kolayca yapabiliriz. 

Aynı metin analizinin eski versiyonunda, ilk sütunu Word ve ikincisini Abbreviation olarak adlandırdım . 

Konuşma Bölümleri sorgusunda , bu kısaltmalar için olan gerçek kelimeleri getirir ve hepsini birbirine bağlarız.

Şimdi Kapatıp Uygulayalım . 

Yaptığımız adımlar, basit bir Python kodu kullanarak tanımladığımız konuşmanın farklı bölümlerini filtrelememize izin verdi . Bize LuckyTemplates'da metnimizi konuşma kategorisinin hangi bölümlerine ait olduklarına göre kolayca filtreleyebileceğimiz bu görseli veriyor. 

Python'da Metin Analizi | Giriş
Python Kullanıcı Tanımlı Fonksiyonlar | LuckyTemplates'da Python Listesine ve For Loop'a Genel Bakış

Çözüm

Bir veri analisti olarak , büyük miktarda yapılandırılmamış metin verisinden içgörü ve anlam çıkarma ihtiyacıyla karşılaşabilirsiniz. Öğrendiğiniz şey, metin analizi yoluyla metin verilerini anlamak için yararlı bir yaklaşımdır.

Artık metni kolayca sözcükler ve cümleler gibi daha küçük birimlere ayırabilir ve ardından bu birimleri kalıplar ve ilişkiler açısından analiz edebilirsiniz. Python ve LuckyTemplates'da metin analizini kullanarak tüm bu hedeflere ulaşabilirsiniz. 

Herşey gönlünce olsun,