DAX Studioda LuckyTemplates Sıkıştırma Teknikleri

Studio'da raporunuzu optimize etmenize yardımcı olan farklı LuckyTemplates sıkıştırma teknikleri hakkında bilgi edineceksiniz .

Veriler, LuckyTemplates Power Pivot ve SSAS'ta Analiz Hizmetleri tarafından segment segment yüklendikten sonra iki olay gerçekleşir. İlki , toplam RAM boyutunu azaltmak için sütunları sıkıştırmak üzere farklı kodlama yöntemleri kullanmaya çalışmalarıdır . İkincisi, yinelenen değerleri bir araya getiren en iyi sıralama düzenini finanse etmeye çalışmalarıdır. Bu yöntem ayrıca sıkıştırmayı artırır ve dolayısıyla bellek üzerindeki baskıyı azaltır.

Analysis Services tarafından kullanılan farklı sıkıştırma teknikleri vardır. Bu öğretici, özellikle Değer Kodlama, Çalışma Uzunluğu Kodlama ve Sözlük Kodlama olmak üzere üç yöntemi kapsar. Bu öğreticinin son bölümünde, Analysis Services'ta sıralama düzeninin nasıl çalıştığını ele alacağız.

İçindekiler

• LuckyTemplates Sıkıştırma Tekniği #1: Değer Kodlaması
• LuckyTemplates Sıkıştırma Tekniği #2: Çalışma Uzunluğu Kodlaması
• LuckyTemplates Sıkıştırma Tekniği #3: Sözlük Kodlaması
• Analiz Hizmetlerinde Sıralama Düzeni
• Çözüm

LuckyTemplates Sıkıştırma Tekniği #1: Değer Kodlaması

İlki Değer Kodlama olarak adlandırılır.

Değer Kodlama, belleği azaltmak için bir sütundaki her değer arasında matematiksel bir ilişki arar. İşte Microsoft Excel'deki bir örnek:

Bu sütun, değerleri saklamak için 16.384 bit gerektirir.

Gereken bitleri hesaplamak için, sütunlardaki en yüksek değeri elde etmek için önce Excel'deki MAX() işlevini kullanın. Bu durumda, 9144'tür. Ardından, gereken bitleri hesaplamak için POWER() işlevini kullanın. GÜÇ(2, X) bağımsız değişkenini kullanın; burada X, MAKS değerinden daha büyük bir yanıt döndürecek herhangi bir pozitif değerdir. Bu durumda X, gereken bitleri de temsil eder. Dolayısıyla bu örnek için, X'in değeri 14'tür ve bu da 16,384 ile sonuçlanır . Bu nedenle, sütun 14 bit depolama gerektirir.

VertiPaq, Value Encoding kullanarak gerekli bitleri azaltmak için sütundaki MIN değerini arar ve her bir değerden çıkarır. Bu durumda, sütundaki MIN değeri 9003'tür. Bunu sütundan çıkarırsanız, şu değerleri döndürür:

Aynı işlevleri ve bağımsız değişkenleri kullanarak, yeni sütun için MAX değerinin 141 olduğunu görebilirsiniz. Ve X'in değeri olarak 8 kullanıldığında 256 elde edilir . Bu nedenle, yeni sütun yalnızca 8 bit gerektirir.

İkinci sütunun ilk sütuna göre ne kadar sıkıştırıldığını görebilirsiniz.

Veriler sıkıştırıldıktan ve yeni sütunu sorgulamaya çalıştığınızda, Storage Engine veya Vertipaq bu sütunu tarar. Sütunun yeni değerlerini basitçe döndürmezler. Bunun yerine, sonucu kullanıcıya geri göndermeden önce çıkarılan değeri eklerler.

Ancak, Değer Kodlama yalnızca tamsayılar veya sabit ondalık sayılar içeren değerler içeren sütunlarda çalışır.

LuckyTemplates Sıkıştırma Tekniği #2: Çalışma Uzunluğu Kodlaması

İkinci kodlama yöntemine Çalışma Uzunluğu Kodlaması adı verilir.

Çalışma Uzunluğu Kodlaması, farklı değeri, bir Başlangıç ​​sütununu ve bir Sayım sütununu içeren bir veri yapısı oluşturur.

Bir örnek verelim:

Bu durumda, ilk satırda bir Red değerinin mevcut olduğunu tanımlar . Ardından, Siyah değerinin ikinci satırda başladığını ve sonraki dört hücre için mevcut olduğunu öğrenir . Altıncı satırda başlayan ve sonraki üç satırda kullanılabilen üçüncü değer olan Blue'ya ilerler . Ve bu sütundaki son değere ulaşana kadar devam eder.

Böylece sütunun tamamını depolamak yerine, yalnızca belirli bir değerin nerede başlayıp nerede bittiği ve kaç kopyası olduğu hakkında bilgi içeren bir veri yapısı oluşturur.

Aynı yapıya sahip sütunlar için, değerler artan veya azalan düzende düzenlenerek veriler daha da sıkıştırılabilir.

Bu düzgün sıralanmış sütunla, Run Length Encoding yönteminin artık bir satır eksik bir veri yapısı döndürdüğünü görebilirsiniz.

Bu nedenle, birçok farklı değerle uğraşıyorsanız, sütunu mümkün olan en uygun şekilde sıralamanız önerilir. Bu size sırayla daha az RAM kaplayan daha az satır içeren bir veri yapısı verecektir.

Çalışma Uzunluğu Kodlaması birincil anahtarlara uygulanamaz çünkü birincil anahtar sütunları yalnızca benzersiz değerler içerir. Böylece her değer için bir satır depolamak yerine, sütunu olduğu gibi saklayacaktır.

LuckyTemplates Sıkıştırma Tekniği #3: Sözlük Kodlaması

Üçüncü kodlama yöntemine Sözlük Kodlama denir.

Sözlük Kodlama, bir sütunun farklı değerini içeren sözlük benzeri bir yapı oluşturur. Ayrıca bu benzersiz değere bir dizin atar.

Önceki örneği kullanarak Sözlük Kodlamanın nasıl çalıştığına bakalım. Bu durumda Kırmızı, Siyah ve Mavi değerlerine sırasıyla 0, 1 ve 2 indeksi atanır.

Daha sonra Çalışma Uzunluğu Kodlamasınınkine benzer bir veri yapısı oluşturur. Ancak Dictionary Encoding, gerçek değerleri saklamak yerine her bir değerin atanmış indeksini saklar.

Sayılar dize değerlerinden daha az yer kapladığından bu, tüketilen RAM'i daha da azaltır.

Sözlük Kodlaması ayrıca tablo veri türünü bağımsız hale getirir. Yani, farklı veri türlerinde depolanabilen bir sütununuz olsa da, veri yapısı yalnızca dizin değerini depolayacağından fark etmez.

Ancak, bağımsız olsa bile, veri türü yine de sözlüğün boyutu üzerinde etkili olacaktır. Sütunu kaydetmek için seçtiğiniz veri türüne bağlı olarak, sözlük (veya veri yapısı) boyutu dalgalanacaktır. Ancak sütunun kendisinin boyutu aynı kalacaktır.

Bu nedenle, hangi veri türünü seçeceğinize bağlı olarak, sütuna Dictionary Encoding uygulandıktan sonra, Run Length Encoding daha sonra uygulanabilir.

Bu durumda Analysis Services iki veri yapısı oluşturacaktır. Önce bir sözlük oluşturacak ve ardından sütunun sıkıştırmasını daha da artırmak için Çalışma Uzunluğu Kodlamasını uygulayacaktır.

Analiz Hizmetlerinde Sıralama Düzeni

Bu öğreticinin son bölümünde, Analysis Services'ın verileri sıralamak için en uygun yola nasıl karar verdiğini tartışalım.

Örnek olarak Kırmızı, Mavi, Siyah, Yeşil ve Pembe değerlerini içeren bir sütuna bakalım. 1'den 5'e kadar olan sayılar da onlara atanmıştır. Bu, sütunumuzun sözlüğü görevi görür.

Şimdi, Excel'deki tüm sütunu bu değerlerle doldurun. Bu değerleri rastgele içeren bir sütun oluşturmak için bu bağımsız değişkeni kullanın.

Formülü son satıra kadar sürükleyin. Büyük İşlem açılır penceresi görünürse Tamam'ı tıklayın . Şimdi şöyle görünecek:

Ardından, tüm sütunu kopyalayın ve Value olarak yapıştırın .

Şimdi Excel belgenizde Dosya seçeneğine gidip Bilgi'ye tıklarsanız, sütunun 14.1MB tükettiğini görebilirsiniz .

Tüketilen RAM miktarını azaltmak için sütunu A'dan Z'ye sıralayabilirsiniz. Boyutu tekrar kontrol ederseniz 12.5 MB'a düşürüldüğünü görebilirsiniz .

1.9 MB'lik azalma çok fazla görünmeyebilir. Bunun nedeni, örneğin göstermek için Excel'de tek bir sütun kullanmasıdır. Excel yalnızca 1 milyon satırla sınırlıdır. Ancak LuckyTemplates'da verileriniz milyarlarca satır ve sütun içerebilir. Kullanılan alandaki azalma katlanarak artar.

Çözüm

Verileriniz en uygun şekilde sıralandıktan sonra Analysis Services, veri türüne bağlı olarak üç sıkıştırma tekniğinden birini uygular.

Bunu yapmak, verilerinizin sıkıştırılmasını artırır ve bu da cihazınızda tüketilen bellek miktarını büyük ölçüde azaltır. Bu, raporunuzu çalıştırmayı ve yüklemeyi kolaylaştırarak daha optimum hale getirir.