Hoe gegevenssegmentatie werkt in LuckyTemplates

In deze zelfstudie leert u over de basisconcepten van gegevenssegmentatie in LuckyTemplates en SSAS . U leert met name over de operationele definitie van gegevenssegmentatie en de voordelen ervan.

Inhoudsopgave

• Een overzicht van gegevenssegmentatie
• Voordelen van gegevenssegmentatie in LuckyTemplates
• Conclusie

Een overzicht van gegevenssegmentatie

Wanneer u gegevens in LuckyTemplates importeert, moet u op de optie Sluiten en toepassen klikken . In het geval van Excel moet u op Sluiten en laden klikken .

Zodra u op deze knoppen klikt, voert LuckyTemplates Analysis Services een stap uit die segmentatie wordt genoemd .

Als u bijvoorbeeld een dataset van 1 miljoen rijen heeft, slaan LuckyTemplates en Excel die rijen op in één segment . Als u de gegevensgrootte vergroot tot 2 miljoen rijen, maken ze twee segmenten met elk 1 miljoen rijen. Dit patroon gaat door met elke toename van 1 miljoen rijen.

In het geval van SQL Server Analysis Services (SSAS) is de standaardsegmentgrootte 8 miljoen rijen . Dus als u een database met 10 miljoen rijen in SSAS laadt, wordt de hele database in twee tabellen gesegmenteerd. Dat wil zeggen, één tabel zal 8 miljoen rijen bevatten, terwijl de tweede 2 miljoen rijen zal bevatten. Dus als u het aantal rijen verhoogt tot 16 miljoen, zijn er twee segmenten van elk 8 miljoen.

Voordelen van gegevenssegmentatie in LuckyTemplates

U hebt bijvoorbeeld een dataset met honderd miljoen rijen. Zodra u op Sluiten en toepassen klikt , laadt en comprimeert LuckyTemplates de gegevens segment voor segment. Als het klaar is met het eerste segment, gaat het verder met het volgende. In het geval van SSAS zal het proberen te optimaliseren door de beste sorteervolgorde te vinden die de compressie verhoogt.

Door de gegevens te segmenteren, wordt de druk op zowel de CPU als het RAM aanzienlijk verminderd. Als er tegelijkertijd honderd miljoen rijen zouden worden verwerkt, zou dit prestatie-intensief zijn en de capaciteit van uw machine zwaar belasten.

Een ander voordeel van segmentatie is dat het de storage-engine helpt bij het schalen van uw DAX-codes. Als uw dataset in LuckyTemplates bijvoorbeeld 10 miljoen rijen heeft en uw CPU zes codes heeft, kan de opslagengine zes segmenten tegelijk scannen.

Nadat de zes segmenten zijn gescand en de datacache is gemaakt, gaat deze verder met de volgende vier segmenten. Zodra alle segmenten klaar zijn, worden ze gecombineerd en naar de formule-engine gestuurd .

In het geval van SSAS worden de eerste 8 miljoen rijen in één segment opgeslagen. De storage-engine gaat dan verder met de volgende 8 miljoen rijen en blijft deze afzonderlijk opslaan.

Dus in plaats van het hele datamodel van honderd miljoen rijen tegelijk te laden, scheidt de engine het datamodel in segmenten van elk 8 miljoen rijen.

Conclusie

Deze zelfstudie biedt een snel overzicht van de basisconcepten met betrekking tot gegevenssegmentatie in LuckyTemplates . Nogmaals, LuckyTemplates en Excel segmenteren datasets elke 1 miljoen rijen, terwijl SSAS ze elke 8 miljoen rijen segmenteert.

Segmentering helpt de prestaties van uw code te optimaliseren. Dit is ook erg belangrijk als u de laadefficiëntie van uw rapport wilt verbeteren.

Segmentatie is een proces dat op de achtergrond plaatsvindt wanneer u LuckyTemplates, Excel of SSAS gebruikt. Hoewel het geen openlijk proces is, is het cruciaal om de rekenkracht van uw CPU en RAM te verlichten.