VertiPaq LuckyTemplates: как кодируются столбцы

В этом руководстве вы узнаете о методах кодирования столбцов с помощью VertiPaq в LuckyTemplates . Вы поймете, как работает каждый метод и как он влияет на производительность вашего DAX.

Каждый метод имеет свой собственный стиль сжатия данных, чтобы обеспечить более быстрые и плавные транзакции.

Оглавление

• Кодирование значений с помощью VertiPaq в LuckyTemplates
• Кодировка словаря
• Кодирование длины цикла с помощью VertiPaq в LuckyTemplates
• Кодирование длин серий с использованием закодированных столбцов
• Заключение

Кодирование значений с помощью VertiPaq в LuckyTemplates

Первый тип сжатия данных — Value Encoding . Это происходит в столбцах целочисленного типа.

Это пример столбца исходных затрат:

Вы можете видеть, что внутри есть значения.

Теперь, если VertiPaq сохранит эти данные в столбце как есть, ему потребуется 12 бит памяти.

Однако VertiPaq  ищет способы минимизировать объем памяти, необходимый для хранения данных. Он найдет минимальное значение столбца, а затем закодирует этот столбец, вычитая 3004 из каждого значения. Таким образом, ему потребуется всего 9 бит памяти.

VertiPaq уменьшил объем необходимой памяти, благодаря чему ваш код стал выполняться быстрее.

Кодировка словаря

Следующий метод сжатия данных — это кодирование по словарю или хэш- кодирование , которое применяется к столбцам с нецелыми или текстовыми значениями.

Это пример столбца с повторяющимися названиями продуктов:

VertiPaq имеет функцию, которая помогает сжимать нецелочисленные столбцы. Он создает список различны�� значений в этом столбце, а затем присваивает им номер.

Вы можете видеть, что он применяет номер, соответствующий названиям продуктов.

Затем он заменяет значения названий продуктов целыми значениями.

Для хранения целочисленных значений требуется меньше битов, чем для хранения текстовых значений.

Это то, что делают DAX и Storage Engine при кодировании.

Кодирование длины цикла с помощью VertiPaq в LuckyTemplates

Последний тип кодирования называется Run Length Encoding . Он ищет повторяющиеся значения и сохраняет начало и конец.

Это пример таблицы с  идентификатором продавца и  строками :

А это таблица, закодированная с использованием кодирования длин серий:

Он знает, что продавец с идентификатором EMP1017 переходит из строки 1 в строку 363.

Вы увидите, что он имеет начало строки, конец строки, а также показывает, сколько повторяющихся значений находится между ними. Таким образом, нет необходимости хранить EMP1017 362 раза, потому что он знает, где он начинается и где заканчивается.

Кодирование длин серий с использованием закодированных столбцов

Еще одна замечательная особенность VertiPaq заключается в том, что он может запускать кодирование длины для столбцов, которые были закодированы с помощью кодирования значений или словаря.

Это таблица, закодированная с помощью Dictionary Encoding:

Вы заметите, что столбец NameID повторяется. Это означает, что вы можете использовать кодирование длин серий со столбцом.

В этом случае VertiPaq будет искать только NameID, Row Start и Row End.

Таким образом, вместо того, чтобы хранить целочисленные значения 3 раза, теперь он сохраняет их один раз.

Оптимизируйте функции DAX с помощью этого нового
показателя курса в LuckyTemplates: советы и методы оптимизации
Дополнительные советы по оптимизации таблицы LuckyTemplates

Заключение

Внутри VertiPaq Storage Engine есть 3 метода сжатия данных, которые отвечают за более плавную работу вашего кода DAX.

Как только вы поймете, как каждый метод работает в ваших вычислениях, вы сможете использовать и максимизировать любой из них, чтобы повысить производительность вашего кода и легко извлекать данные, которые вам нужны в ваших отчетах.