В этом уроке будет описан процесс создания аккаунта в облачном сервисе Qlik Sense Business Cloud.

https://t.me/qlik_insight – telegram канал – пишу про Qlik Sense как есть на самом деле, что-то критикую, что-то хвалю, делюсь обучающими материалами. 

Сообщение Урок 1. Регистрация в Qlik Sense Business Cloud. Как начать работать с Qlik в облачном сервисе? появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Рассмотрим пример

[tester_signal]:
LOAD
    Signal_datetime,
    Signal_symbol,
    "symbol",
    indicator,
    "1d",
    "6h",
    "1h"
FROM [lib://DataFiles/tester_signal.qvd] (qvd);

NoConcatenate
[TEMP tester_price_changes]:
LOAD
    datetime,
    "symbol",
    last_price,
    price_change,
    price_change_percent,
    high_price,
    low_price,
    volume,
    weighted_avg_price,
    quote_volume
FROM [lib://DataFiles/tester_price_changes.qvd] (qvd);

[TEMP max_datetime]:
Load max(datetime) as max_datetime
Resident [TEMP tester_price_changes];

LET vMaxDatetime = Timestamp(Num#(Peek('max_datetime',0,'TEMP max_datetime'))+Frac(MakeTime(0,30)));

NoConcatenate
[tester_price_changes]:
LOAD datetime, 
  Timestamp(datetime,'DD.MM.YYYY h:mm')											As [Дата Время Начало],
    If(symbol=Previous(symbol) and symbol<>'' and not IsNull(symbol),
    	Timestamp(Peek('datetime'),'DD.MM.YYYY h:mm'),
        Timestamp('$(vMaxDatetime)','DD.MM.YYYY h:mm')
    ) 																				As [Дата Время Конец],
    symbol,
    Timestamp(datetime,'DD.MM.YYYY h:mm')											As [ДатаВремя Цен],
    symbol&'|'&(Num(time(frac(floor(datetime,1/1440)),'hh:mm'))+floor(datetime))	As %ID,
  last_price, 
  price_change, 
  price_change_percent, 
  high_price, 
  low_price, 
  volume, 
  weighted_avg_price, 
  quote_volume
Resident [TEMP tester_price_changes]
Order By symbol,datetime desc
;

Drop Tables [TEMP tester_price_changes];


Left Join([tester_signal])
intervalmatch (Signal_datetime,symbol) 
LOAD  
     [Дата Время Начало], 
     [Дата Время Конец],
     symbol
RESIDENT tester_price_changes;

Left Join(tester_signal)
Load
     [Дата Время Начало], 
     [Дата Время Конец],
     symbol,
     %ID
RESIDENT tester_price_changes;

DROP Fields [Дата Время Начало], [Дата Время Конец], symbol From [tester_signal];

___

Сообщение Связать данные по интервалам. Пример IntervalMatch Qlik Sense появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

В этой статье будут рассмотрены основные подходы, методы дизайна дашборда Qlik Sense. Из каких элементов состоит дашборд Qlik Sense, концепция DAR (Dashboard – Analysis – Report).

Что такое дашборд?

Вот ряд определений, что же такое дашборд:

• Дашборд (информационная панель, панель мониторинга для топ-менеджмента) – тип пользовательского интерфейса, на котором представлена критически важная информация в упорядоченном и удобном для чтения виде.
• Дашборд (Dashboard) – это визуальное отображение наиболее важной информации, необходимой для достижения одной или нескольких целей; вся информация (KPI, графики, таблицы и т.п.) объединена и размещена на одном экране, чтобы можно было легко ее прочитать.
• Dashboard — это наглядное представление информации о бизнес-процессах, о состоянии какого-то объекта. С помощью дашборда можно увидеть значения конкретных показателей, как они изменяются, к чему это приводит.
• Dashboard – инструмент оперативного контроля работы / бизнес-процессов. Единое информационное поле, в котором собраны все данные о работе департамента, позволяет быстро получить информацию о статусе всех процессов, предотвратить риски и выстроить работу по повышению эффективности бизнес-процессов.

Главная цель дашборда – спровоцировать действие! Дашборд предоставляет агрегированную информацию, которая:

• поможет выработать то или иное управленческое решение;
• поможет получить ответы на критические вопросы бизнеса;
• поможет выявить проблемы бизнеса, негативные тенденции, неэффективные процессы;
• поможет предотвратить риски;
• поможет понять, насколько текущая деятельность компании соответствует принятой стратегии развития (например, показатели план-факт анализа);
• поможет выявить мошейничество, разные схемы, из-за которых компания может нести убытки.

Дашборд должен предоставлять возможность углубиться в конкретные участки информации (связанные с тем или иным показателем эффективности – KPI).

Уэйн Эккерсон в своей книге “Панель индикаторов” выделяет три основные функции панелей индикаторов в организации.

Они позволяют сотрудникам организации:

1. Отслеживать критически важные бизнес-процессы и виды деятельности, используя показатели эффективности бизнеса, обеспечивающие подачу предупреждающих сигналов при возникновении потенциальных проблем;
2. Выявлять первопричины проблем путем анализа релевантной и актуальной информации под разными углами и с разными уровнями детализации;
3. Управлять людьми и процессами, с тем, чтобы находить оптимальные решения, максимизировать эффективность и в целом вести организацию в правильном направлении.

Панель индикаторов – это инструмент для осуществления организационных изменений. При условии правильного использования она способна превратить слабую организацию в высокоэффективную.

Она позволяет фокусировать внимание сотрудников организации на важнейших операциях при осуществлении контроля текущих бизнес-процессов.

Панель индикаторов применяется на оперативном уровне для отслеживания продвижения организации к своим краткосрочным и долгосрочным целям, а на тактическом и стратегическом уровнях применяют Систему сбалансированных показателей.

Сравнение панелей индикаторов со сбалансированными системами показателей

Панели индикаторов и сбалансированные системы показателей – это механизмы визуализации в системе управления эффективностью, позволяющие мгновенно представлять критически важную информацию в наглядной форме.

С одной стороны, панели индикаторов и сбалансированные системы показателей имеют много общих особенностей, и эти термины часто считают взаимозаменяемыми, но с другой стороны и те и другие обладают некоторыми уникальными характеристиками.

Из таблицы видно, что в сравниваемых инструментах для представления текущего состояния, тенденций и отклонений от поставленных целей используются визуальные инструменты представления данных (диаграммы, графические изображения). Поэтому при выборе инструмента, главное сфокусировать внимание сотрудников организации на том, что для неё действительно имеет наиболее важное значение. Для повышения эффективности продвижения к стратегическим целям целесообразно применять эти инструменты в совокупности.

Типы дашбордов

• Операционная панель мониторинга – это инструмент отчетности, который используется для мониторинга бизнес-процессов, которые часто меняются, а также для отслеживания текущих KPI. По сравнению с другими типами информационных панелей данные обновляются очень часто, иногда даже поминутно. Операционные панели предназначены для просмотра несколько раз в течение дня. Они часто используются для мониторинга прогресса достижения цели.

• Стратегическая панель мониторинга – это инструмент отчетности, который используется для мониторинга состояния ключевых показателей эффективности (KPI) и обычно используется руководителями. Данные для стратегической панели обновляются 1 или 2 раза в день. Стратегические инструментальные панели можно просматривать один раз в день, и они помогают руководителям не отставать от ключевых показателей эффективности в рамках всего бизнеса.

• Аналитическая панель мониторинга – это инструмент отчетности, который используется для анализа больших объемов данных, что позволяет пользователям исследовать тенденции, строить прогнозы и получать детальную информацию (например, выгрузки Excel). Аналитические информационные панели более распространены в инструментах бизнес-аналитики, поскольку они обычно разрабатываются для аналитиков. Данные для аналитической информационной панели, должны быть точными и актуальными, обычно обновляются 1 раз в день. Аналитические панели мониторинга часто включают в себя расширенные функции BI, такие как детализация и AdHoc отчеты.

Аналитические панели предназначены для того, чтобы помочь организации установить цели на основе понимания исторических данных.
Операционные инструментальные панели управляют ежедневными бизнес-процессами – часто меняющимися и текущими показателями производительности или ключевыми показателями эффективности (KPI).

Какие бизнес-проблемы мы пытаемся решить?

• Операционные панели: Осведомленность о данных и данные, быстро меняются во времени (каждый час, каждые 3 часа и т.п.)
• Стратегические панели: Основные организационные KPI
• Аналитические панели: Тенденции или более глубокое понимание процессов, основанное на данных

Кто будет использовать дашборды?

• Операционные панели (Operational Dashboards): Линия бизнес-менеджеров, бизнес-пользователи
• Стратегические панели (Strategic Dashboards): Руководители, Владельцы бизнеса
• Аналитические панели (Anayltical Dashboards): Бизнес-аналитики, Аналитики данных, Руководство

Отчеты, как процессы менеджмента, можно разделить на три уровня:

• ТОП – уровень директоров, акционеров компании. Их обычно интересуют стратегические показатели, тренды. Для них делают квартальные, годовые отчеты по компании в целом.
• Линейные менеджеры – им нужна более глубокая детализация, динамика, структура показателей, из которых складываются стратегические KPI в рамках направления, продукта.
• Исполнители – они делают или получают отчеты, основанные на первичных данных – статус проекта, справка о движении средств за период. Сюда же попадают и руководители проектов, занимающиеся оперативной работой.

Какова основная цель дашбордов?

• Операционные панели: Осведомленность сотрудников и отслеживание операционных целей
• Стратегические панели: Достижение целей KPI
• Аналитические панели: Анализ ключевых процессов

17 вопросов/советов для создания дашборда

1. Почему создается приборная панель? Определите назначение приборной панели.
2. Для кого предназначена приборная панель? Решите, что нужно вашим пользователям на дашборде?
   • Кто целевая аудитория дашборда?
   • Каковы требования аудитории к дашборду?
   • Убедитесь, что данные актуальны для пользователей.
3. На какие вопросы дашборд должен ответить?
4. Сколько времени требуется, чтобы просмотреть цифры дашборда, сделать какие-то выводы?
5. На каком языке должен быть представлен дашборд?
6. Какие метрики/показатели должны быть размещены на дашборде?
7. За какой период необходимо представить информацию?
8. Не скрывайте информацию и не слишком полагайтесь на взаимодействие.
9. Персонализация, а не настройка. Пользователи ожидают, что контент, который они видят, будет соответствовать их индивидуальным потребностям. Персонализация осуществляется самой системой. Система должна быть настроена так, чтобы идентифицировать пользователей и предоставлять им контент, опыт или функциональность, соответствующие их роли.
10. Будьте проще (Большой текст, Меньше виджетов, Меньше столбцов)
11. Логическая схема: перевернутая пирамида – Отобразите наиболее важные сведения в верхней части панели инструментов, тренды в середине и детализированные детали в нижней части.
12. Правило 5 секунд: Ваша информационная панель должна предоставить соответствующую информацию примерно за 5 секунд.
13. Минимализм: меньше значит больше – Каждая панель должна содержать не более 5-9 визуализаций.
14. Выбор правильной визуализации данных – Выберите соответствующий тип визуализации данных в соответствии с его назначением.
15. Выберите правильные цвета. Используйте согласованный язык дизайна и цветовую схему.
16. Показать контекст. Числа несут смысл только в своем контексте.
17. Найдите в интернете примеры дашбордов, просматривайте их для генерации новых идей.

Еще ряд рекомендаций по проектированию приложений:

Первым шагом является определение ключевых показателей. Чем меньше, тем лучше. Не размещайте 50 ключевых показателей эффективности, чтобы попытаться охарактеризовать всю компанию в информационной панели, а скорее основные, которые наиболее важны. Выберите метрики, которые меняются каждый день, если приборная панель будет использоваться ежедневно.

Во-вторых, убедитесь, что все KPI имеют сравнение. Люди обучены сравнивать все 24/7. Если ваш объем продаж составляет 3 миллиона рублей за день, то что с того? Это лучше, чем вчерашние продажи? Вам нужно разместить показатель для сравнения, чтобы пользователь мог понять динамику (лучше это или хуже).

Примеры того, что в KPI можно сравнить:

• Текущий месяц vs Предыдущий месяц
• Текущий месяц vs Тот же месяц предыдущего года
• Текущий месяц факт vs Текущий месяц целевое значение
• YTD – текущий год vs предыдущего года (аналогичный период)
• YTD – Фактический vs Целевого

Далее, не используйте зеленый цвет, когда что-то хорошо. Если у вас есть 4 ключевых показателя эффективности, и два из них зеленого цвета, а два других – красного цвета, то люди воспринимают как 50% хорошо, а как 50% плохо. Вам нужно, чтобы пользователи сосредоточились на «плохой» части, чтобы они могли действовать по ней. Только цветовой код, что плохо, то есть красный.

Сравните с приборной панелью в машине. Он не предупреждает вас, когда что-то идет хорошо, но предназначен для предупреждения Вас о плохих вещах. Подумайте о топливном свете. Он не горит зеленым, когда в вашей машине достаточно топлива. Вместо этого он предупреждает вас, когда топливо критически мало. Затем он загорается красным, и вы сразу это замечаете. Это привлекает ваше внимание, и лично я даже нервничаю, когда вижу это.

Рассмотрим дашборд (на первом скрине есть зеленый и красный цвет):

На втором нет зеленых индикаторов – только красные. Они больше привлекают внимание:

Хороший дашборд (не инфомасса!) проектируется под определенную пользовательскую роль. Соответственно, аналитика, которую отображает дашборд, отвечает на конечное число вопросов и имеет ряд ограничений по отображению и каскадированию. Иначе дашборд становится “для всех и ни для кого” и им просто перестают пользоваться. Дашборд отличается от инфомассы системностью – четкой структурой и продуманной User story. 

Еще ряд рекомендаций:

• Система должна обращаться к пользователю на его языке: понятными ему словами, фразами и концепциями, а не системными терминами.
• Информация должна появляться естественно и логично — как в реальном мире.
• Пользователи часто выбирают некоторые функции системы по ошибке, и им нужен очевидный “аварийный выход” из ненужного состояния — без необходимости проходить через длинный диалог. Используйте кнопки отмены и повтора действия.
• Не используйте для обозначения одних и тех же вещей разные слова, ситуации и действия. Придерживайтесь одних и тех же принятых для платформы правил.
• Что может быть лучше хорошо проработанных сообщений об ошибках? Только дизайн, который вообще предотвратит их возникновение. Либо устраните ситуации, которые приводят к ошибкам, либо имейте в виду их вероятность и запрашивайте подтверждение от пользователя, прежде чем совершить действие.
• Снизьте нагрузку на память пользователя, разместив объекты, действия и опции на виду. Пользователь не должен запоминать информацию, переходя из одного диалога в другой. Пусть все инструкции будут на виду или в ближайшей доступности.

Принцип пирамиды Минто в дашбордах

Источник: телеграм канал @dashboardets

1. Почему необходимо использовать?
   • по мере поступления и восприятия информация автоматически сортируется сознанием в отчетливые пирамидальные структуры;
   • любая группа идей легче усваивается, если воспринимается выстроенной в виде пирамиды, горизонтальной или вертикальной;
   • в формате “пирамиды” сохраняется устойчивая логика “от частного к общему”.
2. Где учитывать в дашборде?
   • при принятии решения о контенте дашборда с точки зрения ЦА;
   • при конструировании макета дашборда (от более агрегированной аналитики в левой части макета до детализации в правой части);
   • при построении диаграмм для демонстрации последовательных процессов (например, воронка продаж).

Рекомендации для разработки дашборда в картинках

Why? Why? Why?

Советы по Dashboard Design (Дизайн дашборда Qlik Sense)

1. Определите, целевую аудиторию дашборда

• Спросите пользователей, как будет использоваться дашборд?
• Какая информация нужна пользователю, чтобы дашборд был полезным?
• Сколько детальных данных необходимо пользователю?
• Какие действия с данными нужно выполнять (drill-down, изменение измерений, переключение срезов диаграмм, проваливаться к деталям KPI и т.п.)?
• Как выделяются исключения или идеи (exceptions or insights), которые требуют принятия решений или действий?
• Какие усвоенные или культурные предположения могут повлиять на выбор дизайна?
• Что означают цвета и можно ли их визуально интерпретировать?
• Примите во внимание тот факт, что 10% людей на земле страдают дальтонизмом. Поэтому рекомендуется использовать иконки, которые так или иначе характеризуют данные. 

2. Используйте лучшие практики Dashboard Designs

• Хороший дизайн должен рассказать историю с данными, которые не перегружены слишком большим количеством информации, беспорядком или шумом. Ограничьте количество информации, чтобы дашборд полностью разместился на одном экране.
• Начните с самого высокого уровня детализации в верхнем левом углу экрана и покажите больше деталей к правому нижнему углу (направление считывания информации). 
• Сделайте свою панель простой, используя только 3–5 ключевых показателей, диаграмм или таблиц. Старайтесь не размещать слишком много информации на приборной панели.
• Не забудьте предоставить соответствующий контекст и держать связанные элементы рядом друг с другом.
• Избегайте отображения «единичных чисел» без какого-либо другого контекста. Покажите степень изменения для быстрого сравнения.
• Избегайте разнообразия визуализации данных.
• Если необходимы подробные таблицы, разместите их в нижней части дашборда.

3. Избегайте распространенных проблем визуализации данных

• Выберите соответствующие визуализации данных . Не используйте диаграммы, которые искажают реальность, то есть трехмерные диаграммы. Имейте в виду, что человеческому мозгу трудно интерпретировать круглые формы. Круговые диаграммы, кольцевые диаграммы, датчики и другие типы круговых диаграмм могут выглядеть симпатично, но они не являются лучшей практикой визуализации данных. 
• Соответствуйте масштабам диаграммы на осях, порядку размеров диаграммы, а также цветам, используемым для значений измерений в диаграммах.
• Обязательно кодируйте количественные данные красиво. Не превышайте трех или четырех цифр при отображении чисел. Отобразите меры до одной или двух цифр слева от десятичной запятой и масштабируйте их до тысяч или миллионов, т.е. 3,4 млн., а не 3 400 000.
• Не смешивайте уровни точности и времени. Убедитесь, что временные рамки хорошо понятны. У вас не должно быть одного графика с прошлым месяцем рядом с отфильтрованными графиками за определенный месяц года. 
• Не смешивайте большие и маленькие меры в одном и том же масштабе, например на линейной или гистограмме. Например, одна мера может быть в миллионах, а другая мера в тысячах. При таком большом масштабе было бы трудно увидеть различия, которые исчисляется тысячами.
• Не засоряйте свои диаграммы метками данных, которые не нужны. Значения в гистограммах обычно хорошо поняты без отображения фактического числа.

Короткая форма брифа из 6 пунктов для ТЗ на создание дашборда

Источник: Книга “Дашборд для директора” Алексей Колоколов (рекомендую)

• В левой половине – логика, факты по существу: в каком формате будет представлен отчет, с какой периодичностью будут обновляться данные, какие ключевые количественные показатели и в каких разрезах (фильтрах, категориях) будут отображены.
• Справа – творческое полушарие, ассоциативное мышление. Эти пункты находятся за рамками самого отчета: заказчик, его выводы и решения.

Пример заполнения:

Как написать подробное ТЗ – читайте здесь: https://qliksense.ivan-shamaev.ru/razrabotka-trebovanij-dlja-proekta-qlik-sense/

Принципы гештальта

В начале 1900-х годов гештальт-школа психологии провела серию исследований человеческого восприятия, чтобы понять, как наш мозг интерпретирует формы и распознает паттерны. Понимание этих принципов может помочь вам создать лучшую структуру для панели мониторинга и упростить интерпретацию диаграмм.

• Proximity (Близость): когда мы видим несколько элементов, расположенных рядом друг с другом, мы склонны видеть их как группу. Например, мы можем визуально различать кластеры на точечной диаграмме, группируя точки в соответствии с их положением.
• Similarity (Сходство): наш мозг связывает элементы, которые похожи друг на друга (форма, размер, цвет или ориентация). Например, рассмотрим диаграмму с цветовой кодировкой. Даже если они не сгруппированы, мы можем связать бары, которые имеют один и тот же цвет.
• Enclosure (Ограждение): если граница окружает ряд объектов, мы воспринимаем их как группу. Например, если точечная диаграмма содержит две опорные линии, охватывающие элементы в диапазоне от 20 до 30 процентов, мы автоматически рассматриваем их как кластер.
• Closure (Замкнутость): когда мы обнаруживаем фигуру, которая выглядит неполной, мы склонны воспринимать ее как замкнутую структуру. Например, даже если мы отбросим границы гистограммы, оси образуют область, которую наш мозг изолирует без необходимости дополнительных линий.
• Continuity (Непрерывность): если ряд объектов выровнен, мы обычно воспринимаем их как единый объект. Например, рассмотрим понятие различных блоков кода при отступе в скрипте Qlik Sense.
• Connection (Соединение): если набор объектов соединен линией, мы также видим их как группу. Например, точечная диаграмма с линиями и символами (точки, соединенные линиями).

Концепция DAR (Dashboard – Analysis – Reporting)

• Dashbord – максимум важной информации; минимум интерактивности; за короткое время оценить текущую ситуацию; найти области требующие отдельного анализа и перейти к ним. Высокоуровневый обзор компании или бизнес-процесса.
• Analysis – более интерактивные листы, помогают пользователям изучить данные, найти ответы на вопросы, требуют больше времени и взаимодействия с отчетом. Интерактивные вкладки, позволяющие пользователю копаться в данных, предоставляя более широкий спектр фильтров, диаграмм и таблиц
• Reporting – дается наиболее детальная информация в плоть до фактов (отдельных документов, чеков, позиций в документах и т.п.), много данных в табличной форме, сортировка, фильтрация данных, выгрузка в excel. Наиболее приемлемым вариантом является разработка преднастроенных отчетов (фиксированные аналитики и показатели). Плюс разработка AdHoc отчетности – когда пользователь сам определяет набор аналитик (измерений) и показателей, чтобы посмотреть детальные данные с “разных ракурсов”.

Концепция DAR (Dashboard -> Analysis -> Reporting) – методология, в рамках которой пользователю последовательно предоставляется информация по агрегированным данным, затем предоставляется аналитический интерфейс для анализа данных и затем пользователь может посмотреть детальные данные, т.е. от дашборда переходим в аналитическую панель, а затем в детальный отчет.

Первая вкладка Qlik Sense – панель инструментов (дашборд), сообщает пользователям, что хорошо или что плохо.

• Только самая важная информация
• Наименьшее количество интерактивности
• Для пользователей, у которых мало времени на анализ данных

Следующая группа вкладок предназначена для анализа: содержит графики и таблицы, которые сообщают пользователям, «Что» и «Почему» все хорошо или плохо.

• Аналитические страницы более интерактивны
• Аналитические страницы требуют больших временных затрат на взаимодействие для более глубокого понимания ситуации
• Аналитической страницей может служить страница для сравнительного анализа

Последняя часть, лист отчета, содержит более подробную информацию, такую ​​как детали чеки, документы, детали заказа, смены сотрудников и т.д., где пользователи могут идентифицировать конкретный элемент для последующей реакции.

• Страницы с детальными данными (таблицы) предоставляют наиболее подробную информацию с большим количеством данных.
• Пользователь может потратить много времени на сортировку и фильтрацию деталей

Пользовательский интерфейс

Дизайн

Одну из важнейших ролей в пользовательском интерфейсе занимает дизайн. Дизайн влияет на темпы адаптации пользователя к новой системе, скорость анализа и варианты использования. Все это определяет, насколько эффективно возможно использовать Qlik Sense приложение. Принципы хорошего дизайна аналитических приложений сформулировали Стивен Фью и Эдвард Тафт, и являются основой для лучших практик компании QlikTech. Ниже в общих чертах представлены некоторые из примеров хорошего дизайна.

Необходимо использовать нейтральные, приглушенные цвета и контраст: приглушенные и нейтральные цвета гораздо более комфортны для глаз, улучшают восприятие. Использование контрастов помогает быстро определить точки интереса. Ниже представлены сочетания приглушенных цветов и контрастов.

Необходимо использовать размеры, формы и интенсивность, чтобы привлечь внимание к данным. Формы могут использоваться для сегментирования данных на группы. Интенсивности цвета хорошо работают для диапазонов значений или выбросов.

Необходимо минимизировать использование 3D и световых эффектов. Простая столбчатая отображает историческую информацию лаконично и информативно. Кроме того 3D и световые эффекты могут стать причиной неверного восприятия информации.

Эргономичность

Другие требования для дизайна включают в себя:

• Логическое разделение контента на вкладки
• Соответствие стандартам DAR (Dashboard-Analysis-Reports: Панель-Анализ-Отчет)
• Лаконичное использование размеров объектов, шрифтов, читаемость
• Единый стиль
• Ориентацию на целевое разрешение экрана устройства (мобильный дизайн и дизайн под большой монитор в Qlik Sense также стоит разделять)
• Информирование пользователя о дате и времени последней загрузки данных
• Размещение основных фильтров в одном и том же месте на всех вкладках
• Минимизирование использования круговых, радар, скаттер, грид, фьюнел диаграмм. Предпочтительно использовать столбчатые, линейные, табличные диаграммы.
• Использование прямого динамического взаимодействия на данные, например, с помощью слайдера (например, динамический период)
• Выравнивание элементов интерфейса

Ключевые показатели эффективности

Ключевые показатели эффективности (KPI) представляют собой набор значений самого высокого уровня, связанных со стратегическими целями компании. Они помогают определить и отследить направление, в котором развивается бизнес, и позволяют достигать намеченных целей. Как уже было сказано, эти показатели обеспечивают кораблю движение верным курсом.

Авинаш Кошик, ведущий мировой эксперт в области веб-аналитики, называет KPI «показателями, которые помогают понять, насколько эффективно вы действуете относительно своих целей».

Он подчеркивает два краеугольных камня этого определения — показатели и цели, — так как KPI связывают их воедино.

Примеры KPI:

• «Повысить узнаваемость бренда на 10%»,
• «Удвоить количество активных пользователей к концу года»,
• «Увеличить онлайн-конверсию на 5% во втором квартале».

Для KPI критически важны следующие аспекты.

• KPI должны быть четко определены
  • Не должно быть никакой двусмысленности в понимании основных показателей, к которым стремится компания. Показатель следует четко определить, у него должно быть конкретное целевое значение и обозначенный или стандартный срок (обычно конец года).
• KPI должны быть измеряемыми
  
  • Ключевые показатели эффективности должны иметь числовое значение. Вам необходима возможность измерить прогресс в количественном выражении за определенный период времени. Иными словами, это должна быть иголка, которую можно передвигать с места на место, а не двоичное значение. Главный специалист США по анализу данных (US Chief Data Scientist) Ди Джей Патиль в своей книге Building Data Science Teams1 отметил: «Как оказалось, все компании, в которых на высшем уровне развито управление на основе данных, придерживаются одного правила: если что-то нельзя измерить, это невозможно исправить».
• KPI должны содержать цели
  
  • «Повысить выручку» — это плохо сформулированный ключевой показатель эффективности, так как в нем нет цели в числовом выражении. Если выручка компании повысится на 5 долл., сотрудники заявят, что задача выполнена, и прекратят прилагать усилия. И наоборот, если цель очевидно завышена и нереалистична, например «повысить выручку на 5000%», ее никто не воспримет всерьез или сотрудники вскоре сдадутся, и будь что будет. Показатели должны быть достижимыми, но при определенных усилиях.
• KPI должны быть прозрачными
  
  • По крайней мере для тех, кто отвечает за их выполнение, а лучше и для всех остальных. Сотрудники должны получать обратную связь и четко понимать, приносят ли их усилия результаты или им лучше что-то изменить в своей деятельности. Стратегические показатели и ключевые показатели эффективности в компании Warby Parker доводятся до сведения всех сотрудников и регулярно (хотя бы раз в квартал) обсуждаются со всем персоналом во время общих собраний рабочего коллектива.
• KPI должны отражать цели, которых хочет добиться компания
  • Легко попасться в ловушку и начать отслеживать то, что легко измерить, например время ответа на телефонные звонки в центре обслуживания клиентов, когда истинная цель может заключаться в том, чтобы повысить степень удовлетворенности клиентов.
    Как гласит афоризм, «мы придаем важность тому, что способны измерить». Для этого могут потребоваться новые процессы сбора данных и оценки эффективности. Проводите дополнительную работу и меняйте то, что вы действительно стремитесь изменить.

Как и цели, KPI должны соответствовать критериям SMART и быть:
— конкретными (Specific);
— измеримыми (Measurable);
— достижимыми (Achievable);
— ориентированными на результат (Result-oriented);
— ограниченными во времени (Time-bound).

Возможно, они должны быть даже SMARTER за счет добавления еще двух критериев: «подвергаться оценке» (Evaluated) и «подвергаться обзору/вознаграждаться» (Reviewed/Rewarded).

4 базовых вида сравнения данных:

• Рейтинг – самый распространенный. Сравниваем ряд данных по признаку больше/меньше, насколько. Все план-фактные сравнения относятся сюда же.
• Динамика – изменение во времени, когда важно показать тренд, сезонность.
• Структура – показываем доли от целого, например, что эти клиенты составляют половину выручки.
• Взаимосвязи – из нескольких показателей определяем наличие, характер взаимосвязи.
• Статистические методы анализа относятся сюда же, но в корпоративных отчетах они редко используются.

Описание аналитических подходов в QlikView

Примеры ключевых показателей эффективности

Финансовая деятельность

• Чистая прибыль
• Коэффициент доходности
• Коэффициент валовой прибыли
• Чистая прибыль от основной деятельности
• Прибыль до уплаты налогов, процентов, износа и амортизации (EBITDA)
• Рост выручки
• Совокупная прибыль акционеров (TSR)
• Добавленная экономическая стоимость (EVA)
• ROI
• Рентабельность привлеченного капитала (ROCE)
• Коэффициент рентабельности активов (ROA)
• Рентабельность собственного капитала (ROE)
• Соотношение собственных и заемных средств
• Цикл обращения денежных средств (CCC)
• Коэффициент оборотного капитала
• Коэффициент операционных расходов (OER)
• Соотношение капитальных затрат и объема продаж
• Коэффициент ценности акции (P/E ratio)

Понимание покупателей бизнесом

• Индекс потребительской лояльности (NPS)
• Коэффициент удержания клиентов
• Индекс удовлетворенности потребителей
• Показатель доходности клиента
• Пожизненная ценность клиента (CLV)
• Показатель возвращаемости клиентов
• Вовлеченность клиентов
• Жалобы клиентов

Ключевые показатели эффективности управления запасами

• Доля отказов по ассортиментным группам
• Оборот товарного запаса
• Доля сверх запасов от общего количества товаров
• Выполнение плана закупок
• Доля стоимости страхового запаса от общей стоимости товаров
• Доля сверх запасов от общей стоимости товарного запаса
• Удельные затраты на один заказ

Скачать материалы по Dashboard Design

Скачать книгу “The Big Book of Dashboards.pdf”

Полезные ссылки (советую заглянуть дополнительно)

• https://www.uplab.ru/blog/dashbordy-strategicheskie-i-takticheskie/ – Дашборды, стратегические и тактические
• https://ivan-shamaev.ru/practical-issues-in-qlikview-part-2/#_MAD__DAR – Что такое MAD фреймворк и DAR методология?
• https://tableau.pro/m30 – Все про дашборды
• https://datayoga.ru/q14 – ДЕНЬ 14 “Дашборды и ключевые показатели эффективности”
• https://datayoga.ru/q15 – Дашборды и их композиции. Мобильный дизайн
• https://t.me/dashboardets – телеграм-канал про дашборды
• https://alexkolokolov.com/gallery – Галерея отраслевых дашбордов
• https://habr.com/ru/company/devexpress/blog/341972/ – Дашборд — что это и почему он будет вам полезен или современный способ сделать тайное явным
• https://www.tableau.com/solutions/business-dashboards – Примеры дашбордов по отраслям (на английском)
• http://kpilibrary.com/ – Библиотека KPI
• https://www.octoboard.com/ru/dashboards – большая галлерея дашбордов и отчетов на русском языке (социальные сети, аналитика по сайтам, по маркетинговым мероприятиям, по затратам на рекламу и т.д.)
• https://zen.yandex.ru/media/id/5b39d16bbbe87d00a89b216d/dashbordy-kakoi-tip-vybrat-dlia-vashei-kompanii-5b7eb75de9d9d000a9545091 – Дашборды: какой тип выбрать для вашей компании
• https://www.litres.ru/elena-vetluzhskih/sistema-voznagrazhdeniya-kak-razrabotat-celi-i-kpi-9371508/chitat-onlayn/ – Система вознаграждения. Как разработать цели и KPI. Автор:Елена Ветлужских

Подборка youtube видео по тематике “Дашборды Dashboards”

Сообщение Дизайн дашборда Qlik Sense. Проектирование, разработка, MAD (DAR) концепции появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Data tables и Symbol tables Qlik

Семь основных компонентов QIX Engine

Много разных значений в поле ► Более длинный битовый индекс и больше строк в таблице символов (больше использования ОЗУ и больше использования ЦП)
– Если возможно, уменьшите количество различных значений.
Например: Time( Floor( Time, 1/24/60 ), ’hh:mm’ )

Длинные значения поля ► Более длинные значения в таблице символов (больше использования ОЗУ)
– Если возможно, уменьшите размер значения поля.
Например: Autonumber( ProductID & ’|’ & CustomerID & ’|’ & Date )

Каждый раз, когда вы кликаете в приложении по объекту, рассчитываются состояния и цвета для всех значений полей. Это Logical Inference
Состояния хранятся в State Vectors

Calculations vs Logical Inference

Многопоточность

___

Материалы

Сообщение Data tables и Symbol tables QIX Engine появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Независимо от того, в какой версии Qlik Sense Вы работаете (Desktop или Enterprise), Вы встретитесь со следующими понятиями:

Приложение Qlik Sense – это данные + визуализация в одном файле. При открытии приложения (в desktop или на сервере) данные из файла (qvf или бинарного файла в серверной версии) загружаются в оперативную память. При фильтрации данных изменяется визуализация. Документ Qlik Sense, как правило, охватывает одну область деятельности предприятия или организации. Основные составные части документа Qlik Sense – данные, скрипт загрузки, листы, измерения, меры, истории, закладки (см. картинку ниже).

Скрипт загрузки Qlik Sense – сгенерированный автоматически или написанный программистом код, с помощью которого формируется модель данных в приложении Qlik Sense. В скрипте данные загружаются, удаляются, агрегируются, преобразуются различными способами (очень похоже на SQL). Если грамотно писать скрипт, то можно очень быстро обрабатывать миллионы строк. Данные загруженные в приложение сохраняются в сжатом виде в приложении Qlik Sense. При открытии приложения данные загружаются в оперативную память (происходит “расжатие” данных с некоторым коэффициентом, который зависит от множества параметров).

Коннекторы в скрипте загрузки – Для загрузки данных из разных источников требуются разные виды коннекторов. Обычно это ODBC, REST API, OLEDB.

Модель данных (Data Model) – Взаимосвязь таблиц с данными в приложении. Есть таблица фактов, с которой связываются таблицы с измерениями. Факты – например, транзакции (суммы продаж, количество продаж в разрезе товаров, клиентов). Измерения – справочники с различными атрибутами. Например, справочник товаров с атрибутами: код товара, наименование товара, производитель. Справочник клиент: код клиента, ИНН, наименование юридического лица и т.п. Таблица фактов и таблицы измерений связываются по ключевым полям. Ключевое поле – это одно поле, которое содержит одинаковое значение как в таблице фактов, так и в таблице с измерением.

Измерения (Dimensions) – Разрез, в котором вычисляются показатели (меры). Справочники из информационных систем с различными атрибутами, которые хранятся в системах или создаются в процессе обработки данных. Например, измерениями могут быть: товары, календарь, клиенты, точки продаж. В разрезе измерений производится анализ данных.

Показатели/Меры/Метрики (Measures) – Вычисленное значение показателя, числовое измерение бизнеса/бизнес-процессов (сумма, максимальное значение, среднее значение и т.д.). Все, что фиксируется в системах и может быть посчитано в скрипте – все это может выступать в качестве показателей. Например, продажи в рублях и штуках, средний чек, трафик, конверсия, уровень сервиса, дебиторская задолженность, бонусы и т.п.

Альтернативные состояния – если кратко объяснить, то представьте, что у Вас есть модель данных, в которой Вы выбираете те или иные значения в справочниках. Модель сразу фильтруется. А теперь представьте, что для каждой модели существуют параллельные “вселенные”, в которых сделаны свои выборки и эти все модели данных параллельных вселенных не пересекаются физически в одном приложении Qlik Sense.

Альтернативные состояния обычно используются для сравнительного анализа, например, пользователь в одном альтернативном состоянии выбрал один период, клиентов, ассортимент продукции, а в другом альтернативном состоянии выбрал – другие значения. И все это можно сравнить между собой. Также альтернативные состояния используются в кросс-анализе, в анализе LFL разных периодах и т.д.

Листы с визуализацией – В приложении создается лист, который предназначен для того или иного вида анализа, например, дашборд, или сравнительный анализ по поставщикам. Далее на листе создается визуализация: kpi, диаграммы, таблицы, фильтры (для фильтрации данных по периодам, по сущностям бизнеса и т.д.).

Визуализация – любой объект приложения Qlik Sense, который отображает данные (график, kpi и т.д.).

Снимок (Snapshots) – Растровое изображение конкретной визуализации с учетом примененных отборов, включающее в себя аннотацию.

Истории (Stories) – Элемент приложения Qlik Sense представляющий из себя презентацию. В историях можно располагать сделанные снимки, аннотации, изображения.

Мастер библиотека – Библиотека содержит повторно используемые ресурсы, такие как измерения, показатели и объекты визуализации, которые Вы можете использовать в своем приложении повторно. Если необходимо внести изменение в расчет показателя, внести правку в измерение или объект визуализации – достаточно сделать изменение в библиотеке (автоматически все изменения будут применены ко всему приложению). Для показателей рекомендую использовать переменные и выражение хранить в переменных.

Готовые измерения в библиотеке – 

Готовые показатели в библиотеке – 

Готовая визуализация в библиотеке – 

Отбор – Установленный фильтр по одному из полей данных.

Закладка – Сохраненная совокупность отборов.

Последовательность работы с приложением Qlik Sense

Для того, чтобы создать приложение, необходимо выполнить следующие действия:

1. Создаем пустое приложение
2. Пишем скрипт загрузки данных (при выборе файлов, которые нужно загрузить, автоматически генерируется скрипт загрузки таблицы). В скрипте загрузки обычно загружаются несколько таблиц, одна из которых является таблицей фактов, одна таблица – календарь и несколько таблиц с измерениями.

Сообщение Основные компоненты приложения Qlik Sense для визуализации данных появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Извлечение, загрузка и преобразование (ELT) — это процесс, с помощью которого данные извлекаются из исходной системы, загружаются в хранилище данных, а затем преобразовываются.

E, T, L:

• Extraction (Извлечение): извлечение необработанных данных из неструктурированного пула данных и их перенос во временное, промежуточное хранилище данных.
• Преобразование (Transformation): структурирование, обогащение и преобразование необработанных данных в соответствии с целевым источником.
• Загрузка (Loading): загрузка структурированных данных в хранилище данных для анализа и использования инструментами бизнес-аналитики (BI).

ETL требует управления необработанными данными, включая извлечение необходимой информации и проведение правильных преобразований, чтобы в конечном итоге удовлетворить потребности бизнеса. Каждый этап – извлечение, преобразование и загрузка – требует взаимодействия инженеров и разработчиков данных, а также работы с ограничениями емкости традиционных хранилищ данных. Используя ETL, аналитики и другие пользователи BI привыкли ждать , поскольку простой доступ к информации недоступен до тех пор, пока не будет завершен весь процесс ETL.

Извлечение, загрузка и преобразование (ELT) — это процесс, с помощью которого данные извлекаются из исходной системы, загружаются в хранилище данных, а затем преобразовываются.

QVD файлы

Qlik Sense имеет собственный формат хранения данных. Данные из разных систем выгружаются и сохраняются в QVD-формате. Этот формат файлов очень быстро загружается в Qlik Sense для дальнейшей обработки. Это как dump базы данных. Выгрузка и загрузка миллионов строк (без доп.условий) занимает секунды.
Иногда можно построить серьезные коммерческие проекты только на QVD файлах.

• Первый уровень данных — сырые данные (выгрузки из источников без каких либо изменений).
• Второй уровень — обработанные файлы (объединение данных, дополнительные аналитики, флаги, специальные поля, рассчитанные меры и т.д.).
• Третий уровень — агрегированные данные и т.д.

Эти файлы можно использовать в разных приложениях, за них могут отвечать разные сотрудники и сервисы. Скорость загрузки из таких файлов в десять раз быстрее чем из обычных источников данных. Это позволяет экономить на базе данных и обмениваться информацией между различными приложениями Qlik.

Пример организации ETL-процесса на примере QlikView (в Qlik Sense аналогичные процессы):

Организация ETL на базе Qlik Sense – Вариант 1

• Этап выгрузки данных из систем (Extract): На Qlik Sense формируются процедуры выгрузки данных без изменений (как есть). В рамках инкрементальной загрузки рекомендуется выгружать только новые и/или изменившиеся данные. Для выгрузки каждой отдельной таблицы пишется отдельный скрипт, который вызывается в Qlik Sense через must_include. Схема следующая:
  • Загружаем данные из таблицы базы данных (или другого источника)
  • Сохраняем загруженную таблицу в QVD-файл
  • Удаляем таблицу
  • Переходим к следующей таблице и т.д.
• Этап трансформации данных (Transformation): На этом этапе из сырых данных формируются справочники, которые затем будут использоваться в моделях. На этом этапе подтягиваются различные параметры из смежных справочниках (например, для товаров можно подтянуть атрибуты, разные свойства, нормативы из других справочников). На этом этапе формируются QVD файлы, которые будут использоваться в разных приложениях и дальнейших ETL-процессах. Убираются ненужные атрибуты, производится очистка параметров. На этом этапе рекомендуется использовать вместо join функцию mapping & applymap. Если данные приходят из разных филиалов, То на этапе трансформации они по прежнему собираются в рамках отдельного филиала. Это необходимо, чтобы минимизировать затраты на ресурсы при обработке данных (распараллеливание процессов обработки, облегчения поиска ошибок, облегчение процесса тестирования/разработки.
• Этап агрегации данных (как часть процесса Transformation): Этот этап является дополнительным этапом, который по сути входит в шаг трансформации данных. На этом этапе собираются специфические таблицы (файлы QVD) для конкретных моделей. При этом данные очень часто группируются, чтобы уменьшить размер таблиц. Т.е. фактически это этап агрегации/консолидации данных. Данные из различных филиалов собираются в один единый файл.

Краткая классическая схема ETL-процесса (процесса выгрузки, обработки данных)

Общая схема ETL-процесса в Qlik Sense

На завершающем этапе ETL-процесса данные загружаются в приложение (создается модель данных). Есть различные схемы моделей данных, целевая схема – звезда:

• Таблица фактов (продажи в разрезе клиентов, товаров, по датам)
• Справочники (Измерения): Товары, Клиенты, Календарь
• Вспомогательные таблицы, не связанные с другими таблицами: Data Islands

Пример модели данных:

TSEEQ: The Structured ETL Engine for Qlik Sense

TSEEQ – это структурированный движок ETL для Qlik, может быть полезен для вашего проекта. TSEEQ – это механизм ETL, а не процесс; TSEEQ можно использовать для оптимизации любого ETL-процесса, который вы используете в своей реализации Qlik Sense.

• Скачать TSEEQ: The Structured ETL Engine for Qlik Sense pdf
• TSEEQ на github

Основы проектирования хранилища данных для Qlik Sense

Хранилище данных (в формате QVD-файлов) и Bus Matrix

Хранилище данных Qlik Sense предпочтительно должно соответствовать корпоративной архитектуре данных со стандартными фактами и измерениями, которые могут совместно использоваться в разных моделях. Несмотря на то, что qvd-файлы используются в Qlik Sense, необходимо соблюдать существующие определения данных и управление ими. Любые новые факты, измерения и меры, разработанные с помощью Qlik Sense, должны дополнять архитектуру компании.

1. Создание Bus Matrix хранилища данных:

• Матрица бизнес-процессов (фактов) и стандартных измерений является основным инструментом для проектирования и управления моделями данных и передачи общей архитектуры BI.

• В этом примере бизнес-процессами, выбранными для модели, являются Продажи через интернет, продажи через посредников и главная книга.

2. Создание Bus Matrix:

• Результат процесса проектирования модели должен включать более подробную Bus Matrix.

• Bus Matrix: интернет-продажи, продажи через посредников и главная книга
• Ясность и согласованность содержания таблиц фактов, определений основных показателей и всех измерений дает уверенность при переходе в фазу разработки.

Extract Level: Описание основных элементов скрипта загрузки данных в Qlik Sense

Создание подключения в скрипте Qlik Sense

Для загрузки данных из разных источников совершенно необязательно знать синтаксис и команды Qlik Sense. На первоначальном этапе работы достаточно просто пользоваться мастером генерации скрипта.

Для этого в приложении заходим в редактор скрипта:

Справа нажимаем “Создать новое подключение”:

У Qlik Sense есть различные коннекторы к различным источникам данных. В рамках этого раздела мы создадим только коннектор к директории на диске (где лежат QVD-файлы):

Указываем директорию и название соединения:

Далее в соединении нажимаем на кнопку “Выбрать данные”:

Qlik Sense предложит список файлов для выбора из директории (можно провалиться в поддиректорию/подпапку):

В окне предпросмотра выбираете колонки, которые необходимо загрузить из файла (либо генерируете скрипт и в скрипте удаляете ненужные колонки):

Мы получили сгенерированный скрипт загрузки данных из QVD-файла. Такая цепочка действий выполняется практически для всех источников данных (включая базы данных). Единственное исключение, наверное, это получение данных из API. Но это уже продвинутая разработка, на первом этапе это не потребуется.

Операторы загрузки данных LOAD QVD & SQL SELECT

Для загрузки данных из QVD файлов используется структура:

Контрагенты:
LOAD
    "Контрагент ID",
    Сегмент,
    Контрагент,
    Страна,
    Город,
    Регион
FROM [lib://Источник данных/Контрагенты.qvd] (qvd);

Для выгрузки данных из базы данных необходимо создать подключение к БД и сформировать скрипт загрузки. Скрипт загрузки может быть составлен несколькими вариантами. Пока что рассмотрим три варианта без подробного разбора.

Вариант 1:

LIB CONNECT TO 'MySQL_Enterprise_Edition';

[mysql_table_name]:
SELECT `option_id`,
     `option_name`,
     `option_value`,
     autoload
FROM `database_name`.`mysql_table_name`;

Вариант 2:

LIB CONNECT TO 'MySQL_Enterprise_Edition';

[mysql_table_name]:
LOAD option_id, 
   option_name, 
   option_value, 
   autoload;
SELECT `option_id`,
     `option_name`,
     `option_value`,
     autoload
FROM `database_name`.`mysql_table_name`;

Вариант 3:

LIB CONNECT TO 'MySQL_Enterprise_Edition';

[mysql_table_name]:
SQL
SELECT `option_id`,
     `option_name`,
     `option_value`,
     autoload
FROM `database_name`.`mysql_table_name`;

Загрузка данных из Excel – LOAD FROM XLSX

[Планирование ден.потоков]:
LOAD
    "Доходы и расходы",
    "Варианты расходов",
    "1 месяц",
    "2 месяц",
    "3 месяц",
    "4 месяц",
    "5 месяц",
    "6 месяц",
    "7 месяц",
    "8 месяц",
    "9 месяц",
    "10 месяц",
    "11 месяц",
    "12 месяц"
FROM [lib://XLSX_DataSource/1_Analiz_denezhnykh_potokov.xlsx]
(ooxml, embedded labels, header is 2 lines, table is [Планирование ден.потоков]);

Пример загрузки данных из CSV – LOAD FROM CSV

[Продажи]:
LOAD
    SKU,
    "Group",
    "Week",
    Store_id,
    "Sales qty, pcs.",
    "Sales, RUB",
    "Sales in the cost, RUB",
    "Promo index",
    Availability
FROM [lib://CSV_Source/Test.csv]
(txt, codepage is 1251, embedded labels, delimiter is ';', msq);

Создание таблицы в скрипте – хранимая таблица в скрипте – LOAD * Inline []

Иногда в ходе загрузки данных требуется создать таблицу со значениями в скрипте. Например, для фильтров. Не всегда хочется генерить дополнительный файл XLSX, проще и быстрее сделать все в скрипте. Для этого есть конструкция LOAD * Inline:

[Таблица хранимая в скрипте]:
LOAD * Inline [
  Поле 1, Поле 2, Поле 3
    Значение 1.1, Значение 2.1, Значение 3.1
    Значение 1.2, Значение 2.2, Значение 3.2
    Значение 1.3, Значение 2.3, Значение 3.3
];

Сохранение таблицы в QVD-файл

STORE [Регистр Продаж] into 'lib://ExtractData/1С_Предприятие/РегистрПродаж.qvd' (qvd);

…

Продолжение следует

Transform Level: Описание функций, приемов эффективного преобразования данных

В этом разделе я опишу основные приемы обработки данных в скрипте Qlik Sense. Конечно же в одной статье нереально вместить и описать все случаи и все подходы по обработке данных. Основная цель этого раздела – заложить базис синтаксиса, основных конструкций по обработки данных в скрипте Qlik Sense.

Rename Table / Rename Field / Drop Table(s) / Drop Field(s)

todo

Load * Resident

todo

Загрузка данных по маске From ‘FileName_*.qvd’ (qvd)

todo

Concatenate & NoConcatenate

todo

AutoGenerate

todo

Exists()

todo

SubField()

todo

Match() & WildMatch()

todo

Mapping / ApplyMap

todo

Left Join & Inner Join

todo

For i To NoOfRows / NoOfFields. Peek() & FieldName()

todo

Load While IterNo()

todo

if(). Комбинация Pick() & Match() в скрипте

todo

Агрегация данных Group By. Предрасчет показателей в скрипте

todo

…

Продолжение следует

Load Level: Загружаем данные в модель. Основные концепции и подходы по созданию моделей

…

Продолжение следует

Краткий инструктаж по написанию скриптов загрузки

В этом разделе будут описаны некие принципы для организации ETL-процесса с помощью Qlik Sense (без использования других инструментов обработки данных).

1. В операциях Concatenate, Join не используйте Distinct. Если таблица формируется с помощью последовательных операций объединения данных в одну таблицу с помощью оператора принудительного объединения таблиц Concatenate (сходных по набору столбцов, но имеющих несколько разных колонок), операторов присоединения данных Join (Left, Right, Inner) – не используйте Distinct – иначе Вы потеряете одинаковые строки (это не дубликаты, просто в 1 документе могут быть указан один и тот же товар двумя строками, если в системе учета это не запрещено). Причем не важно, на каком шаге был применен Distinct (в самом начале обработки данных или в конце).

2. Используйте меппинги ApplyMap вместо Join. При большом объеме данных это ускоряет загрузку данных.

3. Одинаковые части формул рекомендуется выносить в переменные, чтобы упростить дальнейшую поддержку кода приложения. Переменные можно вести как в Excel, так и в Variable Manager. Также можно использовать различные расширения или extension (например, Qlik Sense Variable Editor Mashup).

4. Ключи оборачивать в TEXT(), даже если это hash-ключ из 1С Предприятие 8.3. Qlik имеет неприятную штуку с изменением ключей (встречается редко, но проскакивает). В обычных ключах очень часто клик может преобразовать запись “130E0” в “13E1”. Т.е. знак “E” он воспринимает как разряд.

5. Для генерации составных ключей вместо hash128() рекомендуется использовать autonumberhash128() – он быстрее. Генерация ключей с помощью функций Hash128 и Hash256 утяжеляет модель, что ведет к увеличению использования RAM.

6. Preceding Load: Для того, чтобы сократить объем кода и оптимизировать скорость загрузки данных рекомендую использовать Preceding Load (Предшествующий оператор LOAD). Preceding Load можно использовать и при загрузке из файлов, из баз данных, из уже загруженных таблиц с помощью оператора Resident. Количество “этажей” Preceding Load не ограничивается (используйте в меру разумного).

SimplePreceding:
LOAD
     *,
     [To Date] - [From Data] as Duration
;
LOAD
     Date(Date#(FromDate, 'YYYYMMDD'), 'DD MMM YYYY') as [From Date],
     Date(Date#(ToDate, 'YYYYMMDD'), 'DD MMM YYYY') as [To Date],
FROM [lib://SourceData/Durations.xlsx] (ooxml, embedded labels, table is Data);

7. Нумерация строк в большой таблице фактов. Если нужно пронумеровать таблицу фактов, которая грузится из нескольких источников, то для начала загружаем все факты в 1 таблицу Qlik Sense, затем перекладываем таблицу саму себя (Load * Resident) с функцией RecNo().

RowNo() для больших таблиц не нужно использовать, т.к. она очень медленно работает.

8. Не создавайте меппинги напрямую из больших QVD файлов. Сначала грузим QVD в таблицу, затем перекладываем с помощью Resident данные в Mapping таблицу. Загрузка данных в Mapping таблицу отключает оптимизированную загрузку данных.

9. Избегайте сложных динамически генерируемых полей, таблиц, кусков кода. Любая динамика усложняет поддержку решения. Особенно это критично, когда один разработчик уходит из команды, код приходится изучать с нуля. Если другого выхода нет, кроме как использование динамики, то делайте генерацию кода, полей и т.п. Если есть простой способ написания кода – используйте его. Унификация и простота – залог облегчения поддержки инфраструктуры, etl-процесса. Не гонитесь за интересными решениями, прокачкой ИТ-навыков – это вредит ИТ-решениям компании (но разработчикам конечно это на пользу). Плюс повышаются косвенные затраты компании, в какой-то момент потребуется вместо 1 разработчика на поддержку использовать 2х разработчиков.

…

Продолжение следует

Скачать дополнительный материал

Сообщение Qlik Sense ETL & ELT: Основы загрузки данных из систем учета, баз данных, файлов появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Количество выбранных элементов в измерении

GetSelectedCount([Товар Название])

Количество возможных элементов в измерении

GetPossibleCount([Товар Название])

Получить количество полей из таблицы модели

=Count({1<$Table={'Таблица Фактов'}>} $Field)

Переменная “Условие-проверка”, что приложение Qlik перегрузилось сегодня

vAppReload
=match(today(0),today(2))

Получить в скрипте текст, заключенный между символами

Текст между символами:

=TextBetween('lkj dsf 554 [Текст в квадратных скобках]','[',']')

Как менять значения переменной по кругу при нажатии на кнопку

Как менять значения переменной по кругу:

=pick(match($(пПеременная),1,2,3,4,5,6),2,3,4,5,6,1)

Сравнение поля с конкретным временем

Time(Left([Время обработки],8))>MakeTime(18,30,00)

Время обновления файла

Let vFileDateTimeModified = FileTime('C:\QS_QVD\Чеки.qvd');

Выход из скрипта по условию

Exit Script when a=1;

Значение по умолчанию для конструкции Pick(Match())

Pick & Match – значение по-умолчанию, если не найдено условие

Pick(Match(lower([Флаг]),'true','false')+1,'Не определено','Да','Нет') As [Какой-то аналитический признак]

Проверка поля на пустоту в скрипте Qlik Sense

Проверка поля на пустоту (вместо not IsNull and <>”)

Len(Trim([Поле справочника]))=0

Использование Match при наличии пустых значений в поле

Наткнулся, что в Match не учитывает пустые значения (null). Т.е. условие в скрипте

UPPER([Ассортимент]) <> 'ВЕЛОСИПЕДЫ'

не эквивалентно условию

Match(UPPER([Ассортимент]),'ВЕЛОСИПЕДЫ')=0

Решилось:

RangeSum(0,Match(UPPER([Ассортимент]),'ВЕЛОСИПЕДЫ'))=0;

Аналогично в WildMatch

Сбросить фильтры по всем полям какой-то конкретной таблицы

Если Вам при расчете показателя необходимо сбросить фильтры по всем полям какой-то таблицы, то необходимо в приложении создать переменную пСброситьВыборкиПолейТаблицы:

$(=CONCAT({1<$Table = {'$1'}>} DISTINCT '['& $Field &']=', ',') )

Далее в выражении нужно записать следующую формулу (Выражение в таблице для расчета показателя ‘Текущий остаток’):

sum({<$(пСброситьВыборкиПолейТаблицы(Календарь))>} [Текущий остаток])

Tips & Tricks по работе с визуализацией

Редактирование таблицы в Qlik Sense с большим количеством столбцов

В Qlik Sense все изменения производимые в столбцах мгновенно начинают отображаться в таблице (автоматическое применение изменений). Когда столбцов много, то любой update в колонках замедляет разработку фактически в несколько раз. Чтобы этого избежать, можно в условии вычисления всей таблицы поставить ноль, внести изменения и потом условие изменения убрать. Т.е. фактически отрубить автоматический расчет таблицы вручную.

Сообщение Фишки (Tips & Tricks) по Qlik Sense / QlikView. Секретные приемы Qlik появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

todo

Подходы контроля правильной работы ETL-скрипта. Best Practices Qlik Sense Development

Контроль количества строк при операциях Left Join

//=============================================================
//КОНТРОЛЬ КОЛИЧЕСТВА ПРОВОДОК ДО И ПОСЛЕ JOIN
//=============================================================

Let пЗаписейВфактахДо=NoOfRows('Факты');
TRACE $(пЗаписейВфактахДо);


     //..... Здесь подряд делается несколько различного типа JOIN


Let пЗаписейВфактахПосле=NoOfRows('Факты');
TRACE $(пЗаписейВфактахПосле);
IF $(пЗаписейВфактахПосле)<>$(пЗаписейВфактахДо) THEN

     //------- Генерим ошибку, чтобы остановить выполнени скрипта
     CALL FunctionNotExist111_ThrowError('Принудительная остановка скрипта. Количество строк изменилось.');
 
ENDIF

Контроль полноты данных

Для контроля полноты данных следите за:

• Количество записей
• Контрольная сумма по мере
• Статистические таблицы

Рекомендации по организации ETL-процесса и управлению скриптами

Комментарии в скрипте

1. Наличие в коде больших кусков закомментированного кода – это плохо

Планируйте инфраструктуру Qlik Sense окружения таким образом, чтобы Ваши скрипты либо автоматически бекапировались и фиксировались все вносимые изменения, либо скрипты подключайте через Must_Include, а текстовые файлы контролируйте через Git Tools.

Про разработку скриптов через файлы можно почитать тут:

• https://qlik.pw/teorija-razrabotki-qlik-instrumenty-i-kak-2_515/
• https://qlik.pw/teorija-razrabotki-qlik-razbiraem-struktu_529/
• https://qlik.pw/teorija-razrabotki-qlik-izvlekaem-skript_535/
• http://www.qlikfix.com/2019/03/12/tutorial-setting-up-version-control-for-qlik-sense/

Следствием такого подхода должно стать отсутствие закомментированного кода в скриптах. Где-то я видел фразу, что большие куски закомментированного кода оставляют разработчики, у которых мало опыта. В чем-то я с этой фразой согласен. Считаю, что нужно в компании вести базу знаний, в которую заносить большие куски кода для обсуждения (это может быть как Mediawiki, так и WordPress – все бесплатно и просто в обслуживании).

За все время работы я практически никогда не смотрел закомментированный код, но очень часто обращаюсь к библиотеке скриптов с ранее созданными техническими решениями. Напрашивается вывод: для эффективной разработки и поддержки нужна библиотека знаний/скриптов, а большие закомментированные куски кода в рабочем ETL не нужны. На стадии разработки допускается комментирование скрипта, а вот в production лучше не выносить эти куски.

А код должен быть максимально удобным для обслуживания. К сожалению к этому приходишь не сразу.

2. Многострочный комментарий /* */ лучше заменять одиночным, т.к. это упрощает отладку

Стремитесь не использовать многострочные комментарии, т.к. при отладке, можно перекрыть одним многострочным комментарием другой многострочный комментарий.

3. Код должен иметь исчерпывающее количество комментариев.

Комментарии должны носить техническое описание, также можно написать обоснование, почему было принято то или иное решение.

Особенно это касается таких вопросов, как расчет себестоимости, аллокации расходов и т.п. Т.к. не всегда принятые решения закрывают все проблемы (логические, технические и т.п.), иногда приходится выбирать меньшее из двух зол, оставляя маленькую щелочку, к которой в дальнейшем нужно прийти и её исправить.

Сначала – проектирование, потом – разработка

Еще есть такая штука, как технический долг (это и неправильно написанный код, “грязный” код, неправильные архитектурные решения, отсутствие четких Бизнес-Процессов разработки, отсутствие документации и т.д.), которые выливаются в конечном итоге в торможении и усложнении процесса развития аналитической системы. В какой-то момент Вам придется сесть и начать все структурировать, систематизировать, чистить промышленное окружения от излишних объектов, чистить код и т.д.

Грязный код, как источник технического долга

Управление техническим долгом

• Предотвращаем (Инженерные практики; Критерии готовности DoD; Обмен знаниями)
• Делаем видимым
  • Технический бэклог
  • Приоритеты (Размер при непогашении; Цена досрочного погашения; Частота “платежей”; Бизнес ценность и стратегическое влияние)
• Обслуживаем непрерывно (правило бойскаута “Оставь место стоянки чище, чем оно было до твоего прихода”)

Qlik Best Practice – Scripting In Qlik Sense

• Комментарии к коду должны проставляться в разделах скрипта там, где производится преобразование данных, чтобы понять, почему код был написан именно таким образом. Это не означает, что Вам нужно писать комментарий для каждой строки кода. Старайтесь кратко и конкретно описывать суть кода и шагов трансформации данных.
• Всегда, всегда и еще раз – ВСЕГДА оборачивайте ключевые поля функцией text() при выгрузке из базы данных. Много раз сталкивался на практике, когда выгружается ключ и часть ключа декодируется как число (часть ключа изменяется и перестает соответствовать первоисточнику). Даже если Вы выгружаете GUID ключи из 1С 8.3, то все равно оборачивайте эти ключи в text().
• Скрипт разбивается на разделы. В каждом разделе производятся преобразования для 1 таблицы или 1 файла QVD. Размещать весь скрипт в 1 разделе не рекомендуется.
• В разделе Main размещайте только переменный для конфигурации приложения, глобальные переменные. Не размещайте скрипт загрузки/трансформации в этом разделе.
• В приложении для ETL установите параметр CreateSearchIndex в 0 в разделе Main. Это позволит избежать создание поискового индекса, что положительно скажется на времени перезагрузки. Поисковые индексы не требуются, если приложение не используется для анализа данных.
• Для работы с датой создавайте отдельную таблицу – Календарь, в которой находятся разные атрибуты для работы с периодами (например, дата, недели, кварталы, месяца, года и т.п.). Календарь связывается с таблицей фактов через ключевое поле Дата (обычно это дата, но можно и другие поля сделать). Этот подход позволит пользователям фильтровать данные по любым интересующим их периодам. Также можно создать отдельные флаги для фильтрации часто используемых диапазонов дат, например, «Скользящие 12 месяцев», «Текущий год», «Предыдущий год», «Скользящие 4 недели» и т.д.
• Избегайте WHERE условий при загрузке данных из QVD-файлов. WHERE условия сбивают оптимизированную загрузку (сюда не входит WHERE NOT EXISTS). Там, где это возможно и целесообразно, следует создавать отдельное ограниченное QVD с ограниченным набором данных или использовать другие методы фильтрации, такие как left/inner join с другой таблицей или использование WHERE EXISTS (через отдельное поле-фильтр, которое можно заполнить через LOAD * INLINE).
• Для работы в команде рекомендуется разработать и согласовать стандарт по написанию кода: добавление комментариев, отступы, соглашения по наименованию переменных, таблиц, меппингов, функций, глобальных переменных, использование апострофов, квадратных скобок для полей и таблиц с пробелами в названии, разработайте шаблон скрипта загрузки, использование регистра Camel Case и т.д.
• Используйте только синтаксис сценария Qlik и избегайте сторонних библиотек / операторов include, если они не обеспечивают значительного улучшения производительности приложения или времени разработки. Внешний код может вызвать эффект «черного ящика», когда разработчики не имеют четкого понимания того, что делает внешний код. Точно так же поддержание сценария вне Qlik может стать головной болью (скрипт во всех приложениях должен быть унифицирован, если где-то вставить include, то поиск по скрипту не даст результатов и разработчик может долго бродить по кругу в поисках нужного места).
• При использовании запросов SQL рассмотрите возможность использования (WITH NOLOCK), это предотвращает ожидание запроса для при блокировке записей. Неиспользование (WITH NO LOCK) может привести к тому, что перезагрузка займет значительно больше времени или, возможно, истечет время ожидания и работа скрипта завершится с ошибкой.
• Скрыть поля, которые не применимы для анализа, например составные поля (ключи), которые используются только для модели данных. Скрытие полей реализуется с помощью hidePrefix/hideSuffix.
• Точно так же следует исключить поля, которые не используются для фильтрации в интеллектуальном поиске. Для этого используется оператор EXCLUDE. Преимущество исключения ненужных полей заключается в том, что оно уменьшает количество полей для поиска и исключает неприемлемые результаты из поиска. Таким образом, обеспечивая более быстрый поиск.
• Системные переменные в разных приложениях Extract, Transform и App должны быть настроены одинаково (про переменные в разделе Main).
• Единый принцип написания названий полей и переменных.
• Единый принцип написания названий полей и переменных.
• Используйте TRACE перед значительными участками кода, в том числе вначале каждого раздела скрипта – поможет в локализации проблем.
• Удаляем лишний, не используемый код.
• Очищаем переменные, которые нам не нужны в самом приложении LET Переменная = NULL().
• Используйте комментарии к полям, комментарии к таблицам (формируется через commetn fields, comment tables using map_tables).
• Используйте теги к полям ($dimension, $measure, $hidden).

Сообщение Проверка консистентности/достоверности данных. Подходы контроля правильной работы ETL-скрипта появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

В строгом смысле, Конструктор отчетов Qlik Sense – это отчет, который создается на лету и отображает информацию в виде таблицы, которая является результатом вопроса, который еще не был выведен в отдельный рабочий отчет. Существует ограничение на количество таких производственных отчетов и бизнес-вопросов, которые можно заранее предвидеть и разработать, чтобы пользователи могли обращаться к ним в любое время. В широком смысле, конструктор отчетов (adhoc report) – это просто способ ответить на непредвиденные вопросы.

Поскольку предприятия постоянно меняются, вопросы, которые люди хотят задавать относительно своих данных, постоянно меняются, поэтому любая система отчетности должна учитывать создание и запуск конструктора отчетов. Ключевым моментом является сделать этот процесс простым для обычного бизнес-пользователя, поскольку большинство специальных инструментов отчетов предназначены для использования экспертами по базам данных, что часто требует знания языка запросов, такого как SQL.

В этом разделе будет приведен пример создания такого отчета на базе стандартной функциональности Qlik Sense. При этом Вы сможете в конце раздела скачать рабочий пример и детально разобрать все мелочи. Также, если у Вас есть вопросы – оставляйте их в конце статьи – я постараюсь на них ответить.

Конструктор отчетов Qlik Sense (Qlik AdHoc Report) – это отчет, в котором Вы выбираете измерения (аналитики, например, товары, контрагенты, периоды) и показатели (например, продажи шт. и продажи руб.)

Qlik Sense Expert Russia AdHoc Report

Визуально конструктор отчетов будет выглядеть следующим образом:

Загрузка данных в модель (создание модели Qlik Sense для примера AdHoc Report)

В качестве данных для нашей модели данных возьмем простой файл Excel с данными и напишем скрипт загрузки.

Скачать файл Excel с данными для модели Qlik Sense:

Также нам понадобится специальная функция, которая была разработана мною. Грузить ее будем из текстового файла:

В этом файле лежит вот такая функция:

if(SubStringCount('|' & Concat({$3} distinct [$1], '|') & '|', '|$2|') and GetSelectedCount([$1],False(),'$3'),1,0)

В рамках этой статьи я не буду рассматривать основы создания приложения Qlik Sense, описывать принципы обработки данных и освещать другие вопросы. Все это Вы найдете на моем сайте в других разделах. В этой статье я рассмотрю только аспекты создания конструктора отчетов.

Пишем скрипт загрузки данных. У нас будет 4 раздела загрузки данных:

Скрипт с Main (Переменные):

SET ThousandSep=' ';
SET DecimalSep=',';
SET MoneyThousandSep=' ';
SET MoneyDecimalSep=',';
SET MoneyFormat='# ##0,00 ₽;-# ##0,00 ₽';
SET TimeFormat='h:mm:ss';
SET DateFormat='DD.MM.YYYY';
SET TimestampFormat='DD.MM.YYYY h:mm:ss[.fff]';
SET FirstWeekDay=0;
SET BrokenWeeks=1;
SET ReferenceDay=0;
SET FirstMonthOfYear=1;
SET CollationLocale='ru-RU';
SET CreateSearchIndexOnReload=1;
SET MonthNames='янв;фев;мар;апр;май;июн;июл;авг;сен;окт;ноя;дек';
SET LongMonthNames='января;февраля;марта;апреля;мая;июня;июля;августа;сентября;октября;ноября;декабря';
SET DayNames='пн;вт;ср;чт;пт;сб;вс';
SET LongDayNames='понедельник;вторник;среда;четверг;пятница;суббота;воскресенье';
SET NumericalAbbreviation='3:тыс;6:млн;9:млрд;12:трлн;15:P;18:E;21:Z;24:Y;-3:m;-6:μ;-9:n;-12:p;-15:f;-18:a;-21:z;-24:y';

Факты (загрузка данных из Excel):

Факты:
LOAD
    Дата,
    Подразделение,
    Контрагент,
    Менеджер,
    Номенклатура,
    Продажи,
    Себестоимость,
    [Валовая прибыль]
FROM [lib://DataSource/QlikSense_SampleData_Example_Data_SetAnalysis.xlsx]
(ooxml, embedded labels, table is Data);

Календарь (на основе минимальной и максимальной дат формируем календарь – массив дат с месяцами, годами, кварталами и т.п.):

// Получаем из поля Дата минимальное и максимальное значения
[TEMP Максимальная Минимальная Дата]:
LOAD
     Min(FieldValue('Дата',RecNo())) 	As [Минимальная Дата],
     Max(FieldValue('Дата',RecNo())) 	As [Максимальная Дата]
AutoGenerate FieldValueCount('Дата');

// Минимальную и максимальную даты помещаем в переменные, 
// для того, чтобы использовать их в условии While
Let пНачалоКалендаря_Число 	  = Num(Peek('Минимальная Дата', 0, 'TEMP Максимальная Минимальная Дата'));
Let пОкончаниеКалендаря_Число = Num(Peek('Максимальная Дата', 0, 'TEMP Максимальная Минимальная Дата'));

// Удаляем временную таблицу
DROP Table [TEMP Максимальная Минимальная Дата];  

// Создаем набор дат в промежутке от минимальной до максимальной даты
[TEMP Набор дат в интервале MinDate - MaxDate]:  
LOAD 
     Date($(пНачалоКалендаря_Число) + IterNo() - 1) as [TEMP Дата]
AutoGenerate 1
While $(пНачалоКалендаря_Число) + IterNo() -1 <= $(пОкончаниеКалендаря_Число);  

// Формируем таблицу с календарем в моделе Qlik Sense
[Простой календарь QS]:  
Load 
     Date([TEMP Дата]) 													As Дата,
     Date([TEMP Дата],'DD MMMM YYYY')									As [Дата длинный месяц],
     Text(Date([TEMP Дата],'WWWW MMM YYYY'))							As [День недели МесяцГод],
     'Кв'& Ceil(Num(Month([TEMP Дата]))/3)								As Квартал,
     'Кв'& Ceil(Num(Month([TEMP Дата]))/3) & '-' & Year([TEMP Дата]) 	As КварталГод,
     Text(Date([TEMP Дата],'YYYY.MM')) 									As [Год Месяц],
     Text(Date([TEMP Дата],'MMM YYYY')) 								As [Месяц Год],
     Year([TEMP Дата]) 													As Год,
     Year([TEMP Дата])&'.'&Week([TEMP Дата])							As [Год Неделя],
     Week([TEMP Дата])													As Неделя,
     Day([TEMP Дата])													As День
Resident [TEMP Набор дат в интервале MinDate - MaxDate];

Drop Table [TEMP Набор дат в интервале MinDate - MaxDate];

AdHoc Конструктор отчетов – загружаем переменную из файла (формула для переменной с 3 параметрами). Плюс определяем набор измерений и показателей, которые будут доступны в нашем гибком конструкторе отчетов:

//==========================================================
// Загрузка формулы CUSTOM VARIABLE
//==========================================================
AdHocFunc:
First 1
LOAD
    @1 AS ФормулаДляПеременной
FROM [lib://DataSource/Func.txt]
(txt, codepage is 28591, no labels, delimiter is '\t', msq);

LET vAdHocFunc = Peek('ФормулаДляПеременной',0,'AdHocFunc');

Drop Table AdHocFunc;

//==========================================================
// Формирование Data Island таблиц Измерений и Показателей
//==========================================================
[Измерения AdHoc]:
Load * Inline [
    Измерения
    Дата
    Дата длинный месяц
    День недели МесяцГод
    Квартал
    КварталГод
    Год Месяц в числах
    Месяц Год
    Год
    Год Неделя
    Неделя
    День
    Подразделение
    Контрагент
    Менеджер
    Номенклатура
];

[Показатели AdHoc]:
Load * Inline [
	Показатели
    Продажи
    Себестоимость
    Валовая прибыль
];

Загружаем данные и смотрим модель данных:

В модели данных у нас есть таблица фактов, которая связана по общему полю Дата с таблицей Календарь. Также в модели данных есть две таблицы, которые не имеют связей с другими таблицами (их называют data island – острова данных):

Создание визуальной части приложения конструктора отчетов QlikSense

Переходим к основной части. Создаем лист Конструктор отчетов:

Слева располагаем фильтры с 2 таблицами (измерения и показатели – это как раз наши Data Island). Сверху накидываем фильтры для фильтрации модели данных (основные контекстные аналитики – Год, месяц, товары, клиенты и т.п.). На остальной части располагаем обычную прямую таблицу (как сделать Pivot и как с ним работать в режиме конструктора – объясню потом).

Схема расположения фильтров и отчета на листе QS (можете как-то по-другому расположить – это всего лишь рекомендация):

Настройка фильтров Измерения и Показатели

Для того, чтобы отчет работал, нам необходимо создать Альтернативное состояние “Конструктор”:

После этого в фильтре для “измерений” и “показателей” указываем Другие состояния “Конструктор”:

Настройка отчета AdHoc в Qlik Sense – Прямая таблица

После того, как вынесли элемент визуализации таблица на лист, создаем столбцы (выбираем измерения и создаем меры/показатели). После того, как Вы накидали все измерения и показатели из модели данных в таблицу, необходимо прописать условия отображения столбцов, отдельно для измерений и отдельно для показателей.

Вставляем условие в поле:

Формула для вычисления (с использованием специальной переменной с параметром):

$(vAdHocFunc(Измерения,Год,Конструктор))

Для Измерений условие будет выглядеть следующим образом (должно быть ОК):

Аналогично для показателей:

Формула:

$(vAdHocFunc(Показатели,Продажи,Конструктор))

Проверяем функцию (что отображается ОК):

Как работать с конструктором отчетов Qlik Sense?

Для того, чтобы отобразить нужные столбцы – выбираем измерения, показатели. Также можно отобразить данные по конкретному году, товару, клиенту (используйте верхние фильтры):

Для того, чтобы в отчете сохранить нужные настройки и всякий раз не выбирать измерения, показатели, можно создать множество закладок с выборками Измерение и Показатели. Для этого сверху кликните на значок “Закладка” и нажмите кнопку создать закладку:

Теперь Вы сможете быстро выбрать из списка нужный Вам отчет. При этом Ваши коллеги смогут создавать отчеты, которые необходимы им независимо от Вас. Для активации закладки нужно кликнуть на значок “Закладки” и активировать нужный отчет.

Дополнительные настройки конструктора отчетов Qlik Sense

В настройках таблицы переходим на вкладку дополнительно и прописываем следующее:

1. Снимаем галочку

2. Ставим условие для расчета таблицы

if(GetSelectedCount([Измерения],False(),'Конструктор') and GetSelectedCount([Показатели],False(),'Конструктор'),1,0)

3. Прописываем сообщение для пользователей

Выберите, пожалуйста, измерения и показатели

Скачать приложение “Конструктор отчетов Qlik Sense” со всеми формулами

Ссылка на скачивание приложения Qlik Sense. Буду благодарен, если поделитесь ссылками в социальных сетях на статью

Сообщение Конструктор отчетов Qlik Sense. AdHoc Reporting. Гибкий отчет с измерениями и показателями появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Qlik Sense – очень гибкая платформа создания отчетности. В ней нет ограничений на количество приложений, на количество отчетов, количество данных. Вы можете создать 1 большое приложение с множеством различных отчетов, либо создать много приложений, в каждом из которых будет 1-2 сложных по структуре или логике отчета. Все зависит от Ваших потребностей. Единственно что нужно учитывать – это затраты на поддержку решений.

Также можно создать приложение Qlik Sense, в котором в библиотеке задать нужные измерения и показатели, а пользователи будут сами создавать простые отчеты, графики, дашборды, аналитические панели.

Этапы создания модели Qlik Sense

Рассмотрим основные этапы создания модели Qlik Sense:

Краткая схема создания приложения выглядит следующим образом:

1. Для того, чтобы создать аналитическую модель (Отчет, дашборд и т.п.) изначально необходимо получить требования от заказчика (выявить основные потребности). Вы проводите встречу с заказчиком, на которой записываете основные его желания, затем, обрабатывая первичные требования Вы задаете уточняющие вопросы заказчику.
Очень часто заказчики опускают нужные подробности, которые могут помочь в решении задачи. Делают они это зачастую не умышленно, а потому что для них это очевидно (каждый день с этим работают).

Иногда заказчик может опираться на вымышленные сущности, которых нет в учетных системах, либо они ведутся там очень и очень криво. Это все может привести к тому, что на пол пути Вы поймете, что разрабатываемый отчет довести до конца не получится. И ладно, если Вы на этот отчет потратили пол дня, а если Вы уже 2 недели что-то делаете и приходите в тупик?

Иногда заказчик хочет получить отчет, который можно получить из учетной системы. Он уже там есть, только заказчик про это не знает.

Еще 1 совет – всегда стремитесь избегать в своей работе с данными, которые пользователи ведут в Excel! На этапе выявления требований стремитесь заставить заказчика отказаться от excel, Хотя бы в сторону MS Access. Ну или обязать заказчика разработать жесткую форму для ведения данных с проверками.

2. Дальше начинается работа с источниками данных. В идеале сначала проводится краткий аудит учетных систем на предмет того, как вводятся данные.

На этом этапе необходимо проработать перечень источников из которых Вы будете выгружать данные. Для этих работ целесообразно привлекать системных аналитиков или разработчиков учетных систем, которые знакомы со структурой базы данных, могут помочь написать тот или иной запрос. Иначе Вам придется самостоятельно изучить в лучшем случае документацию, в худшем случае учетную систему (со всеми ее странностями и кастомизациями).

На этом этапе необходимо проверить наличие в справочниках нужных атрибутов (согласно требованиям), наличие фактов, смоделировать (например в Excel) расчеты, которые нужно получить в рамках аналитической модели.
Для снижения риска проекта по Qlik Sense рекомендую делать на предварительной стадии прототип модели на очень ограниченном объеме данных, проверить структуру модели, те или иные гипотезы. Внимание: самое важное на первом и втором этапах не уйти глубоко в детали и не выдумать из небольшого, быстрого и полезного проекта ОГРОМНОГО МОНСТРА.

В ходе второго этапа (при аудите учетных систем) уточняется ТЗ и разрабатывается план проекта.

3.Выстраиваем структуру окружения QS Проекта на Windows Сервере. Если в рамках проекта планируется использовать Qlik Sense Desktop – то требуется одна архитектура организации окружения (с привлечением QlikView Desktop), если Qlik Sense Enterprice – то другая архитектура.

Здесь необходимо создать каталог папок, в которых будут храниться приложения/скрипты .qvs для выгрузки данных (Extractor),  приложения/скрипты .qvs для трансформации данных (Transform), приложения/скрипты .qvs для сборки QVD для конечных аналитических приложений.

Возможная структура папок для хранения QVD-файлов:

• DataSource
  
  • RawQVD – по каждой системе создается отдельная папка в директории RawQVD и в нее выгружаются таблицы.
  • RawFiles – В этой директории хранятся файлы, которыми управляет отдел Qlik Sense. Это могут быть файлы с настройками, временные справочники Excel, специфические меппинги.
  • DataTier1 – в этой директории находятся файлы QVD, которые прошли первичную обработку в процессах обработки данных. На этом этапе в документы добавляются товары, в справочники добавляются различные атрибуты, флаги. Производится расшифровка перечислений (например, для 1С Предприятия) и т.д. Обычно в DataTier1 данные хранятся также по папкам с названиями систем учета.
  • DataTier2 – Агрегированные данные на основе данных DataTier1 из нескольких источников данных. Здесь QVD файлы группируются по тематике, например, продажи, остатки и т.д.
  • DataTier3 – 

4. На четвертом этапе идет основная работа с данными. Строится процесс выгрузки данных из источников. Это может быть одна база данных или несколько баз данных. При этом в качестве источника данных может выступать облачный сервис (bitrix24, amocrm, мойсклад и т.п.).

4.1. Разработка Extractor на Qlik

Виды Extractor (выгрузки)

1. Выгрузка полной таблицы из базы данных и сохранение в формате QVD. Подходит для источников данных с небольшим объемом данных (нужно учитывать скорость наполнения базы данных, при этом объем транзакций год из года приростает), справочников из ERP систем. Данные выгружаются 1 в 1 с минимальными преобразованиями форматов, без агрегирования и доп.расчетов.
2. Инкрементальная выгрузка данных из DataBase учетных систем. Здесь не всегда так просто. Во-первых, в учетной системе должны каким-то образом помечаться измененные записи, а также должна быть дата создания сущности. Для таких целей подойдут поля [Дата создания] и [Дата модификации]. Если нет полей, по которым можно было бы установить список измененных сущностей (документов, проводок), то придется делать инкрементальную загрузку по периодам (т.е. принимать, что данные в старом периоде, например, которые создавались больше года или полугода назад не изменяются). И перегружать только скользящий период год или полгода.
   Почитать про инкрементальную загрузку можно здесь https://ivan-shamaev.ru/practical-issues-in-qlikview-part-2/#___Incremental_Load
   Во-вторых, придется всегда иметь возможность выгрузить систему полностью (на случай, если все данные “испортились” по каким-то чрезвычайным причинам).
   В-третьих, инкрементальная загрузка требует больших трудозатрат в поддержке и разработке (но она дает выигрыш в скорости).

Очень часто обычную и инкрементальную выгрузку данных комбинируют. Самые большие данные переводят на инкремент, данные не критичные – выгружают в полном объеме.

4.2. Итак, после того, как Вы выгрузили данные из базы данных или облачного сервиса в QVD файлы, затем необходимо эти данные обработать (очистить, рассчитать показатели, агрегировать, обогатить дополнительными атрибутами, разметить флагами и т.д.) и положить обработанные данные в отдельный слой (например, DataTier1). Эти трансформированные данные Вы загружайте непосредственно в саму модель Qlik Sense или создаете ещё один дополнительный слой данных со сложными расчетами для конкретной модели данных.

Самое главное – не дублировать одинаковые данные в слоях. При повышении уровня слоя данные должны агрегироваться (группироваться). Нижние слои являются более общими, верхние слои – конкретно для каждой модели данных (или по направлениям анализа).

5. Проектируем слои приложения. Вот пример структуры аналитического приложения Qlik Sense:

• Дашборд (KPI, тренды, сигналы)
• Слой-аналитика (графики, диаграммы, пузырьки и т.п.)
• Слой-гибкий анализ / конструктор отчетов (Ad-hoc анализ)
• Слой детальные данные (Таблицы и сводные таблицы, подсвечиваемые поля, статические отчеты)

Лайфхак для прототипирования в небольших проектах: В качестве инструмента прототипирования для визуализации можно использовать сам Qlik Sense. При этом сложные вычисления Вы не прописываете, а заменяете константами. При этом Ваш прототип будет максимально приближен к функциональности конечного продукта

Пример прототипа на Qlik Sense:

6. Успешность проекта зависит от правильности организации по нескольким направлениям -данные, скрипты (написание, комментарии и т.д.), организация ETL, методологии расчетов:

• Качество данных – качество любого аналитического приложения в первую очередь зависит от того, насколько хорошо выстроены процессы фиксирования данных в учетных системах. Если в системах много дублей, много криво заполненных справочников, есть пустые документы, не проставлены те или иные атрибуты в справочниках, то очень много усилий придется потратить на то, чтобы собрать полноценную аналитическую модель с минимальными погрешностями в расчетах.
• Качество методологий учета, расчетов – прежде чем разрабатывать сложную модель для анализа или исследования данных, необходимо (хотя бы кратко) описать методологию расчетов. Можно все расчеты спроектировать в Excel и отдать его разработчику (иногда это самый подходящий и быстрый вариант).
  Что такое методология расчета? В первую очередь под этим я понимаю описание расчета того или иного показателя. Как в процессе расчета осуществляются группировки, как обрабатываем нули, как округлять данные, как обрабатывать деление на ноль и т.п. вопросы.
  В случае расчета суммы продаж методология расчета не требуется, а вот в случае расчета сопоставимых продаж за период (Like-For-Like) – требуется, т.к. возникает очень много вопросов. Или например как посчитать ROI по мероприятию или по акции. Самым лучшим решением – это когда бизнес-пользователь проделывает в Excel расчеты руками на одном клиенте, 1 акции (т.е. берет ограниченный объем данных и на нем строит модель, корректирует методику, делает проверку, утверждает ее со своим руководством или владельцем бизнеса и только потом отдает на автоматизацию расчетов). Но этот идеальный случай встречается редко и зависит от вменяемости бизнес-пользователя.
• Качество окружения QS (скрипты, изменения, аудит изменений, анализ загрузки ресурсов и т.д.) – от того, насколько правильно структурировано пространство QS, зависят накладные расходы на поддержку решения Qlik Sense. Очень важно оставлять комментарии в скриптах, создать инструмент для отслеживания процессов загрузки данных. Если сразу придерживаться строгих правил порядка, то потом при быстром масштабировании Вам будет легче управлять всей инфраструктурой.

Qlik Deployment Framework

Размышления консультанта “ВСЛУХ”

Возможно кому-то мои рассуждения покажутся “водой”, возможно кто-то сделает заметку, кто-то пройдет мимо, кто-то добавит в комментариях свои мысли. Главное – это просто мысли, мои заметки, которыми я хочу поделиться.

Об отчетах

В компании может быть все плохо, но отчеты об этом могут не говорить. Истинные проблемы начинают всплывать, когда компания начинает генерировать убытки.

В компании может быть 1-3 отчета и из них может быть многое понятно о текущих делах. А может быть десятки отчетов, из которых ничего не понятно (куда смотреть, с чем нужно работать, куда прикладывать усилия). Для работы с отчетами в таких случаях требуется штат аналитиков, которые будут сидеть и обрабатывать автоматически рассылаемые отчеты.

Направление аналитики должно спускаться сверху, причем именно верхнеуровневые показатели должны показываться руководству с графическими представлениями. Руководитель должен открыть дашборд или отчет и дать указание подчиненным руководителям или линейным сотрудникам, что необходимо улучшить в компании. Или какой фронт работы выполнить.

Качество приложения Qlik Sense

Качество приложения Qlik Sense зависит напрямую от качества ваших учетных данных. Очень хорошие данные (структурированные, без мусора, без дублирования, без двоякости и т.п.) = ОТЛИЧНОЕ ПРИЛОЖЕНИЕ QLIK SENSE.

Очень плохое качество данных (пропуски, дублирование, кривая инфа, несоответствия, пустоты, кривые справочники, кривые документы, 100500 способов представления одних и тех же отчетов, но с разными значениями) – ужасная аналитика, ужасный ETL, ужасное приложение, ужасный ROI от бизнес-аналитики?

Куча рассылаемых отчетов Excel – интерес руководителей, но не владельцев компании

Согласитесь, что подделать сложный / запутанный отчет гораздо проще, чем манипулировать данными аналитических панелей. Любая прозрачность данных “больного бизнеса” – это риск для среднего и высшего руководства компании. Они понимают, что владельцы сразу же придут к ним, если у владельца будет под рукой удобный аналитический инструмент. 

Исходя из этих предпосылок, можно предположить, что руководство (не владельцы) никогда не будут заинтересованы в разработке прозрачных дашбордов, с понятными и простыми сигналами “что не так” и “что нужно делать”. Они будут заинтересованы только в том, чтобы максимально неудобно представить данные, из которых сложно сделать “нужные выводы”.

Скорей всего это связано с тем, что люди, которые ставят ТЗ на разработку отчетов не имеют премий от прибыли компании, или от снижения издержек. Самая главная их задача – на совещаниях с умными лицами презентовать очередную порцию “умных отчетов”, чтобы их ценили за объемы аналитической работы.

Запомните – владельцам бизнеса нужен сигнал (светофор), чтобы понять, нужно ли кого-то пнуть, чтобы красный свет загорелся хотя бы на желтый, а в лучшем случае на зеленый.

Построить такой отчет очень сложно, т.к. нужно думать, гораздо проще придумать мудренную Excel с кучей столбцов и строк, которые зачастую между собой никак не коррелируют.

Создавайте базу знаний о бизнес-процессах в компании, делайте внутреннюю wiki

Очень часто и в разных компаниях видел ТЗ, в которых присутствует огромная куча различной терминологии, сокращений, формул, которые никак не расшифровываются и не поясняются развернуто.

Плюс очень часто в компании тот или иной бизнес-процесс может быть запутанным и нигде не описанным. Начиная разработку специалист шерстит всевозможные документы, письма, опрашивает коллег по тому или иному термину.

Приходит новый специалист и “исследовательская” работа повторяется снова.

Выход – создать внутреннюю базу знаний о бизнес-процессах в компании. Не называя имен компаний, я назову позитивные фишки, с которыми я встречался при устройстве в ту или иную компанию (ну или мои предположения, как это может выглядеть иначе в других компаниях):

1. При выходе на работу Вам приходит ссылка на обзорный курс про особенности бизнеса (компании), особенности рынка. Описываются основные бизнес-процессы (укрупненным планом). Описываются основные бизнес-термины. После прохождения курса можно пройти более углубленный курс, например, по расчетам тех или иных показателей бизнеса.
2. Возможность поработать 1 день на передовой бизнеса (фронт-офис) или посетить демо фронт-офис, в котором “как в жизни” можно понять что и как происходит.
3. При выходе на работу в первый день Вам приходит ссылка на страницу в wiki, где в неформальном виде описана вся движуха в компании, отделы и т.п. Неформальный стиль изложения – легкость восприятия информации.
4. Схемы, блок-схемы, потоки данных – иными словами наглядность информации, что происходит в компании.
5. Наличии системы управления требованиями, культура написания ТЗ. Когда Вам приходится искать то или иное требование в почте – это самое плохое, что только можно представить. А еще хуже, когда часть находится в почте, часть в мессенджере, часть в системе управления проектами и т.д.
6. База знаний запросов к системам. Один раз написали запрос – сохранили в базу с осмысленным заголовком и описанием, дальше другой сотрудник может этим запросом воспользоваться (если у него есть доступ к БД).

Здравый смысл

Оценивайте полученные результаты, показатели, отчеты на здравый смысл. Если Вы получили ROI = 500%, то очень вероятно стоит перепроверить (и желательно 2 раза) методику расчета показателя. Если показатель дает очень расплывчатый результат, то стоит ли этот показатель считать? Это как по популяции кроликов в южном округе оценивать спрос на мясо кроликов по стране. Проще потратить силы на отчет P&L, и понять откуда приходят деньги и куда уходят, чем заниматься пространственной аналитикой.

Методология расчета и реальная жизнь

Просите методолога/заказчика на основе его алгоритма сделать предварительный расчет в Excel. Так Вы сможете оценить жизнеспособность методологии расчета.
Разработка отчета в Qlik = 60 часов (например), предварительный расчет в Excel = 4-8 часов (со сбором данных)

Сообщение Этапы проекта Qlik Sense. Краткий обзор состава работ по проекту появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.