Что такое Qlik Sense (КликСенс, Клик Сенс)?

Если объяснять простым языком, то Qlik Sense – это программа для анализа данных, что-то похожее на Excel, но больше заточенное на загрузку данных, их обработку и визуализацию. С помощью программы Qlik Sense Вы сможете 1 раз запрограммировать загрузку данных, настроить отчеты и в дальнейшем каждый день анализировать актуальные данные в программе. При этом система, в отличие от Excel, будет стабильно работать.

В отличие от QlikView, Qlik Sense инструмент для анализа данных с адаптивной версткой (визуализация строится на основе web принципов/механизмов).

Теперь перейдем к маркетинговому определению:

Qlik Sense – это приложение для построения визуализации, исследования и мониторинга данных. Qlik Sense — новый продукт компании Qlik, BI-платформа с ассоциативным поиском в оперативной памяти со встроенными средствами ETL. Выпущена в 2014 году и отличается возможностями к более самостоятельной работе с данными для бизнес-пользователей в отличие от продукта QlikView, которым в большей степени управляли ИТ-специалисты. Использует движок второго поколения (QIX), визуализация разработана с использованием HTML5, CSS и JavaScript (за счет чего аналитические приложения имеют адаптивную верстку и за счет этого их можно использовать на любых устройствах).

Аналитическая система Qlik Sense позволяет собрать информацию из разрозненных источников в единую информационную систему. При этом для Qlik Sense не нужно специальное хранилище данных.
Если Ваши исходные данные таблицы Excel, то Вы сможете даже без помощи ИТ-специалистов загрузить данные в приложение, просто перетащив файлик в Qlik Sense.

Qlik Sense использует ассоциативную модель связи данных. Преимущество ассоциативной модели данных: динамические ассоциации, возможность исследования данных в любом направлении, понимание взаимосвязей данных, видение всех взаимосвязей между данными.

Qlik Sense может импортировать данные из самых различных источников, агрегировать их и рассматривать по различным схемам и моделям данных. Обеспечивается контакт практически с любой базой данных через ODBC и DB OLE, включая источники Big Data, такие, как Cloudera, Hortonworks, Vertica и Teradata.
Загрузку данных из облачных систем (API -> JSON) можно осуществлять с помощью QLIK REST-коннектора, а также при помощи PHP в формате CSV (эта технология будет рассмотрена в продвинутой части курса).

Насчет самостоятельности анализа данных бизнес-пользователями…

Сразу хочу попросить прощения у маркетологов продукта Qlik Sense, но произнося фразу “эта платформа для самостоятельного анализа данных” – вы лукавите! Вы не врете, а привираете. И вот в чем: самостоятельный анализ данных на уровне Excel, когда нужно использовать только функции sum, count, avg и т.д. без set analysis, без переменных, без сложной модели данных, без программирования загрузочного скрипта – это 30% от всех возможностей этой платформы.

Опять же, загрузка данных из баз данных, очистка данных, выверка данных – это все остается за скобками маркетинговых материалов и с этим обычный бизнес-пользователь никогда не будет работать.

Поэтому если Вы, дорогой читатель этого онлайн учебника, “купились” на термин платформа для самостоятельного анализа данных, то не испытывайте больших иллюзий. При появлении сложной формулы на листе бумаги, Вам придется погрузится в написание скриптов [qlik-icon icon=”qicon-data-load”], хотя бы просто узнаете, что такое Set Analysis.

Что такое бизнес-аналитика? И причем здесь Qlik Sense?

Бизнес-аналитика (Business Intelligence = BI) – это обозначение компьютерных методов и инструментов, позволяющих собирать, хранить и анализировать большой объем данных из разных систем учета. Системы бизнес-аналитики предоставляют информацию бизнес-пользователям в форматах:

• Дашборд (Dashboard)
• Аналитические панели для исследования данных
• Таблицы, конструкторы отчетов (Ad-Hoc) для погружения в детальные данные

Демо-примеры Qlik Sense можно посмотреть по следующим ссылкам (часть из них может содержать нестандартную визуализацию – Extensions):

• https://sense-demo.qlik.com/hub/stream/aaec8d41-5201-43ab-809f-3063750dfafd
• https://demos.qlik.com/qliksense
• Retail Sales – https://sense-demo.qlik.com/sso/sense/app/8fdee40e-a30e-444e-93f3-d44adf8344a9/
• Twitter Analysis – https://sense-demo.qlik.com/sso/sense/app/6f7e50c5-f48e-42c1-98d7-f2f67cd3d912
• Workforce Management – https://webapps.qlik.com/workforce-management/index.html#!/dashboard/

Конечная цель бизнес-аналитики – это выработка и принятие эффективных решений для управления бизнес-процессами организаций, управления компанией в целом, работой с рынком (разработка стратегий).

И еще одно похожее определение бизнес-аналитики:

Бизнес-аналитика – это методы и инструменты для построения информативных отчетов о текущей ситуации для принятия управленческих решений. Помимо отчетности туда входят инстументы интеграции и очистки данных, аналитические хранилища данных и средства Data Mining.

BI-технологии позволяют анализировать большие объемы информации, заостряя внимание пользователей лишь на ключевых факторах эффективности, моделируя исход различных вариантов действий, отслеживая результаты принятия тех или иных решений.

Qlik Sense – позволяет закрыть на 99% всех потребностей организации в отчетности.

Какие навыки нужны для того, чтобы начать использовать Qlik Sense?

Навыки для Уровня 1 – Qlik Sense Level 1

Навыки, которые требуются до изучения базового уровня Qlik Sense:

• SQL базовый уровень (Select запросы, Join, Where, Group By). Остальное придет с опытом 🙂
• Понимание основ проектирования реляционных баз данных, см. статью https://iiba.ru/vvedenie-v-proektirovanie-baz-dannih/

Как ни странно, но больше ничего знать не нужно, кроме предметной области бизнеса и методов анализа данных (например в Excel ABC-анализ).

Навыки для Уровня 2 – Qlik Sense Level 2

С продвинутым уровнем все гораздо сложнее 🙂 Итак, перечень входных навыков (каждый приведенный навык нужен для каких-то конкретных задач):

• HTML, CSS, JS;
• PHP;
• PowerShell, CMD/BAT;
• Хорошее знание синтаксиса Qlik (написание сложных скриптов, Set Analysis, Aggr, Циклы);
• Основы построения визуализации;
• Python или R;
• …

Какой BI инструмент начать осваивать в 2018 году? Как выбрать систему бизнес-аналитики?

За последние несколько релизов Qlik Sense сделал огромный рывок на рынке BI. Теперь нет сомнений, что компания Qlik останется в лидерах Gartner Magic Quadrant for BI and Analytics. Если Вы планируете изучать BI-инструменты или хотите выбрать систему аналитики и внедрить в компании, то без каких либо сомнений выбирайте Qlik Sense 🙂

Если Вы выбираете между QlikView и Qlik Sense, то вот еще 1 “За” в сторону Qlik Sense. Проводил опрос в чате QlikView Qlik Sense:

Причины, по которым я бы рекомендовал внедрять Qlik Sense вместо QlikView:

1. Qlik Sense на несколько шагов впереди по визуализации, по сравнению с QlikView
2. Абсолютно те же возможности по созданию моделей, загрузке данных, скорости работы приложений
3. Существенно легче разрабатывать визуальную часть в Qlik Sense, при этом в QS гораздо больше возможностей для создания нестандартной визуализации (Создание Extensions с помощью готовых JavaScript Frameworks & Viz Libraries)
4. QlikView не развивается как продукт и существенно отстал по удобству использования
5. Когда-то все равно придется переходить на Qlik Sense, а это повлечет большие трудозатраты (а соответственно и затраты денег) на миграцию приложений, ETL и т.п.
6. Многие специалисты QlikView уже сейчас при рассмотрении новых мест работы ориентируются на Qlik Sense, а не на QV

Ассоциативная работа. Ассоциативная модель данных. Движок Qlik Sense

Qlik Sense автоматически управляет всеми связями данных и представляет информацию пользователю с помощью схемы green/white/gray. Выборки подсвечиваются зеленым цветом, связанные данные представляются белым, а исключенные (несвязанные) данные отображаются серым цветом. Мгновенный ответ позволяет пользователям обдумывать новые вопросы и продолжать свое исследование.

Ассоциативная модель – это таблицы, которые связаны между собой по ключевым полям. Ассоциативная модель создается динамически при загрузке данных в Qlik Sense, при этом поля с одинаковыми названиями ассоциируются друг с другом. При выборе пользователем значения в одной таблице автоматически выбираются все ассоциированные значения в других таблицах.

Например, пусть у нас есть модель, в которой в одной таблице находятся заказы, в другой таблице находятся клиенты, в третьей таблице – товары. При выборе клиента, автоматически выбираются все заказы, сделанные этим клиентом. Так как таблица заказов связана (ассоциирована) также с таблицей товаров, то кроме всех заказов данного клиента автоматически выбираются и все товары, купленные этим клиентом. И наоборот — при выборе товара, автоматически выбираются все заказы, где фигурирует этот товар, и все клиенты, сделавшие эти заказы, а значит купившие этот товар. Для ассоциативной модели не требуются заранее прописанные сценарии анализа. Она позволяет начинать анализ данных с любого места модели в любом направлении.

В интерфейсе программы Qlik Sense Вы выбираете какой-то элемент (например категорию товара). После этого фильтруется вся модель, все диаграммы и таблицы отображают только связанные с выбранной категорией товара данные. Количество проданных штук, продажи в рублях, какие клиенты купили этот продукт, в каких регионах, сколько клиентов по этой категории, сколько поставщиков в этой категории, какие акции и т.д.

Ассоциативные связи в модели устанавливаются по одинаковым полям в таблицах. Модель данных Qlik Sense работает как единый механизм.

Вот пример из одной презентации: мы выбрали цены закупки и получили контекст по другим сущностям: периоды, категории товаров, бренды. 

Разложение бизнеса по полочкам упрощается в разы. Никакой Excel на такое не способен!

Подробное описание состояний выборок: зеленый, белый и серый

Во время выборок выполняется фильтрация множества данных, загруженных в программу QlikSense. С помощью выборок можно добраться до детальных данных, причин отклонений (выборка – ограничение области данных с целью узнать подробности процессов, деталей операций и т.д.).

При выполнении выборки в фильтрах меняются цвета значений/состояний. Типичные цвета программы Qlik Sense — зеленый, белый и серый. Они представляют основные состояния: выбранное, возможное и исключенное. Исключенные значения существуют в трех различных вариантах. Помимо обычного исключенного состояния существуют также альтернативное состояние и выбранное исключенное состояние.

Выбрано	Зеленое с отметкой в качестве индикатора выборки
Возможное значение	Белое
Альтернативное значение	Светло-серое
Исключенное значение	Темно-серое
Выбранное исключенное	Темно-серое с отметкой в качестве индикатора выборки

Цель цветового кодирования — дополнительная информация. Зеленый цвет означает, что значение выбрано, белый — что значение можно выбрать, а серый — значение исключено. Особенно значения серого цвета несут в себе новую информацию о ранее неизвестных отношениях. Если значение неожиданно становится серым после выборки, значит, тут есть, над чем подумать. Возможно, у определенного региона нет торгового представителя, или этот продукт не продавался в течение целого квартала.

Плюсы и минусы Qlik Sense

Плюсы Qlik Sense

1. Огромные возможности по визуализации на JavaScript (подключение абсолютно любых библиотек JS).
2. Ассоциативная модель работает так же, как и мозг человека. Пользователь просто выбирает элемент и видит все возможные отношения этого элемента с другими элементами модели данных.
   Огромное количество возможностей для создания пользовательских объектов (расширенные визуализации, Mashups, Widgets).
3. Открытый API – вы можете автоматизировать множество процессов обслуживания Qlik Sense, если для вас недостаточно стандартной функциональности.
4. Мощный Set Analysis в выражениях, с помощью которого можно рассчитать очень сложные вещи довольно простым и понятным способом.
5. Работает на мобильных устройствах: в отличие от Qlik View, Qlik Sense предназначен для работы с мобильными устройствами.
6. Улучшенная работа с выбором точек на диаграммах с помощью “Lasso selection” – огромный плюс по сравнению с QlikView.
7. Qlik Sense активно развивается, релизы выпускаются каждые три месяца. Соответственно, возможно многие минусы будут закрываться плюсами в ближайшее время. Нужно следить за обновлениями.
8. В отличии от QlikView, в Qlik Sense Desktop (бесплатная версия) нет ограничений на открытие приложений, разработанных на другом компьютере. Поэтому Qlik Sense можно начинать использовать в компании в бесплатном формате, например, автоматизировав обновление приложения Qlik Sense и копирование приложений в нужную папку на определенные машины пользователей. При рабочих станциях с 8 Гб Qlik Sense – супер решение для малого бизнеса. А зная, как RAM память дешевеет каждый день, то никаких проблем нет!
9. UPDATE 01/12/2018 Появился набор расширений “Dashboard bundle”, который Qlik обязался поддерживать. Подробнее в новости: Qlik Sense November 2018 – What’s New

Минусы

1. По сравнению с QlikView, у Qlik Sense гораздо меньше стандартных настроек визуальной части. НО: с каждым релизом появляются расширения, которые делают Qlik Sense во многом впереди.
2. Производительность десктопной версии Qlik Sense гораздо хуже. При одной и той же модели с одинаковым количеством данных, ресурсов на оперативную память Qlik Sense требуется гораздо больше, чем QlikView. На мой субъективный взгляд, это связано прежде всего с web-движком визуализации. Если дектопная версия QlikView – это легковесный exe, то десктопная версия Qlik Sense – это “зоопарк” различных технологий. Поэтому, если QlikView на 4Гб летает, то Qlik Sense – ползает. Тормоза наступают при использовании сложных формул. Опять же вводил одну и ту же формулу в QlikView и Qlik Sense на одинаковых моделях с одинаковым количеством данных.
   Коэффициент ухудшения производительности (опять же очень субъективно) от 4 до 7 при переходе с QlikView на Qlik Sense.
3. Бесплатная десктопная версия Qlik Sense (до релиза September 2018 включительно) очень медленно запускается. Аналогичная ситуация с Qlik Sense Cloud. По мне так QlikView работает гораздо быстрее (касаемо переходов между листами, между скриптом загрузки и визуализацией). Также очень медленно накатывается обновление ПО (установка новой версии Qlik Sense). При ошибке установки требуется деинсталляция старой версии Qlik Sense Desktop и повторная инсталляция новой версии. Очень сильно утомляет этот процесс  🙁
4. Требуется много технических знаний из разных областей ИТ и бизнеса для создания сложного решения, которое, безусловно, не является самообслуживанием для типичного бизнес-пользователя.
5. Сетка должна быть меньше или даже редактироваться через параметры.
6. Для авторизации в Qlik Sense Desktop требуется доступ в интернет. Периодически возникают траблы при авторизации даже при наличии интернета. Толи действия роскомнадзора, то ли само ПО так тупит. Вообщем, топ-менеджмент точно это будет выводить из себя 😉
7. У таблиц отсутствует форматирование, нет обрамления ячеек. Выгрузив данные в Excel, придется каждый раз производить форматирование таблицы. Либо нужно ставить Extensions.
8. Отсутствуют на данный момент (октябрь 2018 г.) Extensions в облаке.
9. При добавлении нескольких сложных KPI на лист, редакток листа начинает подтупливать (медленно работать). Справедливо для десктопной версии и при наличии сложных формул в KPI. Но в QlikView аналогичные KPI работают мгновенно 🙂
10. Отсутствует возможность на Desktop версии запустить Qlik Sense в фоновом режиме для работы через браузер. Было бы удобно, если бы Qlik Sense запускался как сервер Apatch, например 🙂 Запустил компьютер, а Qlik Sense доступен через браузер.
11. В чартах (визуализации) в Expression (выражениях) отсутствует функция поиска и замены значений. Может быть я не просто не нашел функцию, но по мне так это значительный косяк ПО по отношению к разработчикам. Теперь, чтобы выполнить замену в выражении чарта, приходится все выражение копировать в Notepad++ (например) и делать замену на стороне. Надеюсь, что в будущем появится замена в Expressions (а также массовая замена по всем Expressions).
12. Автоматический apply всех изменений диаграммы в “режиме реального времени”. В минус, т.к. при большом объеме данных любая галочка, любые правки будут приводить к перерасчету диаграммы и огромным временным потерям на разработку отчетности. Потребуются навыки оптимизации Qlik Решений как со стороны модели, так и со стороны визуальной части.
13. При большом количестве настроек диаграммы (вкладки настроек), все действия приходится выполнять в очень маленьком окошке (при работе на ноутбуке). Изменить шрифты нельзя, чтобы влезало. Развернуть панель настройки нельзя. Режима отдельного окна с настройками нет. Возникает неприятная мысль – “Разработчики Qlik Sense, Вы вообще думаете о юзабилити Вашего продукта?”. Надеюсь, что в ближайших обновлениях с этим что-то позитивное произойдет! Особенно актуально для библиотеки VizLib (Qlik Sense Extension Library).
14. [Мысли при разработке на Qlik Sense Desktop]: В QlikView при расчете диаграммы можно было отключить ее расчет нажатием на крестик (полезная штука, особенно, когда ошибся в выражении и из-за этого приложение стало глючить). В Qlik Sense такого нет! При этом совершенно непонятно как сделать так, чтобы диаграмма перестала рассчитываться, если например почти не осталось свободных ресурсов на машине. Для того, чтобы полюбить Qlik Sense, Вам придется иметь хорошую машину для разработки, ну или для каждого измерения делать отдельную агрегированную таблицу с данными. Иначе диаграммы будут жестко лагать… Ну это уже не удобство разработки, а попытки извернуться, чтобы Qlik Sense Destop начал шевелиться.
15. Если у Вас в компании Firewall стоит, то всякие коммерческие Extention могут сбоить…

Любые недостающие настройки аналитических приложений можно реализовать на JavaScript. С одной стороны это дает преимущество Qlik Sense над QlikView (в том, что разработка Extension сильно упрощена), но с другой стороны теперь разработчику нужно знать JavaScript и различные библиотеки JS. И это все в дополнение к различным аналитическим подходам, знаниям бизнеса, проектированию интерфейса, интеграцией с другими системами и т.д.
Либо нужно заводить двух специалистов – одного как Qlik Developer, второго в роли JavaScript Qlik Extension Developer. И все бы ничего, но каждые 2-3 месяца у Qlik Sense выходит обновление и при установке патчей необходимо закладывать временной ресурс на тестирование Extensions.

Почему Qlik Sense потерял позиции на рынке BI (например, по сравнению с Power BI)

Опишу своё сугубо субъективное мнение. Итак, пройдемся по пунктам:

1. Отсутствие простых коннекторов у Qlik Sense, по сравнению с Power BI (зайдите в Power BI и убедитесь сами какие простые коннекторы у продукта, например к Google Analytics).
2. Наличие встроенного ETL все меньше ставится в плюс BI-инструменту: Рост популярности Python для обработки данных (в том числе для обработки большого объема данных, наличие бесплатных библиотек, например PANDAS, NumPy и т.д.). Можно хоть нейросеть создать на бизнес-данных, а потом положить результаты работы нейросети на данных в хранилище. Безусловно Python можно использовать и с Qlik Sense, но на практике все пишут ETL на Qlik.
3. Во всех компаниях есть продукты от Microsoft, поэтому Power BI продают как доп.опции к другим системам (зачастую). Плюс, т.к. накопилось большое количество разработчиков на MS SQL (T-SQL и т.п. продуктах Microsoft), то им проще переползти на Power BI. К тому же многие продвинутые аналитики использовали Power Query (и др) до Power BI (знакомый синтаксис).
4. У Power BI самое сильное мобильное приложение, нежели у Qlik и Tableau.

Какие все же есть преимущества у Qlik Sense над Power BI:

1. В Qlik Sense на продвинутом уровне разработки (т.е. года 2+ опыта) есть много различных фишек, которые позволяют создавать сложные аналитические модели на основе ассоциативного механизма. Например, можно создать накопительный календарь. Можно создать модель для сравнения разных периодов. И все это будет храниться в оперативной памяти и не потребует запуска каких-либо расчетов в базе данных. Все рассчитывается автоматически в оперативной памяти.
2. Интерфейс – за последнее время интерфейс Qlik Sense притерпел множество качественных и количественных изменений. Появилось множество расширений, которые Qlik официально поддерживает (при выходе новой версии риски потери работоспособности снижаются).
3. Очень упрощен механизм создания расширений (Qlik Extensions)
4. В Qlik Sense есть собственный ETL инструмент. С одной стороны это требует от разработчиков наличие опыта работы с Qlik Script (как минус), с другой стороны сам этот инструмент открывает очень большие возможности. Через ETL скрипт можно реализовать рассылки данных пользователям как по Email, так и в Telegram. В нем же можно грузить данные из API облачных сервисов через PHP скрипты обработки данных в CSV формате. Можно запускать тот же Python и грузить результаты расчетов.

Вот здесь https://habr.com/ru/post/444758/ есть оценка продуктов Qlik Sense VS Power BI VS Tableau

Сравнивать по ценам можно вещи сопоставимые по функционалу и ценности, которую можно принести решив ту или иную задачу.

Power BI, просто хотя бы для того, чтобы можно было сравнивать с Qlik-ом по ценности/функционалу и даже на простых задачах – нужно брать в редакции не ниже Power BI Premium. После этого цены можно уже не сравнивать, они – сопоставимы.

Но если мы продолжим обсуждать вопрос того, что получит заказчик за сравнимые деньги в плане функционала, то при росте сложности задач/инфраструктуры/количества данных/пользователей, выяснится что Power BI к таким задачам просто не применим.

Сергей Полехин

Мой вывод по Power BI и Qlik Sense

Мое мнение: Power BI заслужил популярность у бизнес-пользователей из-за упрощенной визуализации и простых коннекторов. В остальном Qlik Sense ничем не уступает Power BI.

На мой взгляд, если Qlik Sense подтянет коннекторы бесплатные (количество и качество), добавит визуализации из D4.js, добавить диаграмм из узкоспециализированных отраслей (диаграмма японских свечей, например), добавит коннекторы к российским CRM, Yandex, IP телефонии, то будет идти наравне с Power BI.

Пример реализации дашборда Qlik Sense с расширениями – на мой взгляд ничем не уступает Power BI:

А если использовать платные решения с дополнительными элементами визуализации (например, VizLib), то Qlik Sense выглядит намного круче. Оцените сами 😉

Qlik Sense Desktop больше не Free

Следующие несколько пунктов статьи теряют свою актуальность по причине новости:

Бесплатное использование Qlik Sense Desktop и QlikSense Cloud в компании

У Qlik Sense есть бесплатная версия Qlik Sense Desktop (отсутствуют какие-либо ограничения на объем данных, визуализацию и т.п.). Версия устанавливается только на рабочем компьютере (развернуть на сервере не получится). При этом рабочая станция должна иметь хотя бы 8Гб оперативной памяти (на 4Гб крайне медленно работает).
Также Qlik Sense можно использовать в облаке, но там есть ограничения на размер модели и количество пользователей.

Как можно использовать Qlik Sense Desktop в компании бесплатно (простая схема)

1. На сервере устанавливаете QlikView Desktop. Все скрипты пишете в блокноте (рекомендую Visual Studio Code). Данные выгружаете в QVD, обрабатываете и также сохраняете в QVD;
2. Доступ к QVD организуете на основе доступа Windows (т.е. к папкам на сервере);
3. У аналитиков устанавливаете Qlik Sense Desktop с моделью данных, прописываете сетевой путь к QVD.
4. Profit 😉

Как использовать Qlik Sense Cloud с данными из систем компании

1. На сервере устанавливаете DropBox;
2. На сервере устанавливаете QlikView Desktop. Все скрипты пишете в блокноте (рекомендую Visual Studio Code – как правильно сделать см. тут). Данные выгружаете в QVD, обрабатываете и также сохраняете в QVD в директорию DropBox;
3. В облаке данные загружаете в модель из DropBox (коннектор бесплатный).
4. Profit 😉

Почему скрипты в QlikView писать в блокноте?

Скрипты в бесплатной версии QlikView Desktop не рекомендую хранить, т.к. если с Вашим сервером что-то случится или с windows, То после переустановки QlikView Desktop Вы не сможете открыть старые документы со скриптами (точнее сможете восстановить только 4 документа, ограничено количество попыток на открытие сторонних документов).

Поэтому разрабатывайте скрипты загрузки и сохраняйте их в qvs файлы (обычные текстовые файлы с расширением qvs). Далее с помощью Must Include подключаете скрипт в QlikView Документ.

Таким образом, используя QlikView + Qlik Sense Вы получаете полноценную бесплатную BI систему без каких-либо ограничений. Для небольших компаний это очень подходящая схема работы. 

---