В этом уроке будет описан процесс создания аккаунта в облачном сервисе Qlik Sense Business Cloud.

https://t.me/qlik_insight – telegram канал – пишу про Qlik Sense как есть на самом деле, что-то критикую, что-то хвалю, делюсь обучающими материалами. 

Сообщение Урок 1. Регистрация в Qlik Sense Business Cloud. Как начать работать с Qlik в облачном сервисе? появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Использование формата Time и Timestamp в задачах бизнес-аналитики встречается не так часто, как задачи с датами. Однако, если такая задача появляется, то появляется очень много вопросов как сделать то или иное преобразование.

В предыдущей главе учебника я описывал как хранится формат timestamp (из чего он состоит). В этом разделе я опишу дополнительно с помощью каких функций можно работать со значениями Time и Timestamp.

Итак, как мы выяснили раньше Timestamp – это дробное число, в котором целая часть – это дата, а дробная часть – это время (т.е. time). Все число – это дата время или timestamp.

Рассмотрим результат работы функции Now() и функций, которые изменяют либо формат отображения данных, либо само число:

Изменение в дробной части влияет на время, изменение в целой части влияет на дату. Если Вам необходимо придумать модель Qlik Sense, в которой будет хитрым образом обрабатываться время – этих знаний будет достаточно для того, чтобы “изобрести” нужный Вам алгоритм.

Топ функций в Qlik Sense для работы со временем

1. Now() – возвращает текущую Дату и текущее время (отображается в соответствии с системной переменной SET TimestampFormat=’DD.MM.YYYY h:mm:ss[.fff]’; см. вкладку Main в скрипте).

2. Time() и Time#() – аналог Date() и Date#(), только для времени). Time влияет только на отображение данных в модели, т.е. влияет только на формат отображения числа. Time# – сообщает Qlik в каком формате данные поступают на вход функции, результатом будет дробная часть (если формат определен корректно).

3. Frac() и Num() – Frac() оставляет от числа с дробной частью только дробную часть, т.е. остается часть со временем. Num() меняет формат отображения дата время на числовой формат (см. пример вверху). 

4. ReloadTime()

5. MakeTime()

6. ConvertToLocalTime()

7. FileTime() – с помощью этой функции в скрипте можно получить дату и время обновления файла. Пример получения даты и времени обновления файла qvd:

Let vFileDateTimeModified = FileTime('C:\QlikSenseProject\SourceData\QVD\РегистрПродаж.qvd');

8. Timestamp() и Timestamp#()

9. Interval()

Примеры (кейсы) по работе с форматом Time & TimeStamp

Qlik Sense & MakeTime: Минута – Час в числовом выражении

MakeTime(0,1) = 0:01:00					//1 минута
Frac(MakeTime(0,1)) = 0,000694444		//1 минута в числовом выражении
Frac(MakeTime(0,1))*60 = 0,041666667	//1 час в числовом выражении
Frac(MakeTime(0,1))*60*24 = 1			//1 день = 1 в числовом выражении

Округление дата + время = TimeStamp до минуты

Now()
Num(Now())
TimeStamp(Num(time(frac(floor(Now(),1/1440)),'hh:mm'))+floor(Now()))
Num(time(frac(floor(Now(),1/1440)),'hh:mm'))+floor(Now())

Результат работы формул:

Сообщение Основы работы со временем. Примеры Топ функций по работе с timestamp. Хранение Time в QlikSense появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

В этой статье я приведу пример PHP скрипта, который можно использовать для записи данных (каких то параметров) в базу данных MySQL.

<?php

	//Получаем переменные из URL запроса
	if (isset($_GET['field1']) and isset($_GET['field2']) and isset($_GET['field3'])) {
		$field1 	= htmlspecialchars($_GET["field1"]);
		$field2 	= htmlspecialchars($_GET["field2"]);
		$field3 	= htmlspecialchars($_GET["field3"]);
	}
	else {
		err();
	}                                             

	// Задаем коннекшн
	mysql_connect('ip_server_adress', 'login', 'password');
	//Устанавливаем несколько кодировок, иногда чего-то нехватает, лучше перестраховаться множеством установок
	mysql_query("set collation_connection = 'utf8_general_ci'");
	mysql_query("set character_set_client='utf8'");
	mysql_query("set character_set_results='utf8'");
	mysql_query("set character_set_system='utf8'");
	mysql_query('SET names=utf8');
	mysql_select_db('database_name');

	header('Content-Type: text/csv; charset=utf-8');
	header('Content-Disposition: attachment; filename=result.txt');
	$result = mysql_query(
						"INSERT INTO `mysql_table_name` (`field1`, `field2`, `field3`) 
						VALUES ('".$field1."', '".$field2."', '".$field3."')"
					);
	
	// создаем указатель файла, подключенный к выходному потоку
	$output = fopen('php://output', 'w');

	fwrite($output, "result\r\n");

	if($result){

		fputs($output, "ok");
	}
	else {
		fputs($output, "not ok");
	};

?>

Для того, чтобы вызвать php-скрипт, его необходимо разместить на сайте или IIS сервере. Вызов из скрипта Qlik Sense осуществляется следующим образом:

MySQL_Temp_Insert_Information:
LOAD result As MySQL_Temp_Insert_Information
FROM
[http://iis-server-website.ru/mysql/insert_info.php?field1=$(vField1)&field2=$(vField2)&field3=$(vField3)]
(txt, codepage is 1251, embedded labels, delimiter is '\t', msq);

DROP TABLE MySQL_Temp_Insert_Information;

Замечание: в URL адресе не должно быть пробелов, иначе QlikView или Qlik Sense выдаст ошибку. Не знаю почему такое происходит.

Сообщение PHP: Запись данных из скрипта Qlik Sense в MySQL появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Пару слов о Timestamp – Это число с дробной частью, которое соответствует какой-то дате со временем. Т.е. это число можно представить в нужном формате Дата-Время.

Дата – это целая часть числа с дробной частью (про даты речь пойдет дальше). Время – это дробная часть числа (все, что после разделителя).

1 секунда ~ 0,0000115740740740740
23 часа 59 минут 59 секунд = 0,99998842592593

Шаг 1. Учимся понимать даты. Как хранятся даты в Qlik Sense

Для того, чтобы научиться работать с датами в Qlik Sense, необходимо понять исходный формат хранения дат.

Дата в Qlik – это целое число, которое может быть загружено в модель в формате даты, например, 20/03/2019 или 20.03.2019, или 20-03-2019, или 20+03+2019 (все зависит от Ваших потребностей и фантазии). Если данные с датами загружаются из файла, где формат даты уже задан, то этот формат будет загружен в модель. Если данные загружаются не из QVD файлов, а из сторонних файлов/систем/баз данных, то рекомендуется делать преобразование:
Формат даты источника данных => Число => Формат даты Qlik Sense.

Если избегать преобразования даты в число, а затем в дату, то можно наткнуться на следующие проблемы:

• Загрузка в модель даты в исходном формате хранения (целое число);
• Загрузка даты как текстового поля.

Что такое исходный формат хранения даты? Дата в Qlik Sense – это целое число. Проверить это можно с помощью формул в Qlik Sense приложении (например вбить в текстовом объекте листа формулу =Date(3000)).

Исходный формат даты в Qlik – целое число:

Date(-693959) = 01.01.0000
Date(-100000) = 16.03.1626
Date(-10000)  = 13.08.1872
Date(-5000)   = 22.04.1886
Date(-1000)   = 04.04.1897
Date(-2)      = 28.12.1899
Date(-1)      = 29.12.1899
Date(0)       = 30.12.1899
Date(1)       = 31.12.1899
Date(2)       = 01.01.1900
Date(43500)   = 04.02.2019

Шаг 2. Формат даты. Настройка формата даты по умолчанию

Настройка системной переменной “Формат даты по-умолчанию”

Формат даты по умолчанию в рамках 1 приложения настраивается с помощью переменной на вкладке MAIN в скрипте:

SET DateFormat='DD.MM.YYYY';

К этой настройке относитесь очень внимательно, т.к. функции дат, например Date(), без обозначения формата даты используют формат даты по-умолчанию.

Формат даты. Примеры

Рассмотрим примеры записи форматов даты:

Date(43500,'DD.MM.YYYY') = 04.02.2019
Date(43500,'DD.MM.YY')   = 04.02.19
Date(43500,'DDMMYYYY')   = 04022019
Date(43500,'DD/MM/YYYY') = 04/02/2019
Date(43500,'DD+MM+YYYY') = 04+02+2019
Date(43500,'DD|MM|YYYY') = 04|02|2019
Date(43500,'DD MM YYYY') = 04 02 2019

Date(43500,'DD.MMM.YYYY') = 04.февр..2019
Date(43500,'DD MMM YYYY') = 04 февр. 2019
Date(43500,'DD/MMM/YYYY') = 04/февр./2019
Date(43500,'D/MMM/YYYY')  = 4/февр./2019
Date(43500,'D MMMM YYYY') = 4 февраль 2019
Date(43500,'D MMMM YY')   = 4 февраль 19

Date(43500,'YYYY.MM.DD') = 2019.02.04
Date(43500,'YYYYMMDD')   = 20190204
Date(43500,'YYYY-MM')    = 2019-02
Date(43500,'YYYY-DD-MM') = 2019-04-02

Шаг 3. Топ 16 функций для Script (ETL – выгрузки, преобразования данных и загрузки в модель)

В рамках краткого обзора функций для преобразования дат, я рассмотрю наиболее часто используемые на практике функции. На самом деле, таких функции очень много. Полный список можно посмотреть в официальном Qlik Sense HELP.

Понимание основ работы с данными и знание нескольких функций закроет на первое время все потребности при разработке скриптов загрузки данных.

Обзор функций трансформации дат

Функции нужны для преобразования дат, форматов, вычленения из даты года, месяца, дня, номера недели. К дате можно прибавить заданное количество дней, месяцев или лет. Для начала я кратко опишу каждую функцию и приведу примеры использования этих функций. Затем я рассмотрю несколько кейсов работы с датами в нестандартных случаях.

Мой топ функций для работы с датами:

1. Floor() – из числа с дробной частью (дата и время) оставляет только целую часть, что соответствует дате. Иногда требуется в скриптах, если нет уверенности, что поле в источнике содержит “чистую” дату, без составляющей времени. Или если из формата даты и время требуется получить дату.
2. Date#() – читает/парсит строку в заданном формате и преобразует в понятный формат даты Qlik Sense (т.е. текстовая строка будет загружена как дата, а храниться будет как строка). Например, Date#(‘2019-01-21′,’YYYY-MM-DD’) будет загружено в Qlik Sense не как текстовая строка, а как дата 2019-01-21 (в скобках указано правило, по которому Qlik Sense интерпретирует строку в дату);
3. Date() – задает нужный формат для поля типа “Дата” (т.е. значение хранится как число в заданном формате, а функция Date() изменяет формат, если это необходимо, либо присваивает формат по-умолчанию). Пример использования
   Date(Date#(‘2019-01-21′,’YYYY-MM-DD’),’DD/MM/YYYY’) = 21/01/2019
   или
   Date(Date#(‘2019-01-21′,’YYYY-MM-DD’)) = 21.01.2019 (если в приложении дата по-умолчанию задана в формате DD.MM.YYYY);
4. MakeDate() – с помощью этой функции можно сделать дату из года, месяца и дня. Например:
   • MakeDate(2019) = 01.01.2019
   • MakeDate(2019,2) = 01.02.2019
   • MakeDate(2019,3,24) = 24.03.2019
5. Today() – функция возвращает текущую дату. Функцию можно использовать как в скрипте, так в выражениях диаграммы. У функции есть параметр timer_mode, полный синтаксис функции Today(timer_mode). Time_mode может принимать 3 значения:
   • 0 (день последней завершенной загрузки данных). Today(0) Возвращает день последней завершенной загрузки данных.
   • 1 (день вызова функции). При использовании в выражении диаграммы будет возвращен день вызова функции. При использовании в скрипте загрузки будет возвращен день начала текущей загрузки данных.
   • 2 (день открытия документа). Возвращает день открытия документа.
   • По-умолчанию time_mode = 1, т.е. Today() = Today(1)
6. Комбинации Left()/Right()/Mid() и Date#() & Date() – если дата представлена как текстовая строка, но помимо даты в строке содержится другая информация, то вычленить дату из строки можно следующим способом.
   1. Сначала получаем подстроку с помощью функций Left()/Right()/Mid(). Например:
      • Left(‘20190105 YhfIY17 0038473’,8) = 20190105
      • Right(‘YhfIY17 0038473 2019-01-05’,10) = 2019-01-05
      • Mid(‘YhfIY17 2019-01-07 0038473’,index(‘YhfIY17 2019-01-07 0038473′,’ ‘)+1,10) = 2019-01-07
   2. Затем строка преобразуется (считывается) в дату с помощью функции Date#() и устанавливается новый формат отображения даты с помощью функции Date()
      • Date#(Right(‘YhfIY17 0038473 2019-01-05′,10),’YYYY-MM-DD’) = 2019-01-05
      • Date(Date#(Right(‘YhfIY17 0038473 2019-01-05′,10),’YYYY-MM-DD’),’YYYY/MM/DD’) = 2019/01/05
7. AddMonths() – с помощью этой функции можно добавить или вычесть заданное число месяцев к дате. Например,
   • AddMonths(MakeDate(2018,5,31),-3) = 28.02.2018
   • AddMonths(MakeDate(2018,5,31),-1) = 30.04.2018
   • AddMonths(MakeDate(2018,5,31),0) = 31.05.2018
   • AddMonths(MakeDate(2018,5,31),3) = 31.08.2018
   • AddMonths(MakeDate(2018,5,31),4) = 30.09.2018
8. AddYears() – добавляет или вычитает заданное количество лет к дате. Например, AddYears(MakeDate(2018,5,31),1) = 31.05.2019
9. Month() – с помощью этой функции можно получить название месяца (берется из системной переменной MonthNames, которая задается в скрипте).
   • Month(MakeDate(2018,5,31)) = май
   • Num(Month(MakeDate(2018,5,31))) = 5
10. MonthName() – функция возвращает месяц и год.
    • MonthName(MakeDate(2018,5,31)) = май 2018
11. MonthStart() – возвращает первый день месяца
    • MonthStart(MakeDate(2018,5,31)) = 01.05.2018
12. MonthEnd() – возвращает последний день месяца
    • MonthEnd(MakeDate(2018,5,31)) = 31.05.2018
13. Year() – возвращает год
    • Year(MakeDate(2018,5,31)) = 2018
14. Week() – возвращает номер недели
    • Week(MakeDate(2018,5,31)) = 22
15. WeekDay() – возвращает день недели из системной переменной DayNames (см. скрипт)
    • WeekDay(MakeDate(2018,5,31)) = чт
16. Day() – возвращает день из даты
    • Day(MakeDate(2018,5,31)) = 31

Подробнее про Date# и Date с примером

Date#() используется для интерпретации данных. Например

Date#('2018_24_10','YYYY_DD_MM')

говорит о том, что первые четыре цифры – это год, цифры между двумя ‘_ – это дата, а последние две – месяц. Причем, функция Date# не меняет формат даты, т.е. дата просто будет переведена из текста в число по правилу ‘YYYY_DD_MM’

Date() используется, чтобы сказать, как показать данные. Например:

Date(Today(),'YYYY^DD^MM') возвращает 2019^08^05
Date(Today(),'MM/DD/YY') возвращает 05/08/19

Сочетание обеих функций:

Date(Date#('2018_24_10','YYYY_DD_MM'),'MM/DD/YYYY') возвращает 10/24/2018

Длинное название месяца

Для того, чтобы получить длинное название месяца, необходимо применить следующий код (длинное название месяца берется из системной переменной LongMonthNames):

Text(Date(MakeDate(2018,9,21),'MMMM YYYY'))

Это выражение вернет ‘сентябрь 2018’. Обязательно оборачивайте в Text, иначе будет ошибка. Объясняю почему:

Date(MakeDate(2018,9,21),’MMMM YYYY’) тоже вернет ‘сентябрь 2018′, но храниться будет как дата 21.09.2018. И если Вы сравните две даты ’22 сентября 2018′ и ’21 сентября 2018’, то в формате ‘MMMM YYYY’ они будут не равны.

if(
    Date(MakeDate(2018,9,21),'MMMM YYYY')=Date(MakeDate(2018,9,22),'MMMM YYYY'),
    1,
    0
)

Результат: 0, т.е. ложь.

if(
    Text(Date(MakeDate(2018,9,21),'MMMM YYYY'))=Text(Date(MakeDate(2018,9,22),'MMMM YYYY')),
    1,
    0
)

Результат: 1

Вывод “Месяц Год” и “Неделя Год” в числовом формате

Пример 1:

Num#(Date(MakeDate(2019,4,19),'MMYYYY')) //Вернет 042019

Пример 2:

Num#(Week(MakeDate(2019,4,19))&Year(MakeDate(2019,4,19))) //Вернет 162019

Определить максимальную и минимальную даты периода отчета. Вывод в переменную

Иногда требуется в отчете вывести период, за который он был сформирован. Например, отчет за предыдущую неделю.

В скрипте определяем переменную Прошлая Неделя:

LET vReportWeekPeriod = Num#((Week(Today())-1)&Year(Today()));

В календаре есть поле НеделяГод, с помощью этого поля определяем минимальную и максимальную даты (функция Date используется для форматирования даты в нужном виде, т.е. ‘DD.MM.YY’):

='Отчет. Период '&
Date(min({<НеделяГод={'$(vReportWeekPeriod)'}>} Дата),'DD.MM.YY')
&'-'&
Date(max({<НеделяГод={'$(vReportWeekPeriod)'}>} Дата),'DD.MM.YY')

Пример использования агрегации данных по неделям (advanced scripting)

Если нужно упорядочивать записи по неделям, то рекомендую использовать формат ГодНеделя, причем неделя должна быть записана как 201901 и 201911 (т.е. два знака). В скрипте этот прием использован:

[TEMP Кол-во отгрузок По неделям]:
LOAD 
    [Клиент ID], 
    Неделя, 
    [КлиентНеделяID],
    count(DISTINCT [Документ ID]) As [Количество Отгрузок Неделя]
Group By [Клиент ID], Неделя, [КлиентНеделяID];
LOAD 
    Distinct
    [КлиентНеделяID],
    [Клиент ID],
    Num#(Year(Дата)&if(Len(Week(Дата))=1,'0'&Week(Дата),Week(Дата)))	As Неделя,
    [Документ ID]
Resident [Факты];

NoConcatenate
[Номер отгрузки по неделям]:
LOAD
    if([Клиент ID]=Previous([Клиент ID]),
    RangeSum(Peek('Номер отгрузки по неделям'), 1),
    1
    )										As [Номер отгрузки по неделям],
    [КлиентНеделяID]
Resident [TEMP Кол-во отгрузок По неделям]
Order By [Клиент ID], Неделя
;

DROP Table [TEMP Кол-во отгрузок По неделям];

Создание переменных с датами

//Переменная Скрипта Qlik Sense - вчерашняя дата
LET vTodayReport_Date = Date(Today()-1);

//Переменная Скрипта Qlik Sense - дата "неделя назад"
LET v7DaysAgoReport_Date = Date(Today()-7);

//Переменная Скрипта Qlik Sense - дата "45 дней назад"
LET v45DaysAgoReport_Date = Date(Today()-45);

//Переменная Скрипта Qlik Sense - дата "месяц назад"
LET v1MonthAgoReport_Date = AddMonths(Today(),-1);

//Переменная Скрипта Qlik Sense - дата "3 месяца назад"
LET v3MonthsAgoReport_Date = AddMonths(Today(),-3);

//Переменная Скрипта Qlik Sense - дата "год назад"
LET v1YearAgoReport_Date = AddYears(Today(),-1);

Добавить в формат даты неделю. Длинный формат месяца в дате Qlik Sense

Формат длинных названий месяцев задается на вкладке Main с помощью системных переменных. Значения этих переменных задается по-умолчанию при создании приложения:

SET MonthNames='янв.;февр.;мар.;апр.;мая;июн.;июл.;авг.;сент.;окт.;нояб.;дек.';
SET LongMonthNames='январь;февраль;март;апрель;май;июнь;июль;август;сентябрь;октябрь;ноябрь;декабрь';

Рекомендую заменить их на следующие значения (точки будут портить вид при формате DD.MMM.YYYY):

SET MonthNames='янв;фев;мар;апр;май;июн;июл;авг;сен;окт;ноя;дек';
SET LongMonthNames='января;февраля;марта;апреля;мая;июня;июля;августа;сентября;октября;ноября;декабря';

Формат даты с названием дня недели:

//Формат даты "11 июн 2019 (вт)"
Date(Today(),'DD MMM YYYY (WWW)')

//Формат даты "11 июн 2019 (вторник)"
Date(Today(),'DD MMM YYYY (WWWW)')

//Формат даты "11 июня 2019 (вторник)"
Date(Today(),'DD MMMM YYYY (WWWW)')

Манипуляции над датами в скрипте через переменные

LET пГодУстановка = 2017;                               // 2017
LET пФильтрДата = MakeDate(пГодУстановка);              // 01.01.2017
LET пФильтрДатаПрошлыйГод = MakeDate(пГодУстановка-1);  // 01.01.2016

Шаг 4. Использование функций в выражениях (визуализации)

todo

Шаг 5. Кейсы/примеры работы с датами в Qlik Sense

Кейс 1. Обработка дат с английскими названиями месяцев

Данные хранятся в датах англоязычного календаря. Нужно произвести преобразование в русский формат даты:

Для преобразования используем следующий скрипт (с меппингом):

[MAP Месяц в число]:
Mapping
LOAD * Inline [
	Месяц, Месяц номер
	january, 1
	february, 2
	march, 3
	april, 4
	june, 6
	july, 7
	august, 8
	september, 9
	october, 10
	november, 11
	december, 12
];

Данные:
LOAD 
     Дата                            As [Дата исходная], 
     SubField(Дата,' ',1)            As День,
     lower(SubField(Дата,' ',2))     As Месяц,
     ApplyMap('MAP Месяц в число',lower(SubField(Дата,' ',2)),'#Не определено#')                        As МесяцНомер,
     SubField(Дата,' ',3)            As Год,
     Date(
     	MakeDate(
            	SubField(Дата,' ',3),
                ApplyMap('MAP Месяц в число',lower(SubField(Дата,' ',2))),
                SubField(Дата,' ',1)
                )
          	,'DD.MM.YYYY'
          ) 			As Дата
FROM [lib://excel_date/TB01_20190404_054148.xlsx]
(ooxml, embedded labels, table is [Sheet1 (2)]);

Получаем вот такой результат:

Шаг 6. Best Practice – Рекомендации по работе с датами в QS/QlikSense/Qlik Sense/Клик Сенс

1. В выражениях диаграмм (в том числе в Set Analysis) стремитесь использовать переменные с датами. Это позволит минимизировать издержки на поддержку отчетов в Qlik Sense.
2. …

Инструкции по работе с датами в QlikView и Qlik Sense

Сообщение Qlik Sense: Основы работы с датами. Обзор Топ 16 функций появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Существуют определенные соглашения и ограничения, о которых вам нужно знать при работе с Qlik Sense . Например: максимальное количество символов для использования в именах, описаниях и выражениях, а также символы, зарезервированные для использования только Qlik Sense (эти символы нельзя использовать в наименовании полей, переменных и т.п. объектов кликсенса).

Максимальное количество визуализаций

Максимальное количество визуализаций на листе ограничено количеством ячеек на листе: 288 (24×12).Максимальное практическое число будет меньше этого из-за ограниченного использования для визуализации, состоящих из 1 ячейки.

Ограничения на длину имени

Следующие ограничения применяются к числу символов, которые могут использоваться в различных ситуациях в Qlik Sense:

Именование измерений и мер – Naming dimensions and measures

Если вы используете длинные имена для своих измерений и мер, они будут усечены.

Обозначение ” … ” говорит о том, что эта часть имени скрыта. Также рекомендуется избегать использования символов, зарезервированных для системных целей, поскольку с ними могут возникнуть непредсказуемые результаты и ошибки.

Избегайте использования следующих символов в именах измерений и мер:

• :
• =
• [
• ]
• {
• }
• $

Максимальное количество символов в выражениях

Максимальное количество символов, которое может быть записано в выражении визуализации, равно 8,192. Если вы попытаетесь создать выражение с превышающим числом символов, то выражение будет усечено.

Naming Conventions – Соглашения по наименованиям Qlik Sense

В рамках разработки и поддержки скриптов важно, чтобы вы соблюдали стандартизацию в соглашениях по наименованиям объектов в скрипте. Это облегчит понимание и поддержку кода. То есть, просто взглянув на код, вы сможете найти свою цель в коде, если он стандартизован.

• Field names (Имена полей): Имя поля должно быть определено таким образом, чтобы его можно было легко прочитать конечным пользователям. В большинстве случаев таблица, из которой данные выводятся в Qlik Sense, содержит технические имена полей, но при использовании этих полей в сценариях Qlik Sense важно изменить их на более читаемую форму. Имя в поле должно быть указано в соответствии с данными, содержащимися в нем. Например, если у вас есть поле Prod_code в таблице продуктов, которое содержит код продукта, вы должны переименовать его как [Код продукта].
• Key field names (Имена ключевых полей): Поля, которые используются для связывания двух или более таблиц, либо составного ключа, либо обычного ключа, должны иметь префикс, например символ %. Легче найти связующие поля, просто глядя на символ %. Например, поле ссылки для таблицы продаж и бюджета можно назвать как %Sales_Budget_Key.
• Flag field names (Имена полей-флагов): Иногда Вы можете создавать некоторые поля-флаги в скрипте, в зависимости от сложности кода или по мере необходимости. Эти поля-флаги также должны быть названы так, чтобы их можно было легко идентифицировать. Вы можете использовать символ, например ‘_’, перед именем поля-флага. Например, имя поля флага может быть таким _EmployeeActiveFlag.
• Temporary field names (Имена временных полей): В ходе расчетам Вам приходится создавать временные поля в скрипте загрузки для различных вычислений. Эти поля должны быть легко идентифицированы для облегчения понимания логики кода. Вы можете использовать ключевые слова tmp или temp в конце имени поля, чтобы пометить их как временные поля. Например, Product_Category_Temp.
• Variable names (Имена переменных): Мы все довольно часто используем переменные в Qlik Sense для различных целей. Хотя они содержат данные, как обычные поля, их следует называть по-разному, чтобы их можно было идентифицировать при использовании в разных местах. Как правило, именам переменных предшествует небольшой префикс v. Например, vCount, vMaxDate и т.д.

Примеры Naming Conventions for Qlikview Scripting

Пример соглашения по наименованию “Bitmetric_QlikView_coding_conventions.pdf”

Скачать (PDF, 482KB)

Пример корпоративного стандарта по наименованию (для QlikView, но применимо и к Qlik Sense)

1. Интерфейс

Наименование групп:

• Циклические группы должны быть с префиксом «cc»
• Drill-down группы должны быть с префиксом «dd»

2. Скрипт

Наименование таблиц, полей, переменных:

• Ключевые поля должны быть с префиксом «%»
  Пример: %MainKey
• Поля-флаги должны быть с префиксом «_»
  Пример: _MoneyShow
• Таблицы фактов должны начинаться с «FACT_»
  Пример: [FACT_строки проводок]
• Таблицы справочников должны начинаться с «DIM_»
  Пример: [DIM_Контрагент]
• Использовать бизнес-названия для полей

Пример:

Чеки:
LOAD Дата,
     [Магазин],
     [Касса], 
     [Чек Номер],
     [Тип Операции],
     [Чек Строка Количество],
     [Чек Строка Цена],
     [Чек Строка Сумма]
FROM
     Чеки.qvd (qvd);

• Временные таблицы должны быть с префиксом «tmp_»
  Пример: tmp_Чеки
• Мапинг таблицы должны быть с префиксом «map_»
  Пример: map_Валюта:

3. Переменные

• Переменные должны быть с префиксом «v»
  Пример: vLastYear
• Переменные содержащие формулы с префиксом «f»
  Пример: fSalesMAT

Разработка требований для проекта Qlik Sense

Сообщение Рекомендации по визуализации, полям и именам появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Если объяснять простым языком, то Qlik Sense – это программа для анализа данных, что-то похожее на Excel, но больше заточенное на загрузку данных, их обработку и визуализацию. С помощью программы Qlik Sense Вы сможете 1 раз запрограммировать загрузку данных, настроить отчеты и в дальнейшем каждый день анализировать актуальные данные в программе. При этом система, в отличие от Excel, будет стабильно работать.

В отличие от QlikView, Qlik Sense инструмент для анализа данных с адаптивной версткой (визуализация строится на основе web принципов/механизмов).

Теперь перейдем к маркетинговому определению:

Qlik Sense – это приложение для построения визуализации, исследования и мониторинга данных. Qlik Sense — новый продукт компании Qlik, BI-платформа с ассоциативным поиском в оперативной памяти со встроенными средствами ETL. Выпущена в 2014 году и отличается возможностями к более самостоятельной работе с данными для бизнес-пользователей в отличие от продукта QlikView, которым в большей степени управляли ИТ-специалисты. Использует движок второго поколения (QIX), визуализация разработана с использованием HTML5, CSS и JavaScript (за счет чего аналитические приложения имеют адаптивную верстку и за счет этого их можно использовать на любых устройствах).

Аналитическая система Qlik Sense позволяет собрать информацию из разрозненных источников в единую информационную систему. При этом для Qlik Sense не нужно специальное хранилище данных.
Если Ваши исходные данные таблицы Excel, то Вы сможете даже без помощи ИТ-специалистов загрузить данные в приложение, просто перетащив файлик в Qlik Sense.

Qlik Sense использует ассоциативную модель связи данных. Преимущество ассоциативной модели данных: динамические ассоциации, возможность исследования данных в любом направлении, понимание взаимосвязей данных, видение всех взаимосвязей между данными.

Qlik Sense может импортировать данные из самых различных источников, агрегировать их и рассматривать по различным схемам и моделям данных. Обеспечивается контакт практически с любой базой данных через ODBC и DB OLE, включая источники Big Data, такие, как Cloudera, Hortonworks, Vertica и Teradata.
Загрузку данных из облачных систем (API -> JSON) можно осуществлять с помощью QLIK REST-коннектора, а также при помощи PHP в формате CSV (эта технология будет рассмотрена в продвинутой части курса).

Насчет самостоятельности анализа данных бизнес-пользователями…

Сразу хочу попросить прощения у маркетологов продукта Qlik Sense, но произнося фразу “эта платформа для самостоятельного анализа данных” – вы лукавите! Вы не врете, а привираете. И вот в чем: самостоятельный анализ данных на уровне Excel, когда нужно использовать только функции sum, count, avg и т.д. без set analysis, без переменных, без сложной модели данных, без программирования загрузочного скрипта – это 30% от всех возможностей этой платформы.

Опять же, загрузка данных из баз данных, очистка данных, выверка данных – это все остается за скобками маркетинговых материалов и с этим обычный бизнес-пользователь никогда не будет работать.

Поэтому если Вы, дорогой читатель этого онлайн учебника, “купились” на термин платформа для самостоятельного анализа данных, то не испытывайте больших иллюзий. При появлении сложной формулы на листе бумаги, Вам придется погрузится в написание скриптов [qlik-icon icon=”qicon-data-load”], хотя бы просто узнаете, что такое Set Analysis.

Что такое бизнес-аналитика? И причем здесь Qlik Sense?

Бизнес-аналитика (Business Intelligence = BI) – это обозначение компьютерных методов и инструментов, позволяющих собирать, хранить и анализировать большой объем данных из разных систем учета. Системы бизнес-аналитики предоставляют информацию бизнес-пользователям в форматах:

• Дашборд (Dashboard)
• Аналитические панели для исследования данных
• Таблицы, конструкторы отчетов (Ad-Hoc) для погружения в детальные данные

Демо-примеры Qlik Sense можно посмотреть по следующим ссылкам (часть из них может содержать нестандартную визуализацию – Extensions):

• https://sense-demo.qlik.com/hub/stream/aaec8d41-5201-43ab-809f-3063750dfafd
• https://demos.qlik.com/qliksense
• Retail Sales – https://sense-demo.qlik.com/sso/sense/app/8fdee40e-a30e-444e-93f3-d44adf8344a9/
• Twitter Analysis – https://sense-demo.qlik.com/sso/sense/app/6f7e50c5-f48e-42c1-98d7-f2f67cd3d912
• Workforce Management – https://webapps.qlik.com/workforce-management/index.html#!/dashboard/

Конечная цель бизнес-аналитики – это выработка и принятие эффективных решений для управления бизнес-процессами организаций, управления компанией в целом, работой с рынком (разработка стратегий).

И еще одно похожее определение бизнес-аналитики:

Бизнес-аналитика – это методы и инструменты для построения информативных отчетов о текущей ситуации для принятия управленческих решений. Помимо отчетности туда входят инстументы интеграции и очистки данных, аналитические хранилища данных и средства Data Mining.

BI-технологии позволяют анализировать большие объемы информации, заостряя внимание пользователей лишь на ключевых факторах эффективности, моделируя исход различных вариантов действий, отслеживая результаты принятия тех или иных решений.

Qlik Sense – позволяет закрыть на 99% всех потребностей организации в отчетности.

Какие навыки нужны для того, чтобы начать использовать Qlik Sense?

Навыки для Уровня 1 – Qlik Sense Level 1

Навыки, которые требуются до изучения базового уровня Qlik Sense:

• SQL базовый уровень (Select запросы, Join, Where, Group By). Остальное придет с опытом
• Понимание основ проектирования реляционных баз данных, см. статью https://iiba.ru/vvedenie-v-proektirovanie-baz-dannih/

Как ни странно, но больше ничего знать не нужно, кроме предметной области бизнеса и методов анализа данных (например в Excel ABC-анализ).

Навыки для Уровня 2 – Qlik Sense Level 2

С продвинутым уровнем все гораздо сложнее Итак, перечень входных навыков (каждый приведенный навык нужен для каких-то конкретных задач):

• HTML, CSS, JS;
• PHP;
• PowerShell, CMD/BAT;
• Хорошее знание синтаксиса Qlik (написание сложных скриптов, Set Analysis, Aggr, Циклы);
• Основы построения визуализации;
• Python или R;
• …

Какой BI инструмент начать осваивать в 2018 году? Как выбрать систему бизнес-аналитики?

За последние несколько релизов Qlik Sense сделал огромный рывок на рынке BI. Теперь нет сомнений, что компания Qlik останется в лидерах Gartner Magic Quadrant for BI and Analytics. Если Вы планируете изучать BI-инструменты или хотите выбрать систему аналитики и внедрить в компании, то без каких либо сомнений выбирайте Qlik Sense

Если Вы выбираете между QlikView и Qlik Sense, то вот еще 1 “За” в сторону Qlik Sense. Проводил опрос в чате QlikView Qlik Sense:

Причины, по которым я бы рекомендовал внедрять Qlik Sense вместо QlikView:

1. Qlik Sense на несколько шагов впереди по визуализации, по сравнению с QlikView
2. Абсолютно те же возможности по созданию моделей, загрузке данных, скорости работы приложений
3. Существенно легче разрабатывать визуальную часть в Qlik Sense, при этом в QS гораздо больше возможностей для создания нестандартной визуализации (Создание Extensions с помощью готовых JavaScript Frameworks & Viz Libraries)
4. QlikView не развивается как продукт и существенно отстал по удобству использования
5. Когда-то все равно придется переходить на Qlik Sense, а это повлечет большие трудозатраты (а соответственно и затраты денег) на миграцию приложений, ETL и т.п.
6. Многие специалисты QlikView уже сейчас при рассмотрении новых мест работы ориентируются на Qlik Sense, а не на QV

Ассоциативная работа. Ассоциативная модель данных. Движок Qlik Sense

Qlik Sense автоматически управляет всеми связями данных и представляет информацию пользователю с помощью схемы green/white/gray. Выборки подсвечиваются зеленым цветом, связанные данные представляются белым, а исключенные (несвязанные) данные отображаются серым цветом. Мгновенный ответ позволяет пользователям обдумывать новые вопросы и продолжать свое исследование.

Ассоциативная модель – это таблицы, которые связаны между собой по ключевым полям. Ассоциативная модель создается динамически при загрузке данных в Qlik Sense, при этом поля с одинаковыми названиями ассоциируются друг с другом. При выборе пользователем значения в одной таблице автоматически выбираются все ассоциированные значения в других таблицах.

Например, пусть у нас есть модель, в которой в одной таблице находятся заказы, в другой таблице находятся клиенты, в третьей таблице – товары. При выборе клиента, автоматически выбираются все заказы, сделанные этим клиентом. Так как таблица заказов связана (ассоциирована) также с таблицей товаров, то кроме всех заказов данного клиента автоматически выбираются и все товары, купленные этим клиентом. И наоборот — при выборе товара, автоматически выбираются все заказы, где фигурирует этот товар, и все клиенты, сделавшие эти заказы, а значит купившие этот товар. Для ассоциативной модели не требуются заранее прописанные сценарии анализа. Она позволяет начинать анализ данных с любого места модели в любом направлении.

В интерфейсе программы Qlik Sense Вы выбираете какой-то элемент (например категорию товара). После этого фильтруется вся модель, все диаграммы и таблицы отображают только связанные с выбранной категорией товара данные. Количество проданных штук, продажи в рублях, какие клиенты купили этот продукт, в каких регионах, сколько клиентов по этой категории, сколько поставщиков в этой категории, какие акции и т.д.

Ассоциативные связи в модели устанавливаются по одинаковым полям в таблицах. Модель данных Qlik Sense работает как единый механизм.

Вот пример из одной презентации: мы выбрали цены закупки и получили контекст по другим сущностям: периоды, категории товаров, бренды. 

Разложение бизнеса по полочкам упрощается в разы. Никакой Excel на такое не способен!

Подробное описание состояний выборок: зеленый, белый и серый

Во время выборок выполняется фильтрация множества данных, загруженных в программу QlikSense. С помощью выборок можно добраться до детальных данных, причин отклонений (выборка – ограничение области данных с целью узнать подробности процессов, деталей операций и т.д.).

При выполнении выборки в фильтрах меняются цвета значений/состояний. Типичные цвета программы Qlik Sense — зеленый, белый и серый. Они представляют основные состояния: выбранное, возможное и исключенное. Исключенные значения существуют в трех различных вариантах. Помимо обычного исключенного состояния существуют также альтернативное состояние и выбранное исключенное состояние.

Цель цветового кодирования — дополнительная информация. Зеленый цвет означает, что значение выбрано, белый — что значение можно выбрать, а серый — значение исключено. Особенно значения серого цвета несут в себе новую информацию о ранее неизвестных отношениях. Если значение неожиданно становится серым после выборки, значит, тут есть, над чем подумать. Возможно, у определенного региона нет торгового представителя, или этот продукт не продавался в течение целого квартала.

Плюсы и минусы Qlik Sense

Плюсы Qlik Sense

1. Огромные возможности по визуализации на JavaScript (подключение абсолютно любых библиотек JS).
2. Ассоциативная модель работает так же, как и мозг человека. Пользователь просто выбирает элемент и видит все возможные отношения этого элемента с другими элементами модели данных.
   Огромное количество возможностей для создания пользовательских объектов (расширенные визуализации, Mashups, Widgets).
3. Открытый API – вы можете автоматизировать множество процессов обслуживания Qlik Sense, если для вас недостаточно стандартной функциональности.
4. Мощный Set Analysis в выражениях, с помощью которого можно рассчитать очень сложные вещи довольно простым и понятным способом.
5. Работает на мобильных устройствах: в отличие от Qlik View, Qlik Sense предназначен для работы с мобильными устройствами.
6. Улучшенная работа с выбором точек на диаграммах с помощью “Lasso selection” – огромный плюс по сравнению с QlikView.
7. Qlik Sense активно развивается, релизы выпускаются каждые три месяца. Соответственно, возможно многие минусы будут закрываться плюсами в ближайшее время. Нужно следить за обновлениями.
8. В отличии от QlikView, в Qlik Sense Desktop (бесплатная версия) нет ограничений на открытие приложений, разработанных на другом компьютере. Поэтому Qlik Sense можно начинать использовать в компании в бесплатном формате, например, автоматизировав обновление приложения Qlik Sense и копирование приложений в нужную папку на определенные машины пользователей. При рабочих станциях с 8 Гб Qlik Sense – супер решение для малого бизнеса. А зная, как RAM память дешевеет каждый день, то никаких проблем нет!
9. UPDATE 01/12/2018 Появился набор расширений “Dashboard bundle”, который Qlik обязался поддерживать. Подробнее в новости: Qlik Sense November 2018 – What’s New

Минусы

1. По сравнению с QlikView, у Qlik Sense гораздо меньше стандартных настроек визуальной части. НО: с каждым релизом появляются  расширения, которые делают Qlik Sense во многом впереди.
2. Производительность десктопной версии Qlik Sense гораздо хуже. При одной и той же модели с одинаковым количеством данных, ресурсов на оперативную память Qlik Sense требуется гораздо больше, чем QlikView. На мой субъективный взгляд, это связано прежде всего с web-движком визуализации. Если дектопная версия QlikView – это легковесный exe, то десктопная версия Qlik Sense – это “зоопарк” различных технологий. Поэтому, если QlikView на 4Гб летает, то Qlik Sense – ползает. Тормоза наступают при использовании сложных формул. Опять же вводил одну и ту же формулу в QlikView и Qlik Sense на одинаковых моделях с одинаковым количеством данных.
   Коэффициент ухудшения производительности (опять же очень субъективно) от 4 до 7 при переходе с QlikView на Qlik Sense.
3. Бесплатная десктопная версия Qlik Sense (до релиза September 2018 включительно) очень медленно запускается. Аналогичная ситуация с Qlik Sense Cloud. По мне так QlikView работает гораздо быстрее (касаемо переходов между листами, между скриптом загрузки и визуализацией). Также очень медленно накатывается обновление ПО (установка новой версии Qlik Sense). При ошибке установки требуется деинсталляция старой версии Qlik Sense Desktop и повторная инсталляция новой версии. Очень сильно утомляет этот процесс 
4. Требуется много технических знаний из разных областей ИТ и бизнеса для создания сложного решения, которое, безусловно, не является самообслуживанием для типичного бизнес-пользователя.
5. Сетка должна быть меньше или даже редактироваться через параметры.
6. Для авторизации в Qlik Sense Desktop требуется доступ в интернет. Периодически возникают траблы при авторизации даже при наличии интернета. Толи действия роскомнадзора, то ли само ПО так тупит. Вообщем, топ-менеджмент точно это будет выводить из себя
7. У таблиц отсутствует форматирование, нет обрамления ячеек. Выгрузив данные в Excel, придется каждый раз производить форматирование таблицы. Либо нужно ставить Extensions.
8. Отсутствуют на данный момент (октябрь 2018 г.) Extensions в облаке.
9. При добавлении нескольких сложных KPI на лист, редакток листа начинает подтупливать (медленно работать). Справедливо для десктопной версии и при наличии сложных формул в KPI. Но в QlikView аналогичные KPI работают мгновенно
10. Отсутствует возможность на Desktop версии запустить Qlik Sense в фоновом режиме для работы через браузер. Было бы удобно, если бы Qlik Sense запускался как сервер Apatch, например Запустил компьютер, а Qlik Sense доступен через браузер.
11. В чартах (визуализации) в Expression (выражениях) отсутствует функция поиска и замены значений. Может быть я не просто не нашел функцию, но по мне так это значительный косяк ПО по отношению к разработчикам. Теперь, чтобы выполнить замену в выражении чарта, приходится все выражение копировать в Notepad++ (например) и делать замену на стороне. Надеюсь, что в будущем появится замена в Expressions (а также массовая замена по всем Expressions).
12. Автоматический apply всех изменений диаграммы в “режиме реального времени”. В минус, т.к. при большом объеме данных любая галочка, любые правки будут приводить к перерасчету диаграммы и огромным временным потерям на разработку отчетности. Потребуются навыки оптимизации Qlik Решений как со стороны модели, так и со стороны визуальной части.
13. При большом количестве настроек диаграммы (вкладки настроек), все действия приходится выполнять в очень маленьком окошке (при работе на ноутбуке). Изменить шрифты нельзя, чтобы влезало. Развернуть панель настройки нельзя. Режима отдельного окна с настройками нет. Возникает неприятная мысль – “Разработчики Qlik Sense, Вы вообще думаете о юзабилити Вашего продукта?”. Надеюсь, что в ближайших обновлениях с этим что-то позитивное произойдет! Особенно актуально для библиотеки VizLib (Qlik Sense Extension Library).
14. [Мысли при разработке на Qlik Sense Desktop]: В QlikView при расчете диаграммы можно было отключить ее расчет нажатием на крестик (полезная штука, особенно, когда ошибся в выражении и из-за этого приложение стало глючить). В Qlik Sense такого нет! При этом совершенно непонятно как сделать так, чтобы диаграмма перестала рассчитываться, если например почти не осталось свободных ресурсов на машине. Для того, чтобы полюбить Qlik Sense, Вам придется иметь хорошую машину для разработки, ну или для каждого измерения делать отдельную агрегированную таблицу с данными. Иначе диаграммы будут жестко лагать… Ну это уже не удобство разработки, а попытки извернуться, чтобы Qlik Sense Destop начал шевелиться.
15. Если у Вас в компании Firewall стоит, то всякие коммерческие Extention могут сбоить…

Любые недостающие настройки аналитических приложений можно реализовать на JavaScript. С одной стороны это дает преимущество Qlik Sense над QlikView (в том, что разработка Extension сильно упрощена), но с другой стороны теперь разработчику нужно знать JavaScript и различные библиотеки JS. И это все в дополнение к различным аналитическим подходам, знаниям бизнеса, проектированию интерфейса, интеграцией с другими системами и т.д.
Либо нужно заводить двух специалистов – одного как Qlik Developer, второго в роли JavaScript Qlik Extension Developer. И все бы ничего, но каждые 2-3 месяца у Qlik Sense выходит обновление и при установке патчей необходимо закладывать временной ресурс на тестирование Extensions.

Почему Qlik Sense потерял позиции на рынке BI (например, по сравнению с Power BI)

Опишу своё сугубо субъективное мнение. Итак, пройдемся по пунктам:

1. Отсутствие простых коннекторов у Qlik Sense, по сравнению с Power BI (зайдите в Power BI и убедитесь сами какие простые коннекторы у продукта, например к Google Analytics).
2. Наличие встроенного ETL все меньше ставится в плюс BI-инструменту: Рост популярности Python для обработки данных (в том числе для обработки большого объема данных, наличие бесплатных библиотек, например PANDAS, NumPy и т.д.). Можно хоть нейросеть создать на бизнес-данных, а потом положить результаты работы нейросети на данных в хранилище. Безусловно Python можно использовать и с Qlik Sense, но на практике все пишут ETL на Qlik.
3. Во всех компаниях есть продукты от Microsoft, поэтому Power BI продают как доп.опции к другим системам (зачастую). Плюс, т.к. накопилось большое количество разработчиков на MS SQL (T-SQL и т.п. продуктах Microsoft), то им проще переползти на Power BI. К тому же многие продвинутые аналитики использовали Power Query (и др) до Power BI (знакомый синтаксис). 
4. У Power BI самое сильное мобильное приложение, нежели у Qlik и Tableau.

Какие все же есть преимущества у Qlik Sense над Power BI:

1. В Qlik Sense на продвинутом уровне разработки (т.е. года 2+ опыта) есть много различных фишек, которые позволяют создавать сложные аналитические модели на основе ассоциативного механизма. Например, можно создать накопительный календарь. Можно создать модель для сравнения разных периодов. И все это будет храниться в оперативной памяти и не потребует запуска каких-либо расчетов в базе данных. Все рассчитывается автоматически в оперативной памяти.
2. Интерфейс – за последнее время интерфейс Qlik Sense притерпел множество качественных и количественных изменений. Появилось множество расширений, которые Qlik официально поддерживает (при выходе новой версии риски потери работоспособности снижаются).
3. Очень упрощен механизм создания расширений (Qlik Extensions)
4. В Qlik Sense есть собственный ETL инструмент. С одной стороны это требует от разработчиков наличие опыта работы с Qlik Script (как минус), с другой стороны сам этот инструмент открывает очень большие возможности. Через ETL скрипт можно реализовать рассылки данных пользователям как по Email, так и в Telegram. В нем же можно грузить данные из API облачных сервисов через PHP скрипты обработки данных в CSV формате. Можно запускать тот же Python и грузить результаты расчетов.

Вот здесь https://habr.com/ru/post/444758/ есть оценка продуктов Qlik Sense VS Power BI VS Tableau

Сравнивать по ценам можно вещи сопоставимые по функционалу и ценности, которую можно принести решив ту или иную задачу.

Power BI, просто хотя бы для того, чтобы можно было сравнивать с Qlik-ом по ценности/функционалу и даже на простых задачах – нужно брать в редакции не ниже Power BI Premium. После этого цены можно уже не сравнивать, они – сопоставимы.

Но если мы продолжим обсуждать вопрос того, что получит заказчик за сравнимые деньги в плане функционала, то при росте сложности задач/инфраструктуры/количества данных/пользователей, выяснится что Power BI к таким задачам просто не применим.

Сергей Полехин

Мой вывод по Power BI и Qlik Sense

Мое мнение: Power BI заслужил популярность у бизнес-пользователей из-за упрощенной визуализации и простых коннекторов. В остальном Qlik Sense ничем не уступает Power BI.

На мой взгляд, если Qlik Sense подтянет коннекторы бесплатные (количество и качество), добавит визуализации из D4.js, добавить диаграмм из узкоспециализированных отраслей (диаграмма японских свечей, например), добавит коннекторы к российским CRM, Yandex, IP телефонии, то будет идти наравне с Power BI.

Пример реализации дашборда Qlik Sense с расширениями – на мой взгляд ничем не уступает Power BI:

А если использовать платные решения с дополнительными элементами визуализации (например, VizLib), то Qlik Sense выглядит намного круче. Оцените сами

Qlik Sense Desktop больше не Free

Следующие несколько пунктов статьи теряют свою актуальность по причине новости:

QS больше не бесплатный. Изменения в Qlik Sense Desktop в 2020 году

Бесплатное использование Qlik Sense Desktop и QlikSense Cloud в компании

У Qlik Sense есть бесплатная версия Qlik Sense Desktop (отсутствуют какие-либо ограничения на объем данных, визуализацию и т.п.). Версия устанавливается только на рабочем компьютере (развернуть на сервере не получится). При этом рабочая станция должна иметь хотя бы 8Гб оперативной памяти (на 4Гб крайне медленно работает).
Также Qlik Sense можно использовать в облаке, но там есть ограничения на размер модели и количество пользователей.

Как можно использовать Qlik Sense Desktop в компании бесплатно (простая схема)

1. На сервере устанавливаете QlikView Desktop. Все скрипты пишете в блокноте (рекомендую Visual Studio Code). Данные выгружаете в QVD, обрабатываете и также сохраняете в QVD;
2. Доступ к QVD организуете на основе доступа Windows (т.е. к папкам на сервере);
3. У аналитиков устанавливаете Qlik Sense Desktop с моделью данных, прописываете сетевой путь к QVD.
4. Profit

Как использовать Qlik Sense Cloud с данными из систем компании

1. На сервере устанавливаете DropBox;
2. На сервере устанавливаете QlikView Desktop. Все скрипты пишете в блокноте (рекомендую Visual Studio Code – как правильно сделать см. тут). Данные выгружаете в QVD, обрабатываете и также сохраняете в QVD в директорию DropBox;
3. В облаке данные загружаете в модель из DropBox (коннектор бесплатный).
4. Profit

Почему скрипты в QlikView писать в блокноте?

Скрипты в бесплатной версии QlikView Desktop не рекомендую хранить, т.к. если с Вашим сервером что-то случится или с windows, То после переустановки QlikView Desktop Вы не сможете открыть старые документы со скриптами (точнее сможете восстановить только 4 документа, ограничено количество попыток на открытие сторонних документов).

Поэтому разрабатывайте скрипты загрузки и сохраняйте их в qvs файлы (обычные текстовые файлы с расширением qvs). Далее с помощью Must Include подключаете скрипт в QlikView Документ.

Таким образом, используя QlikView + Qlik Sense Вы получаете полноценную бесплатную BI систему без каких-либо ограничений. Для небольших компаний это очень подходящая схема работы. 

Скачать Qlik Sense Desktop. Установка. Авторизация в Qlik Sense Hub

Сообщение Что такое Qlik Sense (КликСенс, Клик Сенс)? Что такое бизнес-аналитика? Какие навыки нужны? появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Набор данных состоит из таблицы фактов Факты.qvd, из таблицы с товарами Товары.qvd и из таблицы с контрагентами Контрагенты.qvd.

Данные были скачены из интернета в англоязычном формате. Затем я адаптировал набор данных под русскоговорящих пользователей Qlik Sense (добавил города, перевел категории, даты обновил). Вообщем сделал так, чтобы интересно было работать с массивом данных.

Таблица фактов:

Таблица с товарами:

Таблица с контрагентами:

Количество строк в массиве данных:

• Товары 1894 записи;
• Контрагенты 793 записи;
• Факты 9994 записи.

Взаимосвязь между таблицами:

Скачать массив данных в формате QVD (Архив ZIP). Скачать QVD Data Set

QVD_Data_For_QlikSense_Application.zip

Сообщение Free Data Set — Обзор набора данных для изучения Qlik Sense с массивом продаж. Скачать QVD Data Set появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Qlik Sense обитает в папке C:\Users\{Пользователь}\AppData\Local\Programs\Qlik\Sense\. В этой директории есть следующие подпапки:

• AboutService –
• BrokerService –
• CapabilityService –
• Client – Очень важная папка для разработчика. Здесь хранятся темы, шрифты, расширения (extensions) и т.д.
• ConnectorRegistryProxy –
• ConverterService –
• DataPrepService –
• DepGraphService –
• Engine – Engine.exe; QVConnect32.exe; QVConnect64.exe
• HubService –
• MigrationService –
• Node –
• PrintingService –
• QlikSenseBrowser –
• WebExtensionService –

И файлы:

• QlikSense.exe – Исполняемый файл КликСенс;
• License_Desktop.pdf – Пользовательское соглашение о лицензировании Qlik Sense Desktop;
• RELEASE_LABEL – Версия релиза
• services.conf – Конфигурационный файл окружения (порты, параметры сервисов, различные настройки и т.д.)

Директории с коннекторами

C:\Users\{Пользователь}\AppData\Local\Programs\Common Files\Qlik\ – директория, в которой хранятся установленные вместе с КликСенс Десктоп коннекторы. В бесплатной версии в июньском релизе установились следующие connectors:

• QvDataMarketConnector
• QvEssbaseConnector
• QvOdbcConnectorPackage
• QvRestConnector
• QvSalesforceConnector
• QvWebStorageProviderConnectorPackage

Где хранятся приложения Qlik Sense Desktop на рабочей станции?

C:\Users\{Пользователь}\Documents\Qlik\Sense\ – Здесь хранятся приложения, картинки по умолчанию для Qlik Sense, экспортируемые файлы Excel из интерфейса, шаблоны Extensions, лог файлы сервисов и настроечные файлы.

Папки в директории:

• Apps – здесь лежат приложения Qlik Sense Applications, которые отображаются в Qlik Sense Desktop.
• AppsBackup
• Content – здесь хранятся изображения, которые можно использовать в приложении Qlik Sense. В папку Default можно сложить изображения для использования в приложениях (изображения листов, приложений). Для структурирования изображений, можно в папке Default создавать подпапки;
• Exports – здесь хранятся все выгруженные файлы, которые были экспортированы из интерфейса QS;
• Extensions – Сюда нужно положить сторонние разработанные расширения для КликСенс
• Log

И файлы конфигурации среды:

• QlikSenseBrowser.ini
• Settings.ini

Как запустить на своем компьютере стороннее приложение Qlik Sense?

Стороннее приложение Qlik Sense в формате .qvf необходимо разместить в директории C:\Users\{Пользователь}\Documents\Qlik\Sense\Apps\.

Рекомендации по визуализации, полям и именам

Сообщение Обзор окружения Qlik Sense среды (где лежат приложения, темы, исполняемые файлы). Архитектура окружения Qlik Sense Desktop появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Шаг 1. Скачиваем Qlik Sense Desktop (Бесплатно)

QlikSense Desktop – это бесплатное ПО, которое можно использовать на вашем компьютере. Но есть одно маленькое НО: у Вас должен быть доступ в интернет, чтобы зайти в программу. Иногда маленькое НО превращается в большое – в поезде, самолете и т.д. Обойти эту проблему можно заранее запустив на ноуте КликСенс. Иначе у Вас не получится авторизоваться в программе без доступа к интернету.

    Внимание! Attention! Achtung!   

С июля 2020 года Qlik Sense Desktop перестанет быть бесплатным. Подробнее можно почитать в посте:

QS больше не бесплатный. Изменения в Qlik Sense Desktop в 2020 году

Для скачивания программы Qlik Sense Desktop есть два пути:

1. Скачать по прямой ссылке последний доступный дистрибутив Qlik Sense Desktop – смотрите в закрепленном посте в моей группе в телеграме https://t.me/qlik_insight/253.
2. Регистрация на сайте qlik и скачивание в личном кабинете.

Регистрация на сайте qlik и скачивание Qlik Sense Desktop в личном кабинете

1. Зайдя на сайт qlik.com, нажмите кнопку Try for Free, пройдите регистрацию:

2.Далее зайдите в почту, вам должно прийти письмо от QlikTech. Перейдите по ссылке, задайте пароль и выберите часовой пояс.

3. Далее Profile Settings -> Tools -> Download Qlik Sense Desktop

Шаг 2. Установка (инсталляция) Qlik Sense Desktop

Установка Qlik Sense Desktop на компьютер максимально упрощена. С нею справится даже начинающий пользователь.

1. Переходим в папку, где лежит дистрибутив. Запускаем его:

2. Выбираем первый пункт “Install”:

3. Принимаем лицензионное соглашение:

4. Ярлык на рабочий стол (нужен/не нужен):

5. Процесс инсталляции иногда занимает довольно продолжительное время (15-20 минут, но иногда и за 5 минут все инсталлируется):

6. Готово – на нашем компьютере теперь установлена передовая BI система для анализа данных!

Шаг 3. Как активировать QlikSense Desktop без доступа в облако

Как активировать Qlik Sense Desktop бесплатно (версия для разработчиков или тестировщиков)

1. Заходим на сайт https://developer.qlik.com/garden
2. Регистрируемся или входим на сайт (я юзаю обычно учетку из-под github)
3. После того, как вы авторизовались переходим в MyProfile (в правом-верхнем углу появится имя пользователя и аватарка или переходим по ссылке https://developer.qlik.com/me).
4. Слева будет раздел UNLOCK QLIK SENSE DESKTOP и кнопка “LEARN MORE”
   (Looking to unlock Qlik Sense Desktop?)
5. Находим второй пункт Download the Qlik Sense Desktop Unlock File here и нажимаем кнопку Download QSD Unlock File
6. Скачается файл формата cb8ad5dc-9934-4fb0-bd1c-215df0ddc3e3.json
7. Далее идем в директорию пользователя на компьютере %USERPROFILE%\Documents\Qlik\Sense,  создаём папку “trial” и в неё кладём JSON файл
8. В следующий раз при загрузке Qlik Sense Desktop справа вверху появится надпись, что триал истечёт 12 ноября и кнопка для запуска
9. После истечения срока действия ключа можно его скачать снова и положить в папку trial.

Периодически на сайте размещен необновленный ключ, ближе к дате истечения триальной версии проверьте еще раз ссылку. Ищите следующее сообщение:

Примечание. Чтобы продолжить использование Qlik Sense Desktop, вам необходимо выполнить обновление до Qlik Sense November 2020.

Срок действия файла разблокировки, который вы собираетесь загрузить, истекает 12 ноября 2021 года (сегодня 1 ноября 2021,т.е. меньше 12 дней до истечения ключа).

Вернитесь за 30 дней до этой даты, чтобы получить новый 60-дневный файл разблокировки.

Если у вас возникли проблемы, свяжитесь с branch.admin@qlik.com.

Вход в Qlik Sense Desktop осуществляем через меню пуск:

Также при работающем Qlik Sense клиенте, в Qlik Sense HUB можно попасть через строку в браузере http://localhost:4848/hub/my/work/

В Qlik Sense есть еще Qlik Sense Dev Hub – среда разработки экстеншенов, машапов и т.п. дополнительного функционала. Адрес http://localhost:4848/dev-hub/

Обзор окружения Qlik Sense среды (где лежат приложения, темы, исполняемые файлы). Архитектура окружения Qlik Sense Desktop

Сообщение Скачать Qlik Sense Desktop. Установка. Авторизация в Qlik Sense Hub появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.