В этом уроке будет описан процесс создания аккаунта в облачном сервисе Qlik Sense Business Cloud.

https://t.me/qlik_insight – telegram канал – пишу про Qlik Sense как есть на самом деле, что-то критикую, что-то хвалю, делюсь обучающими материалами. 

Сообщение Урок 1. Регистрация в Qlik Sense Business Cloud. Как начать работать с Qlik в облачном сервисе? появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Engine JSON API

Qlik Engine JSON API представляет собой протокол WebSocket, который использует JSON для передачи информации между Qlik Sense Engine и клиентами. Qlik Engine JSON API состоит из набора объектов , представляющих приложения, списки и так далее. Эти объекты организованы в иерархическую структуру. Когда вы отправляете запросы в API, вы выполняете действия над этими объектами.

Qlik Engine JSON API может быть использован для:

• создания приложений и загрузки данных
• создания историй (data stories)
• получение системной информации

Типичные ситуации, в которых вы бы использовали JSON API Qlik Engine:

• создание специализированного клиента в качестве
• автономного или веб-приложения
• автоматизация повторяющихся или сложных
• обновлений или изменений в приложениях

Extension API

API расширения (Extension API) состоит из методов и свойств, используемых для создания пользовательских расширений визуализации (custom visualization extensions).

Backend API

Backend API состоит из нескольких методов и используется для связи с ассоциативным механизмом Qlik. Он предоставляет вспомогательные функции для вызовов ассоциативного механизма Qlik и доступ к данным ассоциативного механизма Qlik. Вкратце, Backend API – это оболочка для выбранных методов Qlik Engine JSON API, но с той разницей, что Backend API знает о контексте, то есть текущем соединении WebSocket и приложении Qlik Sense.

Capability APIs

API-интерфейсы Capability представляют собой набор API-интерфейсов JavaScript, которые позволяют легко встраивать контент Qlik Sense в веб-страницу. С помощью всего лишь нескольких строк кода можно создать визуализацию, использующую библиотеку визуализации Qlik Sense.

API-интерфейсы Capability зависят от AngularJS и RequireJS, поэтому вам необходимо принять это во внимание при интеграции API-возможностей Capability в существующий проект, в котором также используются эти библиотеки.

Термин «API-интерфейс Capability» был введен в Qlik Sense 2.1. Некоторые из API-интерфейсов Capability были доступны до этой версии, опубликованной под названием Mashup API.

Root API

Root API является внешним интерфейсом Qlik Sense и доступен в виде пространства имен qlik. Он предоставляет методы открытия приложений, получения ссылки на текущее приложение, установки определенного языка и регистрации обратных вызовов для обработки ошибок. Корневой API также содержит методы для перечисления доступных приложений и расширений, а также для регистрации расширений (extensions), которые вы создаете на лету (используя API визуализации – Visualization API).

App API

Метод qlik.openApp является точкой входа в API приложения и возвращает объекты JavaScript приложения с методами для работы с приложением Qlik Sense, к которому вы подключены.

Bookmark API

Bookmark API содержит методы для работы с закладками в приложении Qlik Sense, к которому вы подключены.

Field API

Метод qlik.app.field является точкой входа в Field API. Он возвращает объект QField с методами и свойствами, которые можно использовать для управления полем.

Global API

Метод qlik.global является точкой входа в Global API. Возвращает объект JavaScript с глобальными методами.

Navigation API

Navigation API (API навигации) позволяет вам перемещаться в приложении Qlik Sense и предназначен для использования в виджетах и ​​расширениях визуализации, и не будет работать в сценариях Mashup.

Selection API

Selection API является внешним интерфейсом для изменения выборки по модели данных Qlik Sense (фильтрация данных) и позволяет разработчикам работать с ассоциативной моделью.

Table API

Table API (API таблиц) позволяет разработчикам работать с табличными данными, возвращаемыми из ассоциативного механизма Qlik, не имея глубоких знаний о внутренних конструкциях, таких как, например, Гиперкуб (Hypercube).

Theme API

Theme API – это внешний интерфейс для тем Qlik Sense. Он позволяет настраивать визуализации, включая расширения и виджеты, вне Qlik Sense.

Variable API

Variable API – это внешний интерфейс для управления переменными Qlik Sense.

Visualization API

Visualization API (API визуализации) – это внешний интерфейс для визуализаций Qlik Sense. Вы можете создавать новые визуализации на лету на основе объекта сессии. Эти визуализации не сохраняются в приложении. Вы также можете получить уже существующие визуализации из приложения, используя Visualization API.

Custom Component API

API для создания пользовательских компонентов (собственных компонентов).

Пользовательские компоненты содержат следующие элементы:

• Файл определения (QEXT).
• Основной файл JavaScript.
• Дополнительные ресурсы, такие как библиотеки JavaScript, изображения и шрифты.

Пользовательские компоненты – это в основном директивы AngularJS. Цель файла JavaScript – вернуть подпись директивы AngularJS.

App Integration API

Используется для embedded аналитика, позволяет генерировать ссылки url для встраивания в iframe.

Single Integration API

Single Integration API позволяет создавать URL-адреса, который возвращает полную HTML-страницу, содержащую, например, встроенную визуализацию Qlik Sense . Этот URL-адрес можно встроить в веб-страницу, например, включив его в iframe.

qlik-visual web component

Qlik-Visual Web Component – это определение пользовательского элемента <qlik-visual>, которое использует API визуализации и представляет его как веб-компонент. Он позволяет создавать и изменять визуализации на лету, не используя клиент Qlik Sense.

Qlik Visual поддерживает:

• Отображение существующей визуализации (путем определения видимости элемента) на веб-странице.
• Создание визуализаций на лету с использованием существующего приложения путем внедрения их в веб-страницу.
• Динамически изменяющие свойства и атрибуты визуализаций.

enigma.js

Библиотека enigma.js помогает вам общаться с ассоциативным механизмом Qlik в Qlik Sense и Qlik Sense Desktop. Вы можете использовать его для создания своего собственного клиента или для создания собственного сервиса Node.js. Примерами использования могут быть создание ваших собственных аналитических инструментов на основе браузера, серверных служб или сценариев командной строки.

Библиотека enigma.js может использоваться в качестве SDK или для выполнения операций CRUD (то есть создания, чтения, обновления и удаления) в приложениях и в сущностях приложений.

enigma.js – это библиотека, предназначенная исключительно для Engine API (websocket). Экспорт изображений / PDF-файлов – это API-интерфейсы REST в Qlik Sense для других служб (отчеты), которые предоставляются через интерфейс capability API:

• https://help.qlik.com/en-US/sense-developer/September2019/Subsystems/APIs/Content/Sense_ClientAPIs/CapabilityAPIs/VisualizationAPI/exportImg-method.htm
• https://help.qlik.com/en-US/sense-developer/September2019/Subsystems/APIs/Content/Sense_ClientAPIs/CapabilityAPIs/VisualizationAPI/exportPdf-method.htm

Официальная документация Enigma.JS: https://github.com/qlik-oss/enigma.js

enigma-go

Библиотека enigma-go помогает вам общаться с ассоциативным механизмом Qlik в Qlik Sense и Qlik Sense Desktop. Примерами использования могут быть создание ваших собственных аналитических инструментов, серверных служб или других инструментов, взаимодействующих с ассоциативным механизмом Qlik. Библиотека enigma-go может использоваться в качестве SDK или для выполнения операций CRUD (то есть создания, чтения, обновления и удаления) в приложениях и в сущностях приложений.

leonardo-ui

leonardo-ui – это библиотека с открытым исходным кодом, которая используется в Qlik Sense и предоставляет множество графических компонентов пользовательского интерфейса. Разметка этих компонентов может использоваться в расширениях, гибридных приложениях и виджетах. Библиотека поддерживается и поддерживается Qlik. leonardo-ui можно использовать как с Qlik Sense, так и с Qlik Sense Desktop.

picasso.js

Библиотека диаграмм picasso.js оптимизирована для создания пользовательских, интерактивных и мощных визуализаций для платформы Qlik Sense Analytics.

nebula.js

nebula.js – это библиотека с открытым исходным кодом, разработанная на GitHub. nebula.js – это набор библиотек и API-интерфейсов JavaScript, не зависящих от продукта и инфраструктуры, который помогает разработчикам интегрировать визуализации и гибридные приложения поверх ассоциативного механизма Qlik в Qlik Sense Desktop , Qlik Sense Enterprise для Windows и SaaS-версиях Qlik Sense . Он предлагает разработчикам альтернативу capability APIs, которые исторически использовались для создания гибридных приложений.

Чтобы использовать nebula.js , вы должны быть знакомы с JavaScript, promises, websockets и библиотеками с открытым исходным кодом. Вам понадобится Node.js и доступ к ассоциативному движку Qlik . Также будет полезно знание таких концепций Qlik, как generic objects и гиперкубы.

Qlik Explorer для разработчиков

Qlik Explorer для разработчиков – это инструмент, созданный для упрощения процесса интеграции функциональности Qlik Sense в другие среды.

Qlik Explorer для разработчиков обеспечивает быстрый доступ к соответствующей информации из вашей среды Qlik Sense, что, например, позволяет легко интегрировать визуализации Qlik Sense в существующий веб-сайт.

Автоматическое обновление
Qlik Explorer для разработчиков автоматически обновляется при появлении новой версии.

Как подключить Qlik Explorer к Qlik Sense Desktop Hub

В настройках вбиваете http://localhost:4848/

После подключения отобразится список приложений со свойствами и методами. Profit

Engine API Explorer в браузере

http://localhost:4848/dev-hub/engine-api-explorer

Скачать (DOCX, 661KB)

Подключение к API Qlik Engine

todo

Подключение к Qlik Sense API с помощью PowerShell

https://community.qlik.com/t5/Qlik-Sense-Integration/How-to-export-an-app-to-a-folder-using-API-and-Powershell/td-p/1608192

Qlik Sense python API client for QPS and QRS interfaces

https://developer.qlik.com/garden/570e73c36c8c33c066a0f11c

Пример подключения Python 3 к Qlik Sense Engine API

Для подключения и работы необходимо установить библиотеки:

pip3 install asyncio
pip3 install websocket-client
pip3 install requests_ntlm
pip3 install requests
pip3 install json

Дальше приведен скрипт подключения Python 3 к Qlik Sense Desktop:

from websocket import create_connection

import json

ws = create_connection("ws://localhost:4848/app/")

data=json.dumps({
    'jsonrpc': '2.0',
    'id': 2,
    'method': 'GetActiveDoc',
    'handle': 1,
    'params': ['C:\\Users\\User\\Documents\\Qlik\\Sense\\Apps\\Анализ продаж - простое приложение.qvf']
})

print("Sending req...")
ws.send(data)

print("Receiving...")
result = ws.recv()

print("Received '%s'" % result)

qclosed = ws.close()
print("Closed '%s'" % qclosed)

Результат работы скрипта:

>>> 
 RESTART: D:/QlikProject/Подключаемся к Qlik Sense из Python.py 
Sending req...
Receiving...
Received '{"jsonrpc":"2.0","method":"OnConnected","params":{"qSessionState":"SESSION_CREATED"}}'
Closed 'None'

Пример скрипта Python 3 для получения списка документов с hub Qlik Sense Desktop

from websocket import create_connection

import json

ws = create_connection("ws://localhost:4848/app/")

ws.send(json.dumps({
  "handle": -1,
  "method": "GetDocList",
  "params": [],
  "outKey": -1,
  "id": 1
}))

result = ws.recv()

while result:
    result=ws.recv()
    y = json.loads(result)
    print(y)

ws.close()

Список классов, свойств и методов https://betahelp.qlik.com/en-US/sense-developer/June2019/apis/EngineAPI/index.html

Подключаемся к Qlik Sense Engine API с помощью Node.JS

Рассматривается пример подключения к Qlik Sense Desktop

const WebSocket = require('ws');

const ws = new WebSocket('ws://localhost:4848/app/engineData');

var request = {
    "handle": -1,
    "method": "GetDocList",
    "params": {},
    "outKey": -1,
    "id": 2
}

ws.onopen = function(event){
    ws.send(JSON.stringify(request));
    
    ws.onmessage = function (event) {
        var response = JSON.parse(event.data);

        if(response.method != ' OnConnected'){
            
            var obj = response.result;
            str = JSON.stringify(obj, null, 4);
            console.log(str);

        }
   }
}

Получаем перечень приложений Qlik Sense Desktop с помощью Enigma JS

const enigma = require('enigma.js');
const WebSocket = require('ws');
const schema = require('enigma.js/schemas/12.20.0.json');

// create a new session:
const session = enigma.create({
  schema,
  url: 'ws://localhost:4848/app/engineData',
  createSocket: url => new WebSocket(url),
});

// bind traffic events to log what is sent and received on the socket:
session.on('traffic:sent', data => console.log('sent:', data));
session.on('traffic:received', data => console.log('received:', data));

// open the socket and eventually receive the QIX global API, and then close
// the session:
session.open()
    .then(function(global) {
        global.getDocList().then(function(docList) {
            for (i = 0; i < docList.length; i++) {
                var AppName = docList[i].qDocName;
                console.log('App list:',JSON.stringify(AppName));
            }

            session.close();
        })
    });

Получаем свойства документа Qlik Sense с помощью запроса Enigma.JS через QS API Engine

const enigma = require('enigma.js');
const WebSocket = require('ws');
const schema = require('enigma.js/schemas/12.20.0.json');

// create a new session:
const session = enigma.create({
  schema,
  url: 'ws://localhost:4848/app/engineData',
  createSocket: url => new WebSocket(url),
});

// bind traffic events to log what is sent and received on the socket:
session.on('traffic:sent', data => console.log('sent:', data));
session.on('traffic:received', data => console.log('received:', data));

// open the socket and eventually receive the QIX global API, and then close
// the session:
session.open()
    .then(function(global) {
        global.getDocList().then(docs=>{
            global.openDoc("Анализ продаж - простое приложение.qvf").then(doc=>{
                doc.getAppProperties().then(appProp => {
                    console.log(doc)
                    console.log(appProp)
                })
            })
        })
    })

Пример получения списка полей в Qlik Sense API Engine, с помощью Enigma.JS

Пример актуален для Qlik Sense Desktop

const enigma = require('enigma.js');
const WebSocket = require('ws');
const schema = require('enigma.js/schemas/12.20.0.json');

// Создаем новую сессию:
const session = enigma.create({
  schema,
  url: 'ws://localhost:4848/app/engineData',
  createSocket: url => new WebSocket(url),
});

// Привязываем traffic events к log (что отправлено и что получено socket)
session.on('traffic:sent', data => console.log('sent:', data));
session.on('traffic:received', data => console.log('received:', data));

var config = { 
    schema: schema,
    docId: "Анализ продаж - простое приложение.qvf"
}

// Открываем сессию
session.open()
    .then(function(global) {

        global.openDoc(config.docId).then(function(doc){
            //Создаем SessionObject для FieldList
            doc.createSessionObject( {
                qFieldListDef: {
                    qShowSystem: false,
                    qShowHidden: false,
                    qShowSrcTables: true,
                    qShowSemantic: true,
                    qShowDerivedFields: true
                }, 
                qInfo: {
                    qId: "FieldList",
                    qType: "FieldList"
                }
            } ).then( function(list) {
                return list.getLayout();
                } ).then( function(listLayout) {
                    return listLayout.qFieldList.qItems;
                    } ).then( function(fieldItems) {
                        console.log(fieldItems)
                        } );
        })
    });

Пример javascript скрипта выгрузки / экспорта данных из QS, используя Enigma.JS

В результате выполнения JS-скрипта Вы получите qURL:

qUrl:”/Exports/1b2f8662-570b-4f77-b37b-94a4a347fe91\FileName(6bb5e11a-427a-4e77-ac30-e49abf602c87).xlsx”

Код запроса exportData Enigma.JS Qlik Sense Table API:

const enigma = require('enigma.js');
const WebSocket = require('ws');
const schema = require('enigma.js/schemas/12.20.0.json');

// Создаем новую сессию:
const session = enigma.create({
  schema,
  url: 'ws://localhost:4848/app/engineData',
  createSocket: url => new WebSocket(url),
});

// Привязываем traffic events к log (что отправлено и что получено socket)
session.on('traffic:sent', data => console.log('sent:', data));
session.on('traffic:received', data => console.log('received:', data));

var config = { 
    schema: schema,
    docId: "Анализ продаж - простое приложение.qvf"
}

var exportOptions = {
    "qFileType": "OOXML",
    "qPath": "/qHyperCubeDef",
    "qFileName": "FileName",
    "qExportState": 1
}

// Открываем сессию
session.open()
    .then((global) => {
        console.log('We are connected!')
        global.openDoc(config.docId)
        .then(doc => {
            doc.getObject('XPbGUe')
            .then((api) => {
                api.exportData(exportOptions)
                .then((reply) => {
                    console.log(reply);
                });
            });
        });
    });

Пример javascript скрипта выгрузки / экспорта данных из Qlik Sense Enterprise, используя Enigma.JS

Данные выгружаем из прямой таблицы, в поле TargetFieldSelect выбираем значение NeededValueToSelect.

const enigma = require('enigma.js');
const WebSocket = require('ws');
const path = require('path');
const fs = require('fs');
const fetch = require('node-fetch');

const schema = require('enigma.js/schemas/12.20.0.json');
const { Console } = require('console');

// Your Sense Enterprise installation hostname:
const engineHost = 'qlik.company.com';

// Make sure the port below is accessible from the machine where this example
// is executed. If you changed the QIX Engine port in your installation, change this:
const enginePort = 4747;

// 'engineData' is a special "app id" that indicates you only want to use the global
// QIX interface or session apps, change this to an existing app guid if you intend
// to open that app:
const appId = 'engineData';

// The Sense Enterprise-configured user directory for the user you want to identify
// as:
const userDirectory = 'QLIKDEV';

// The user to use when creating the session:
const userId = 'username';

// Path to a local folder containing the Sense Enterprise exported certificates:
const certificatesPath = './';

// Helper function to read the contents of the certificate files:
const readCert = (filename) => fs.readFileSync(path.resolve(__dirname, certificatesPath, filename));

const session = enigma.create({
  schema,
  url: `wss://${engineHost}:${enginePort}/app/${appId}`,
  // Notice the non-standard second parameter here, this is how you pass in
  // additional configuration to the 'ws' npm library, if you use a different
  // library you may configure this differently:
  createSocket: (url) => new WebSocket(url, {
    ca: [readCert('root.pem')],
    key: readCert('client_key.pem'),
    cert: readCert('client.pem'),
    headers: {
      'X-Qlik-User': `UserDirectory=${encodeURIComponent(userDirectory)}; UserId=${encodeURIComponent(userId)}`,
    },
  }),
});


// Открываем сессию
session.open()
    .then((global) => {
        global.openDoc('03h5ed8-5gdfb-40a5-b733-41fc4beb718e')
        .then(doc => {
            doc.getField("TargetFieldSelect")
            .then((appField) => {
              appField.select('NeededValueToSelect',false,0)
              .then((selectResult) => {
                console.log(selectResult);

                doc.getObject('jwAJbyL')
                .then((objectTable) => {
                  objectTable.getHyperCubeData("/qHyperCubeDef", [{ qTop: 0, qWidth: 10, qLeft: 0, qHeight: 1000 }])
                  .then(function (data) {
                    let dataSTR = JSON.stringify(data[0].qMatrix);
                    fs.writeFileSync('DataOutput.json', dataSTR);

                    session.close();
                  })
                })   

                
              })
            })
            
        })
              
                


    });

_____

Описание архитектуры Qlik Engine API

Структура объектов

Схемка сделана “на глаз”, но вероятно так и работает.

API Component Overview

MindMap API Integration

Схема по-умолчанию для процесса authenticate (default flowchart)

YouTube Enigma.JS Qlik Sense API Development

Youtube Другие видео по Qlik Sense API

Полезные ссылки по Enigma.JS и Qlik Sense API

• https://dev.to/qlikbranch/getting-started-with-qlik-core-2781 – Getting Started with Qlik Core
• https://branch-blog.qlik.com/system-integration-with-qliks-apis-why-and-how-1663025cf54d – System Integration with Qlik’s APIs — Why and How
• https://alcmst.net/2019/03/01/quiz-sense-who-wants-to-be-a-qlikionnaire/ – Quiz Sense – Who wants to be a Qlikionnaire?

_____

Сообщение Руководство разработчика API – Справочник по Qlik Sense API появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Количество выбранных элементов в измерении

GetSelectedCount([Товар Название])

Количество возможных элементов в измерении

GetPossibleCount([Товар Название])

Получить количество полей из таблицы модели

=Count({1<$Table={'Таблица Фактов'}>} $Field)

Переменная “Условие-проверка”, что приложение Qlik перегрузилось сегодня

vAppReload
=match(today(0),today(2))

Получить в скрипте текст, заключенный между символами

Текст между символами:

=TextBetween('lkj dsf 554 [Текст в квадратных скобках]','[',']')

Как менять значения переменной по кругу при нажатии на кнопку

Как менять значения переменной по кругу:

=pick(match($(пПеременная),1,2,3,4,5,6),2,3,4,5,6,1)

Сравнение поля с конкретным временем

Time(Left([Время обработки],8))>MakeTime(18,30,00)

Время обновления файла

Let vFileDateTimeModified = FileTime('C:\QS_QVD\Чеки.qvd');

Выход из скрипта по условию

Exit Script when a=1;

Значение по умолчанию для конструкции Pick(Match())

Pick & Match – значение по-умолчанию, если не найдено условие

Pick(Match(lower([Флаг]),'true','false')+1,'Не определено','Да','Нет') As [Какой-то аналитический признак]

Проверка поля на пустоту в скрипте Qlik Sense

Проверка поля на пустоту (вместо not IsNull and <>”)

Len(Trim([Поле справочника]))=0

Использование Match при наличии пустых значений в поле

Наткнулся, что в Match не учитывает пустые значения (null). Т.е. условие в скрипте

UPPER([Ассортимент]) <> 'ВЕЛОСИПЕДЫ'

не эквивалентно условию

Match(UPPER([Ассортимент]),'ВЕЛОСИПЕДЫ')=0

Решилось:

RangeSum(0,Match(UPPER([Ассортимент]),'ВЕЛОСИПЕДЫ'))=0;

Аналогично в WildMatch

Сбросить фильтры по всем полям какой-то конкретной таблицы

Если Вам при расчете показателя необходимо сбросить фильтры по всем полям какой-то таблицы, то необходимо в приложении создать переменную пСброситьВыборкиПолейТаблицы:

$(=CONCAT({1<$Table = {'$1'}>} DISTINCT '['& $Field &']=', ',') )

Далее в выражении нужно записать следующую формулу (Выражение в таблице для расчета показателя ‘Текущий остаток’):

sum({<$(пСброситьВыборкиПолейТаблицы(Календарь))>} [Текущий остаток])

Tips & Tricks по работе с визуализацией

Редактирование таблицы в Qlik Sense с большим количеством столбцов

В Qlik Sense все изменения производимые в столбцах мгновенно начинают отображаться в таблице (автоматическое применение изменений). Когда столбцов много, то любой update в колонках замедляет разработку фактически в несколько раз. Чтобы этого избежать, можно в условии вычисления всей таблицы поставить ноль, внести изменения и потом условие изменения убрать. Т.е. фактически отрубить автоматический расчет таблицы вручную.

Сообщение Фишки (Tips & Tricks) по Qlik Sense / QlikView. Секретные приемы Qlik появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Qlik Sense – очень гибкая платформа создания отчетности. В ней нет ограничений на количество приложений, на количество отчетов, количество данных. Вы можете создать 1 большое приложение с множеством различных отчетов, либо создать много приложений, в каждом из которых будет 1-2 сложных по структуре или логике отчета. Все зависит от Ваших потребностей. Единственно что нужно учитывать – это затраты на поддержку решений.

Также можно создать приложение Qlik Sense, в котором в библиотеке задать нужные измерения и показатели, а пользователи будут сами создавать простые отчеты, графики, дашборды, аналитические панели.

Этапы создания модели Qlik Sense

Рассмотрим основные этапы создания модели Qlik Sense:

Краткая схема создания приложения выглядит следующим образом:

1. Для того, чтобы создать аналитическую модель (Отчет, дашборд и т.п.) изначально необходимо получить требования от заказчика (выявить основные потребности). Вы проводите встречу с заказчиком, на которой записываете основные его желания, затем, обрабатывая первичные требования Вы задаете уточняющие вопросы заказчику.
Очень часто заказчики опускают нужные подробности, которые могут помочь в решении задачи. Делают они это зачастую не умышленно, а потому что для них это очевидно (каждый день с этим работают).

Иногда заказчик может опираться на вымышленные сущности, которых нет в учетных системах, либо они ведутся там очень и очень криво. Это все может привести к тому, что на пол пути Вы поймете, что разрабатываемый отчет довести до конца не получится. И ладно, если Вы на этот отчет потратили пол дня, а если Вы уже 2 недели что-то делаете и приходите в тупик?

Иногда заказчик хочет получить отчет, который можно получить из учетной системы. Он уже там есть, только заказчик про это не знает.

Еще 1 совет – всегда стремитесь избегать в своей работе с данными, которые пользователи ведут в Excel! На этапе выявления требований стремитесь заставить заказчика отказаться от excel, Хотя бы в сторону MS Access. Ну или обязать заказчика разработать жесткую форму для ведения данных с проверками.

2. Дальше начинается работа с источниками данных. В идеале сначала проводится краткий аудит учетных систем на предмет того, как вводятся данные.

На этом этапе необходимо проработать перечень источников из которых Вы будете выгружать данные. Для этих работ целесообразно привлекать системных аналитиков или разработчиков учетных систем, которые знакомы со структурой базы данных, могут помочь написать тот или иной запрос. Иначе Вам придется самостоятельно изучить в лучшем случае документацию, в худшем случае учетную систему (со всеми ее странностями и кастомизациями).

На этом этапе необходимо проверить наличие в справочниках нужных атрибутов (согласно требованиям), наличие фактов, смоделировать (например в Excel) расчеты, которые нужно получить в рамках аналитической модели.
Для снижения риска проекта по Qlik Sense рекомендую делать на предварительной стадии прототип модели на очень ограниченном объеме данных, проверить структуру модели, те или иные гипотезы. Внимание: самое важное на первом и втором этапах не уйти глубоко в детали и не выдумать из небольшого, быстрого и полезного проекта ОГРОМНОГО МОНСТРА.

В ходе второго этапа (при аудите учетных систем) уточняется ТЗ и разрабатывается план проекта.

3.Выстраиваем структуру окружения QS Проекта на Windows Сервере. Если в рамках проекта планируется использовать Qlik Sense Desktop – то требуется одна архитектура организации окружения (с привлечением QlikView Desktop), если Qlik Sense Enterprice – то другая архитектура.

Здесь необходимо создать каталог папок, в которых будут храниться приложения/скрипты .qvs для выгрузки данных (Extractor),  приложения/скрипты .qvs для трансформации данных (Transform), приложения/скрипты .qvs для сборки QVD для конечных аналитических приложений.

Возможная структура папок для хранения QVD-файлов:

• DataSource
  
  • RawQVD – по каждой системе создается отдельная папка в директории RawQVD и в нее выгружаются таблицы.
  • RawFiles – В этой директории хранятся файлы, которыми управляет отдел Qlik Sense. Это могут быть файлы с настройками, временные справочники Excel, специфические меппинги.
  • DataTier1 – в этой директории находятся файлы QVD, которые прошли первичную обработку в процессах обработки данных. На этом этапе в документы добавляются товары, в справочники добавляются различные атрибуты, флаги. Производится расшифровка перечислений (например, для 1С Предприятия) и т.д. Обычно в DataTier1 данные хранятся также по папкам с названиями систем учета.
  • DataTier2 – Агрегированные данные на основе данных DataTier1 из нескольких источников данных. Здесь QVD файлы группируются по тематике, например, продажи, остатки и т.д.
  • DataTier3 – 

4. На четвертом этапе идет основная работа с данными. Строится процесс выгрузки данных из источников. Это может быть одна база данных или несколько баз данных. При этом в качестве источника данных может выступать облачный сервис (bitrix24, amocrm, мойсклад и т.п.).

4.1. Разработка Extractor на Qlik

Виды Extractor (выгрузки)

1. Выгрузка полной таблицы из базы данных и сохранение в формате QVD. Подходит для источников данных с небольшим объемом данных (нужно учитывать скорость наполнения базы данных, при этом объем транзакций год из года приростает), справочников из ERP систем. Данные выгружаются 1 в 1 с минимальными преобразованиями форматов, без агрегирования и доп.расчетов.
2. Инкрементальная выгрузка данных из DataBase учетных систем. Здесь не всегда так просто. Во-первых, в учетной системе должны каким-то образом помечаться измененные записи, а также должна быть дата создания сущности. Для таких целей подойдут поля [Дата создания] и [Дата модификации]. Если нет полей, по которым можно было бы установить список измененных сущностей (документов, проводок), то придется делать инкрементальную загрузку по периодам (т.е. принимать, что данные в старом периоде, например, которые создавались больше года или полугода назад не изменяются). И перегружать только скользящий период год или полгода.
   Почитать про инкрементальную загрузку можно здесь https://ivan-shamaev.ru/practical-issues-in-qlikview-part-2/#___Incremental_Load
   Во-вторых, придется всегда иметь возможность выгрузить систему полностью (на случай, если все данные “испортились” по каким-то чрезвычайным причинам).
   В-третьих, инкрементальная загрузка требует больших трудозатрат в поддержке и разработке (но она дает выигрыш в скорости).

Очень часто обычную и инкрементальную выгрузку данных комбинируют. Самые большие данные переводят на инкремент, данные не критичные – выгружают в полном объеме.

4.2. Итак, после того, как Вы выгрузили данные из базы данных или облачного сервиса в QVD файлы, затем необходимо эти данные обработать (очистить, рассчитать показатели, агрегировать, обогатить дополнительными атрибутами, разметить флагами и т.д.) и положить обработанные данные в отдельный слой (например, DataTier1). Эти трансформированные данные Вы загружайте непосредственно в саму модель Qlik Sense или создаете ещё один дополнительный слой данных со сложными расчетами для конкретной модели данных.

Самое главное – не дублировать одинаковые данные в слоях. При повышении уровня слоя данные должны агрегироваться (группироваться). Нижние слои являются более общими, верхние слои – конкретно для каждой модели данных (или по направлениям анализа).

5. Проектируем слои приложения. Вот пример структуры аналитического приложения Qlik Sense:

• Дашборд (KPI, тренды, сигналы)
• Слой-аналитика (графики, диаграммы, пузырьки и т.п.)
• Слой-гибкий анализ / конструктор отчетов (Ad-hoc анализ)
• Слой детальные данные (Таблицы и сводные таблицы, подсвечиваемые поля, статические отчеты)

Лайфхак для прототипирования в небольших проектах: В качестве инструмента прототипирования для визуализации можно использовать сам Qlik Sense. При этом сложные вычисления Вы не прописываете, а заменяете константами. При этом Ваш прототип будет максимально приближен к функциональности конечного продукта

Пример прототипа на Qlik Sense:

6. Успешность проекта зависит от правильности организации по нескольким направлениям -данные, скрипты (написание, комментарии и т.д.), организация ETL, методологии расчетов:

• Качество данных – качество любого аналитического приложения в первую очередь зависит от того, насколько хорошо выстроены процессы фиксирования данных в учетных системах. Если в системах много дублей, много криво заполненных справочников, есть пустые документы, не проставлены те или иные атрибуты в справочниках, то очень много усилий придется потратить на то, чтобы собрать полноценную аналитическую модель с минимальными погрешностями в расчетах.
• Качество методологий учета, расчетов – прежде чем разрабатывать сложную модель для анализа или исследования данных, необходимо (хотя бы кратко) описать методологию расчетов. Можно все расчеты спроектировать в Excel и отдать его разработчику (иногда это самый подходящий и быстрый вариант).
  Что такое методология расчета? В первую очередь под этим я понимаю описание расчета того или иного показателя. Как в процессе расчета осуществляются группировки, как обрабатываем нули, как округлять данные, как обрабатывать деление на ноль и т.п. вопросы.
  В случае расчета суммы продаж методология расчета не требуется, а вот в случае расчета сопоставимых продаж за период (Like-For-Like) – требуется, т.к. возникает очень много вопросов. Или например как посчитать ROI по мероприятию или по акции. Самым лучшим решением – это когда бизнес-пользователь проделывает в Excel расчеты руками на одном клиенте, 1 акции (т.е. берет ограниченный объем данных и на нем строит модель, корректирует методику, делает проверку, утверждает ее со своим руководством или владельцем бизнеса и только потом отдает на автоматизацию расчетов). Но этот идеальный случай встречается редко и зависит от вменяемости бизнес-пользователя.
• Качество окружения QS (скрипты, изменения, аудит изменений, анализ загрузки ресурсов и т.д.) – от того, насколько правильно структурировано пространство QS, зависят накладные расходы на поддержку решения Qlik Sense. Очень важно оставлять комментарии в скриптах, создать инструмент для отслеживания процессов загрузки данных. Если сразу придерживаться строгих правил порядка, то потом при быстром масштабировании Вам будет легче управлять всей инфраструктурой.

Qlik Deployment Framework

Размышления консультанта “ВСЛУХ”

Возможно кому-то мои рассуждения покажутся “водой”, возможно кто-то сделает заметку, кто-то пройдет мимо, кто-то добавит в комментариях свои мысли. Главное – это просто мысли, мои заметки, которыми я хочу поделиться.

Об отчетах

В компании может быть все плохо, но отчеты об этом могут не говорить. Истинные проблемы начинают всплывать, когда компания начинает генерировать убытки.

В компании может быть 1-3 отчета и из них может быть многое понятно о текущих делах. А может быть десятки отчетов, из которых ничего не понятно (куда смотреть, с чем нужно работать, куда прикладывать усилия). Для работы с отчетами в таких случаях требуется штат аналитиков, которые будут сидеть и обрабатывать автоматически рассылаемые отчеты.

Направление аналитики должно спускаться сверху, причем именно верхнеуровневые показатели должны показываться руководству с графическими представлениями. Руководитель должен открыть дашборд или отчет и дать указание подчиненным руководителям или линейным сотрудникам, что необходимо улучшить в компании. Или какой фронт работы выполнить.

Качество приложения Qlik Sense

Качество приложения Qlik Sense зависит напрямую от качества ваших учетных данных. Очень хорошие данные (структурированные, без мусора, без дублирования, без двоякости и т.п.) = ОТЛИЧНОЕ ПРИЛОЖЕНИЕ QLIK SENSE.

Очень плохое качество данных (пропуски, дублирование, кривая инфа, несоответствия, пустоты, кривые справочники, кривые документы, 100500 способов представления одних и тех же отчетов, но с разными значениями) – ужасная аналитика, ужасный ETL, ужасное приложение, ужасный ROI от бизнес-аналитики?

Куча рассылаемых отчетов Excel – интерес руководителей, но не владельцев компании

Согласитесь, что подделать сложный / запутанный отчет гораздо проще, чем манипулировать данными аналитических панелей. Любая прозрачность данных “больного бизнеса” – это риск для среднего и высшего руководства компании. Они понимают, что владельцы сразу же придут к ним, если у владельца будет под рукой удобный аналитический инструмент. 

Исходя из этих предпосылок, можно предположить, что руководство (не владельцы) никогда не будут заинтересованы в разработке прозрачных дашбордов, с понятными и простыми сигналами “что не так” и “что нужно делать”. Они будут заинтересованы только в том, чтобы максимально неудобно представить данные, из которых сложно сделать “нужные выводы”.

Скорей всего это связано с тем, что люди, которые ставят ТЗ на разработку отчетов не имеют премий от прибыли компании, или от снижения издержек. Самая главная их задача – на совещаниях с умными лицами презентовать очередную порцию “умных отчетов”, чтобы их ценили за объемы аналитической работы.

Запомните – владельцам бизнеса нужен сигнал (светофор), чтобы понять, нужно ли кого-то пнуть, чтобы красный свет загорелся хотя бы на желтый, а в лучшем случае на зеленый.

Построить такой отчет очень сложно, т.к. нужно думать, гораздо проще придумать мудренную Excel с кучей столбцов и строк, которые зачастую между собой никак не коррелируют.

Создавайте базу знаний о бизнес-процессах в компании, делайте внутреннюю wiki

Очень часто и в разных компаниях видел ТЗ, в которых присутствует огромная куча различной терминологии, сокращений, формул, которые никак не расшифровываются и не поясняются развернуто.

Плюс очень часто в компании тот или иной бизнес-процесс может быть запутанным и нигде не описанным. Начиная разработку специалист шерстит всевозможные документы, письма, опрашивает коллег по тому или иному термину.

Приходит новый специалист и “исследовательская” работа повторяется снова.

Выход – создать внутреннюю базу знаний о бизнес-процессах в компании. Не называя имен компаний, я назову позитивные фишки, с которыми я встречался при устройстве в ту или иную компанию (ну или мои предположения, как это может выглядеть иначе в других компаниях):

1. При выходе на работу Вам приходит ссылка на обзорный курс про особенности бизнеса (компании), особенности рынка. Описываются основные бизнес-процессы (укрупненным планом). Описываются основные бизнес-термины. После прохождения курса можно пройти более углубленный курс, например, по расчетам тех или иных показателей бизнеса.
2. Возможность поработать 1 день на передовой бизнеса (фронт-офис) или посетить демо фронт-офис, в котором “как в жизни” можно понять что и как происходит.
3. При выходе на работу в первый день Вам приходит ссылка на страницу в wiki, где в неформальном виде описана вся движуха в компании, отделы и т.п. Неформальный стиль изложения – легкость восприятия информации.
4. Схемы, блок-схемы, потоки данных – иными словами наглядность информации, что происходит в компании.
5. Наличии системы управления требованиями, культура написания ТЗ. Когда Вам приходится искать то или иное требование в почте – это самое плохое, что только можно представить. А еще хуже, когда часть находится в почте, часть в мессенджере, часть в системе управления проектами и т.д.
6. База знаний запросов к системам. Один раз написали запрос – сохранили в базу с осмысленным заголовком и описанием, дальше другой сотрудник может этим запросом воспользоваться (если у него есть доступ к БД).

Здравый смысл

Оценивайте полученные результаты, показатели, отчеты на здравый смысл. Если Вы получили ROI = 500%, то очень вероятно стоит перепроверить (и желательно 2 раза) методику расчета показателя. Если показатель дает очень расплывчатый результат, то стоит ли этот показатель считать? Это как по популяции кроликов в южном округе оценивать спрос на мясо кроликов по стране. Проще потратить силы на отчет P&L, и понять откуда приходят деньги и куда уходят, чем заниматься пространственной аналитикой.

Методология расчета и реальная жизнь

Просите методолога/заказчика на основе его алгоритма сделать предварительный расчет в Excel. Так Вы сможете оценить жизнеспособность методологии расчета.
Разработка отчета в Qlik = 60 часов (например), предварительный расчет в Excel = 4-8 часов (со сбором данных)

Сообщение Этапы проекта Qlik Sense. Краткий обзор состава работ по проекту появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Генерация данных Qlik Sense

Для начала сгенирируем данные для модели. Используем календарь Qlik Sense и генерацию элементов справочников в цикле:

SET ThousandSep=' ';
SET DecimalSep=',';
SET MoneyThousandSep=' ';
SET MoneyDecimalSep=',';
SET MoneyFormat='# ##0,00 ₽;-# ##0,00 ₽';
SET TimeFormat='h:mm:ss';
SET DateFormat='DD.MM.YYYY';
SET TimestampFormat='DD.MM.YYYY h:mm:ss[.fff]';
SET FirstWeekDay=0;
SET BrokenWeeks=1;
SET ReferenceDay=0;
SET FirstMonthOfYear=1;
SET CollationLocale='ru-RU';
SET CreateSearchIndexOnReload=1;
SET MonthNames='янв;фев;мар;апр;май;июн;июл;авг;сент;окт;ноя;дек';
SET LongMonthNames='январь;февраль;март;апрель;май;июнь;июль;август;сентябрь;октябрь;ноябрь;декабрь';
SET DayNames='пн;вт;ср;чт;пт;сб;вс';
SET LongDayNames='понедельник;вторник;среда;четверг;пятница;суббота;воскресенье';
SET NumericalAbbreviation='3:тыс.;6:млн.;9:млрд.;12:трлн.;15:P;18:E;21:Z;24:Y;-3:m;-6:μ;-9:n;-12:p;-15:f;-18:a;-21:z;-24:y';

//Формирование календаря
QuartersMap:  
MAPPING
LOAD rowno() as Month,  
     'Кв.' & Ceil (rowno()/3) as Quarter  
AUTOGENERATE (12);

Let varMinDate 	= Num(MakeDate(2017,1,1));
Let varMaxDate 	= Num(Today());
      
TempCalendar:  
LOAD $(varMinDate) + Iterno()-1 As Num,  
     Date($(varMinDate) + IterNo() - 1) as TempDate
AutoGenerate 1
While $(varMinDate) + IterNo() -1 <= $(varMaxDate);  
      
Календарь:  
Load 
     Date(TempDate) 															As Дата,
     week(TempDate) 															As Неделя,
     Month(TempDate) 															As Месяц,
     Text(SubField(Date(TempDate,'DD MMMM YYYY'),' ',2))						As МесяцПолный,
     ApplyMap('QuartersMap', month(TempDate), Null()) 							As Квартал,
     Year(TempDate) 															As Год,
     Day(TempDate) 																As НомерДень,
     Week(weekstart(TempDate)) & '-' & WeekYear(TempDate) 						As НеделяГод,
     Month(TempDate) & '-' & Year(TempDate) 									As МесяцГод,
     ApplyMap('QuartersMap', month(TempDate), Null()) & '-' & Year(TempDate) 	As КварталГод,
     WeekDay(TempDate)													 		As ДеньНедели
Resident TempCalendar  
Order By TempDate ASC;

Drop Table TempCalendar;

// Генерация справочников
For i=1 to 15
  Контрагенты:
  Load
       $(i)	As [Контрагент ID],
       'Контрагент $(i)' As [Контрагент Наименование]
  AutoGenerate 1;
Next i

For i=1 to 20
  Товары:
  Load
       $(i)	As [Товар ID],
       'Товар $(i)' As [Товар Наименование]
  AutoGenerate 1;
Next i

GenerateFact:
LOAD [Контрагент ID]
Resident Контрагенты;

JOIN (GenerateFact)
LOAD [Товар ID]
Resident Товары;

JOIN (GenerateFact)
LOAD Дата
Resident Календарь;

NoConcatenate
Fact:
LOAD 
     [Контрагент ID], 
     [Товар ID], 
     Дата,
     Rand()*(Rand() + Rand()*Rand())*(4000-4000*Rand()) + Rand()*100 - Rand()*50 as Продажи
Resident GenerateFact;

DROP Table GenerateFact;

Загружаем данные, получится такая вот модель Qlik Sense:

Создаем панель сравнения продаж по двум периодам

Первым шагом необходимо создать 2 состояния в режиме правки листа (Основные элементы -> Другие состояния):

• ВыборкаДаты1
• ВыборкаДаты2

Затем используем элемент Qlik Dashboard bundle -> Date Picker (выбираем дату и в свойствах “Другие состояния” выбираем ВыборкаДаты1). Создаем два элемента Date Picker (второй настраиваем с состоянием ВыборкаДаты2):

Затем формируем таблицу: в измерении Контрагент, в мерах создаем следующие выражения:

Выражение 1:

sum({<Дата=[ВыборкаДаты1]::Дата>} [Продажи])

Метка для выражения 1:

='Продажи '&min({[ВыборкаДаты1]} Дата)&' - '&max({[ВыборкаДаты1]} Дата)

Для выражения 2 делаем все по аналогии, только используем состояние [ВыборкаДаты2].

Скачать пример Qlik Sense со сравнением двух периодов

Сообщение Сравнение двух периодов в Qlik Sense & Date Picker появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Пример вычислений:

text(100.15481818184)+1 = 
Num(text(100.15481818184))+1 = 
Num#(text(100.15481818184))+1 = 101,15481818184
Num#(text(-100.15481818184))+1 = -99,15481818184

Сообщение String/Text To Number (строка в число) Qlik Sense появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Итак, код для Qlik Sense Script:

LOAD
    text([@1:n]) as строка,
    rowno() as rownum,
    if(text([@1:n]) like '??:??',1,0) as [время флаг]
FROM [lib://source/расходы.txt]
(fix, utf8, no labels)
where text([@1:n])<>''
;

А вот и результат парсинга:

Т.е. теперь с помощью знака вопроса ‘?’ Вы можете задавать шаблон строки, размещая нужные знаки в порядке, который Вам нужен. Например, Вы знаете, что номера заказов заданы в формате ‘???-???-?????’, вбиваете этот шаблон в скрипт и начинаете парсить. Опять же, этот подход нужен для парсинга тестовых файлов, отрытых источников данных, где нет структуры данных.

И немного про парсинг:

Парсинг – это вычленение данных из неструктурированных источников данных (txt, комментарии документов, Html, информация из социальных сетей, api) и запись данных в структурированном и форматированном виде (текст, дата, число, деньги и т.п.)

Сообщение Qlik Sense Search-Parsing Template String или Поиск по шаблону появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Вводные данные: у нас есть таблица с полями Наименование и Артикул, выражение остатки.

Выражение средней сложности (показываются остатки, которые больше 20):

if(Sum([Остаток товара])>20,Sum([Остаток товара]), null())

Создадим фильтр с выражением:

=Aggr(if(Sum([Остаток товара])>20,Sum([Остаток товара]), null()),[Наименование],Артикул)

Результат “До применения выборки”

Результат “После применения выборки”

Скачать пример

Сообщение Как создать фильтр по выражению таблицы Qlik Sense появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Пару слов о Timestamp – Это число с дробной частью, которое соответствует какой-то дате со временем. Т.е. это число можно представить в нужном формате Дата-Время.

Дата – это целая часть числа с дробной частью (про даты речь пойдет дальше). Время – это дробная часть числа (все, что после разделителя).

1 секунда ~ 0,0000115740740740740
23 часа 59 минут 59 секунд = 0,99998842592593

Шаг 1. Учимся понимать даты. Как хранятся даты в Qlik Sense

Для того, чтобы научиться работать с датами в Qlik Sense, необходимо понять исходный формат хранения дат.

Дата в Qlik – это целое число, которое может быть загружено в модель в формате даты, например, 20/03/2019 или 20.03.2019, или 20-03-2019, или 20+03+2019 (все зависит от Ваших потребностей и фантазии). Если данные с датами загружаются из файла, где формат даты уже задан, то этот формат будет загружен в модель. Если данные загружаются не из QVD файлов, а из сторонних файлов/систем/баз данных, то рекомендуется делать преобразование:
Формат даты источника данных => Число => Формат даты Qlik Sense.

Если избегать преобразования даты в число, а затем в дату, то можно наткнуться на следующие проблемы:

• Загрузка в модель даты в исходном формате хранения (целое число);
• Загрузка даты как текстового поля.

Что такое исходный формат хранения даты? Дата в Qlik Sense – это целое число. Проверить это можно с помощью формул в Qlik Sense приложении (например вбить в текстовом объекте листа формулу =Date(3000)).

Исходный формат даты в Qlik – целое число:

Date(-693959) = 01.01.0000
Date(-100000) = 16.03.1626
Date(-10000)  = 13.08.1872
Date(-5000)   = 22.04.1886
Date(-1000)   = 04.04.1897
Date(-2)      = 28.12.1899
Date(-1)      = 29.12.1899
Date(0)       = 30.12.1899
Date(1)       = 31.12.1899
Date(2)       = 01.01.1900
Date(43500)   = 04.02.2019

Шаг 2. Формат даты. Настройка формата даты по умолчанию

Настройка системной переменной “Формат даты по-умолчанию”

Формат даты по умолчанию в рамках 1 приложения настраивается с помощью переменной на вкладке MAIN в скрипте:

SET DateFormat='DD.MM.YYYY';

К этой настройке относитесь очень внимательно, т.к. функции дат, например Date(), без обозначения формата даты используют формат даты по-умолчанию.

Формат даты. Примеры

Рассмотрим примеры записи форматов даты:

Date(43500,'DD.MM.YYYY') = 04.02.2019
Date(43500,'DD.MM.YY')   = 04.02.19
Date(43500,'DDMMYYYY')   = 04022019
Date(43500,'DD/MM/YYYY') = 04/02/2019
Date(43500,'DD+MM+YYYY') = 04+02+2019
Date(43500,'DD|MM|YYYY') = 04|02|2019
Date(43500,'DD MM YYYY') = 04 02 2019

Date(43500,'DD.MMM.YYYY') = 04.февр..2019
Date(43500,'DD MMM YYYY') = 04 февр. 2019
Date(43500,'DD/MMM/YYYY') = 04/февр./2019
Date(43500,'D/MMM/YYYY')  = 4/февр./2019
Date(43500,'D MMMM YYYY') = 4 февраль 2019
Date(43500,'D MMMM YY')   = 4 февраль 19

Date(43500,'YYYY.MM.DD') = 2019.02.04
Date(43500,'YYYYMMDD')   = 20190204
Date(43500,'YYYY-MM')    = 2019-02
Date(43500,'YYYY-DD-MM') = 2019-04-02

Шаг 3. Топ 16 функций для Script (ETL – выгрузки, преобразования данных и загрузки в модель)

В рамках краткого обзора функций для преобразования дат, я рассмотрю наиболее часто используемые на практике функции. На самом деле, таких функции очень много. Полный список можно посмотреть в официальном Qlik Sense HELP.

Понимание основ работы с данными и знание нескольких функций закроет на первое время все потребности при разработке скриптов загрузки данных.

Обзор функций трансформации дат

Функции нужны для преобразования дат, форматов, вычленения из даты года, месяца, дня, номера недели. К дате можно прибавить заданное количество дней, месяцев или лет. Для начала я кратко опишу каждую функцию и приведу примеры использования этих функций. Затем я рассмотрю несколько кейсов работы с датами в нестандартных случаях.

Мой топ функций для работы с датами:

1. Floor() – из числа с дробной частью (дата и время) оставляет только целую часть, что соответствует дате. Иногда требуется в скриптах, если нет уверенности, что поле в источнике содержит “чистую” дату, без составляющей времени. Или если из формата даты и время требуется получить дату.
2. Date#() – читает/парсит строку в заданном формате и преобразует в понятный формат даты Qlik Sense (т.е. текстовая строка будет загружена как дата, а храниться будет как строка). Например, Date#(‘2019-01-21′,’YYYY-MM-DD’) будет загружено в Qlik Sense не как текстовая строка, а как дата 2019-01-21 (в скобках указано правило, по которому Qlik Sense интерпретирует строку в дату);
3. Date() – задает нужный формат для поля типа “Дата” (т.е. значение хранится как число в заданном формате, а функция Date() изменяет формат, если это необходимо, либо присваивает формат по-умолчанию). Пример использования
   Date(Date#(‘2019-01-21′,’YYYY-MM-DD’),’DD/MM/YYYY’) = 21/01/2019
   или
   Date(Date#(‘2019-01-21′,’YYYY-MM-DD’)) = 21.01.2019 (если в приложении дата по-умолчанию задана в формате DD.MM.YYYY);
4. MakeDate() – с помощью этой функции можно сделать дату из года, месяца и дня. Например:
   • MakeDate(2019) = 01.01.2019
   • MakeDate(2019,2) = 01.02.2019
   • MakeDate(2019,3,24) = 24.03.2019
5. Today() – функция возвращает текущую дату. Функцию можно использовать как в скрипте, так в выражениях диаграммы. У функции есть параметр timer_mode, полный синтаксис функции Today(timer_mode). Time_mode может принимать 3 значения:
   • 0 (день последней завершенной загрузки данных). Today(0) Возвращает день последней завершенной загрузки данных.
   • 1 (день вызова функции). При использовании в выражении диаграммы будет возвращен день вызова функции. При использовании в скрипте загрузки будет возвращен день начала текущей загрузки данных.
   • 2 (день открытия документа). Возвращает день открытия документа.
   • По-умолчанию time_mode = 1, т.е. Today() = Today(1)
6. Комбинации Left()/Right()/Mid() и Date#() & Date() – если дата представлена как текстовая строка, но помимо даты в строке содержится другая информация, то вычленить дату из строки можно следующим способом.
   1. Сначала получаем подстроку с помощью функций Left()/Right()/Mid(). Например:
      • Left(‘20190105 YhfIY17 0038473’,8) = 20190105
      • Right(‘YhfIY17 0038473 2019-01-05’,10) = 2019-01-05
      • Mid(‘YhfIY17 2019-01-07 0038473’,index(‘YhfIY17 2019-01-07 0038473′,’ ‘)+1,10) = 2019-01-07
   2. Затем строка преобразуется (считывается) в дату с помощью функции Date#() и устанавливается новый формат отображения даты с помощью функции Date()
      • Date#(Right(‘YhfIY17 0038473 2019-01-05′,10),’YYYY-MM-DD’) = 2019-01-05
      • Date(Date#(Right(‘YhfIY17 0038473 2019-01-05′,10),’YYYY-MM-DD’),’YYYY/MM/DD’) = 2019/01/05
7. AddMonths() – с помощью этой функции можно добавить или вычесть заданное число месяцев к дате. Например,
   • AddMonths(MakeDate(2018,5,31),-3) = 28.02.2018
   • AddMonths(MakeDate(2018,5,31),-1) = 30.04.2018
   • AddMonths(MakeDate(2018,5,31),0) = 31.05.2018
   • AddMonths(MakeDate(2018,5,31),3) = 31.08.2018
   • AddMonths(MakeDate(2018,5,31),4) = 30.09.2018
8. AddYears() – добавляет или вычитает заданное количество лет к дате. Например, AddYears(MakeDate(2018,5,31),1) = 31.05.2019
9. Month() – с помощью этой функции можно получить название месяца (берется из системной переменной MonthNames, которая задается в скрипте).
   • Month(MakeDate(2018,5,31)) = май
   • Num(Month(MakeDate(2018,5,31))) = 5
10. MonthName() – функция возвращает месяц и год.
    • MonthName(MakeDate(2018,5,31)) = май 2018
11. MonthStart() – возвращает первый день месяца
    • MonthStart(MakeDate(2018,5,31)) = 01.05.2018
12. MonthEnd() – возвращает последний день месяца
    • MonthEnd(MakeDate(2018,5,31)) = 31.05.2018
13. Year() – возвращает год
    • Year(MakeDate(2018,5,31)) = 2018
14. Week() – возвращает номер недели
    • Week(MakeDate(2018,5,31)) = 22
15. WeekDay() – возвращает день недели из системной переменной DayNames (см. скрипт)
    • WeekDay(MakeDate(2018,5,31)) = чт
16. Day() – возвращает день из даты
    • Day(MakeDate(2018,5,31)) = 31

Подробнее про Date# и Date с примером

Date#() используется для интерпретации данных. Например

Date#('2018_24_10','YYYY_DD_MM')

говорит о том, что первые четыре цифры – это год, цифры между двумя ‘_ – это дата, а последние две – месяц. Причем, функция Date# не меняет формат даты, т.е. дата просто будет переведена из текста в число по правилу ‘YYYY_DD_MM’

Date() используется, чтобы сказать, как показать данные. Например:

Date(Today(),'YYYY^DD^MM') возвращает 2019^08^05
Date(Today(),'MM/DD/YY') возвращает 05/08/19

Сочетание обеих функций:

Date(Date#('2018_24_10','YYYY_DD_MM'),'MM/DD/YYYY') возвращает 10/24/2018

Длинное название месяца

Для того, чтобы получить длинное название месяца, необходимо применить следующий код (длинное название месяца берется из системной переменной LongMonthNames):

Text(Date(MakeDate(2018,9,21),'MMMM YYYY'))

Это выражение вернет ‘сентябрь 2018’. Обязательно оборачивайте в Text, иначе будет ошибка. Объясняю почему:

Date(MakeDate(2018,9,21),’MMMM YYYY’) тоже вернет ‘сентябрь 2018′, но храниться будет как дата 21.09.2018. И если Вы сравните две даты ’22 сентября 2018′ и ’21 сентября 2018’, то в формате ‘MMMM YYYY’ они будут не равны.

if(
    Date(MakeDate(2018,9,21),'MMMM YYYY')=Date(MakeDate(2018,9,22),'MMMM YYYY'),
    1,
    0
)

Результат: 0, т.е. ложь.

if(
    Text(Date(MakeDate(2018,9,21),'MMMM YYYY'))=Text(Date(MakeDate(2018,9,22),'MMMM YYYY')),
    1,
    0
)

Результат: 1

Вывод “Месяц Год” и “Неделя Год” в числовом формате

Пример 1:

Num#(Date(MakeDate(2019,4,19),'MMYYYY')) //Вернет 042019

Пример 2:

Num#(Week(MakeDate(2019,4,19))&Year(MakeDate(2019,4,19))) //Вернет 162019

Определить максимальную и минимальную даты периода отчета. Вывод в переменную

Иногда требуется в отчете вывести период, за который он был сформирован. Например, отчет за предыдущую неделю.

В скрипте определяем переменную Прошлая Неделя:

LET vReportWeekPeriod = Num#((Week(Today())-1)&Year(Today()));

В календаре есть поле НеделяГод, с помощью этого поля определяем минимальную и максимальную даты (функция Date используется для форматирования даты в нужном виде, т.е. ‘DD.MM.YY’):

='Отчет. Период '&
Date(min({<НеделяГод={'$(vReportWeekPeriod)'}>} Дата),'DD.MM.YY')
&'-'&
Date(max({<НеделяГод={'$(vReportWeekPeriod)'}>} Дата),'DD.MM.YY')

Пример использования агрегации данных по неделям (advanced scripting)

Если нужно упорядочивать записи по неделям, то рекомендую использовать формат ГодНеделя, причем неделя должна быть записана как 201901 и 201911 (т.е. два знака). В скрипте этот прием использован:

[TEMP Кол-во отгрузок По неделям]:
LOAD 
    [Клиент ID], 
    Неделя, 
    [КлиентНеделяID],
    count(DISTINCT [Документ ID]) As [Количество Отгрузок Неделя]
Group By [Клиент ID], Неделя, [КлиентНеделяID];
LOAD 
    Distinct
    [КлиентНеделяID],
    [Клиент ID],
    Num#(Year(Дата)&if(Len(Week(Дата))=1,'0'&Week(Дата),Week(Дата)))	As Неделя,
    [Документ ID]
Resident [Факты];

NoConcatenate
[Номер отгрузки по неделям]:
LOAD
    if([Клиент ID]=Previous([Клиент ID]),
    RangeSum(Peek('Номер отгрузки по неделям'), 1),
    1
    )										As [Номер отгрузки по неделям],
    [КлиентНеделяID]
Resident [TEMP Кол-во отгрузок По неделям]
Order By [Клиент ID], Неделя
;

DROP Table [TEMP Кол-во отгрузок По неделям];

Создание переменных с датами

//Переменная Скрипта Qlik Sense - вчерашняя дата
LET vTodayReport_Date = Date(Today()-1);

//Переменная Скрипта Qlik Sense - дата "неделя назад"
LET v7DaysAgoReport_Date = Date(Today()-7);

//Переменная Скрипта Qlik Sense - дата "45 дней назад"
LET v45DaysAgoReport_Date = Date(Today()-45);

//Переменная Скрипта Qlik Sense - дата "месяц назад"
LET v1MonthAgoReport_Date = AddMonths(Today(),-1);

//Переменная Скрипта Qlik Sense - дата "3 месяца назад"
LET v3MonthsAgoReport_Date = AddMonths(Today(),-3);

//Переменная Скрипта Qlik Sense - дата "год назад"
LET v1YearAgoReport_Date = AddYears(Today(),-1);

Добавить в формат даты неделю. Длинный формат месяца в дате Qlik Sense

Формат длинных названий месяцев задается на вкладке Main с помощью системных переменных. Значения этих переменных задается по-умолчанию при создании приложения:

SET MonthNames='янв.;февр.;мар.;апр.;мая;июн.;июл.;авг.;сент.;окт.;нояб.;дек.';
SET LongMonthNames='январь;февраль;март;апрель;май;июнь;июль;август;сентябрь;октябрь;ноябрь;декабрь';

Рекомендую заменить их на следующие значения (точки будут портить вид при формате DD.MMM.YYYY):

SET MonthNames='янв;фев;мар;апр;май;июн;июл;авг;сен;окт;ноя;дек';
SET LongMonthNames='января;февраля;марта;апреля;мая;июня;июля;августа;сентября;октября;ноября;декабря';

Формат даты с названием дня недели:

//Формат даты "11 июн 2019 (вт)"
Date(Today(),'DD MMM YYYY (WWW)')

//Формат даты "11 июн 2019 (вторник)"
Date(Today(),'DD MMM YYYY (WWWW)')

//Формат даты "11 июня 2019 (вторник)"
Date(Today(),'DD MMMM YYYY (WWWW)')

Манипуляции над датами в скрипте через переменные

LET пГодУстановка = 2017;                               // 2017
LET пФильтрДата = MakeDate(пГодУстановка);              // 01.01.2017
LET пФильтрДатаПрошлыйГод = MakeDate(пГодУстановка-1);  // 01.01.2016

Шаг 4. Использование функций в выражениях (визуализации)

todo

Шаг 5. Кейсы/примеры работы с датами в Qlik Sense

Кейс 1. Обработка дат с английскими названиями месяцев

Данные хранятся в датах англоязычного календаря. Нужно произвести преобразование в русский формат даты:

Для преобразования используем следующий скрипт (с меппингом):

[MAP Месяц в число]:
Mapping
LOAD * Inline [
	Месяц, Месяц номер
	january, 1
	february, 2
	march, 3
	april, 4
	june, 6
	july, 7
	august, 8
	september, 9
	october, 10
	november, 11
	december, 12
];

Данные:
LOAD 
     Дата                            As [Дата исходная], 
     SubField(Дата,' ',1)            As День,
     lower(SubField(Дата,' ',2))     As Месяц,
     ApplyMap('MAP Месяц в число',lower(SubField(Дата,' ',2)),'#Не определено#')                        As МесяцНомер,
     SubField(Дата,' ',3)            As Год,
     Date(
     	MakeDate(
            	SubField(Дата,' ',3),
                ApplyMap('MAP Месяц в число',lower(SubField(Дата,' ',2))),
                SubField(Дата,' ',1)
                )
          	,'DD.MM.YYYY'
          ) 			As Дата
FROM [lib://excel_date/TB01_20190404_054148.xlsx]
(ooxml, embedded labels, table is [Sheet1 (2)]);

Получаем вот такой результат:

Шаг 6. Best Practice – Рекомендации по работе с датами в QS/QlikSense/Qlik Sense/Клик Сенс

1. В выражениях диаграмм (в том числе в Set Analysis) стремитесь использовать переменные с датами. Это позволит минимизировать издержки на поддержку отчетов в Qlik Sense.
2. …

Инструкции по работе с датами в QlikView и Qlik Sense

Сообщение Qlik Sense: Основы работы с датами. Обзор Топ 16 функций появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Qlik Sense #1 обучение, что такое, клик сенс, источники данных

Qlik Sense #2 диаграммы объекты, как сделать первое приложение, как загрузить данные

Qlik Sense #3 где лежат приложения Qlik Sense, где файлы Qlik Sense

Qlik Sense #3 5 чарты объекты диаграммы Qlik Sense как настроить

Qlik Sense #4 Создание собственных мер измерений Qlik Sense, вычисления в приложении Qlik Sense

Qlik Sense #5 Вычисления в скрипте загрузки данных

Qlik Sense #6 Ключевые поля Qlik Sense Как связать разные таблицы Qlik Sense

Qlik Sense #7 Как работать с датами и временными отрезками в Qlik Sense Главный календарь Master Cal

Сообщение Обучение по Qlik Sense, курс начинающего аналитика Клик Сенс появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.