nebula.js представляет собой набор библиотек JavaScript, визуализаций и интерфейсов командной строки, которые помогают разработчикам создавать и интегрировать визуализации поверх ассоциативного движка Qlik.

Коллекция организована в @nebula.jsрамках области в виде пакетов npm. Основной пакет @nebula.js/stardustсодержит API-интерфейсы для интеграции существующих визуализаций с гибридными приложениями, а также API-интерфейсы для создания пользовательских визуализаций.

EMBEDDING VISUALIZATIONS. ВСТРАИВАНИЕ ВИЗУАЛИЗАЦИЙ

Configuration. Конфигурация

Когда вы создаете веб-сайт, будь то сайт всей компании или небольшой личный проект, у вас, скорее всего, есть свои собственные рекомендации по дизайну, шаблоны и требования UX, и вы захотите применить эти рекомендации к тому, что вы с ним интегрируете; диаграммы должны использовать ваши цветовые схемы, шрифты, языковой стандарт и уважать любые ограничения, которые могут быть у вас на интерактивность. Вы также можете контролировать, как загружаются диаграммы и темы, в зависимости от того, подключено ли ваше решение к сети или нет.

Вы можете управлять большинством из них через Configurationобъект.

Временный конфиг

ConfigurationОбъект является необязательным аргументом , который вы можете предоставить при инстанцировании embedэкземпляра:

import { embed } from '@nebula.js/stardust';

const n = embed(enigmaApp, {
  context: {
    theme: 'dark',
  },
  types: [
    /* types */
  ],
});

n.render(/* chart 1*/);
n.render(/* chart 2*/);

Многоразовая конфигурация

Если вы работаете с несколькими приложениями или хотите иметь несколько разных конфигураций, вам может быть проще сначала создать конфигурации, а затем повторно использовать их.

Создайте файл, baseConfigкоторый выполняет тяжелую работу по регистрации типов и тем:

const baseConfig = embed.createConfiguration({
  types: [
    /* register type once*/
  ],
  themes: [
    /* register themes once*/
  ],
});

Создайте другую конфигурацию, которая наследуется от baseConfig, примените 'dark'тему и установите ограничение, запрещающее выбор:

const noSelectionDark = baseConfig.createConfiguration({
  context: {
    theme: 'dark',
    constraints: { select: true },
  },
});

// render chart with dark theme with no selections allowed
noSelectionDark(enigmaApp).render(/*chart config*/);
noSelectionDark(anotherEnigmaApp).render(/*chart config*/);

Вы также можете напрямую привязать конфигурацию к приложению:

const swedishPink = baseConfig(enigmaApp, {
  context: {
    theme: 'pinkish',
    language: 'sv-SE',
  },
});

swedishPink.render(/* chart config */);

Регистрация типов

Перед визуализацией визуализации ее модуль необходимо загрузить и зарегистрировать. Вы можете загрузить необходимые модули из npm:

$npm install @nebula.js/sn-bar-chart @nebula.js/sn-pie-chart

А потом зарегистрируйте каждого typeиндивидуально:

import barchart from '@nebula.js/sn-bar-chart';
import piechart from '@nebula.js/sn-pie-chart';

embed.createConfiguration({
  types: [
    {
      name: 'bar',
      load: () => Promise.resolve(barchart),
    },
    {
      name: 'pie',
      load: () => Promise.resolve(piechart),
    },
  ],
});

Загрузка на лету

Если вы точно не знаете, какие типы вам нужны, и не хотите устанавливать все, чтобы уменьшить размер вашего пакета, вы можете загрузить визуализации во время выполнения, используя облегченный загрузчик определений асинхронных модулей, например d3-require .

Начнем с установки модуля:

npm install d3-require

а затем настройте его для загрузки модулей из CDN, например https://unpkg.com, а также укажите псевдоним для использования локальной версии @nebula.js/stardust:

import { requireFrom } from 'd3-require';
import * as stardust from '@nebula.js/stardust';

const loadSnType = requireFrom((name) => `https://unpkg.com/@nebula.js/sn-${name}-chart`).alias({
  '@nebula.js/stardust': stardust,
});

Затем вы можете настроить все типы, которые вы ожидаете использовать:

const types = ['bar', 'line', 'pie', 'sankey'].map((t) => ({
  type: t,
  load: () => loadSnType(t),
}));
const baseConfig = stardust.embed.createConfiguration({ types });

Тип загружается с удаленного URL-адреса при первом отображении:

baseConfig(enigmaApp).render({
  type: 'bar',
  fields: ['Product', '=sum(Sales)'],
});

Контекст

При настройке конфигурации вы можете применить, contextкоторый контролирует язык, тему и ограничения в каждой визуализации, которую вы визуализируете:

embed.createConfiguration({
  context: {},
});

Ограничения

Ограничения позволяют указать визуализации на отключение определенных типов взаимодействий и поведения.

Вы можете применить три различных ограничения:

• passive: отключить такие взаимодействия, как всплывающие подсказки.
• active: отключение взаимодействий, влияющих на состояние визуального представления, таких как масштабирование, прокрутка и т. д.
• select: выключить выделение.

{
  context: {
    constraints: {
      active: true,
      passive: true,
      select: true,
    },
  },
};

stardust никоим образом не навязывает эти ограничения, вместо этого разработчик визуализации должен соблюдать и реализовывать их.

Язык

stardust поддерживает 15 языков:

• 'en-US' – Американский английский
• 'sv-SE' – шведский
• 'it-IT' – итальянский
• 'zh-CN' – Упрощенный китайский
• 'zh-TW' – Традиционный китайский
• 'ko-KR' – Корейский язык
• 'de-DE' – Немецкий
• 'es-ES' – Испанский
• 'pt-BR' – Бразильский португальский
• 'ja-JP' – Японский
• 'fr-FR' – Французкий язык
• 'nl-NL' – Голландский
• 'tr-TR' – Турецкий
• 'pl-PL' – польский
• 'ru-RU' – Русский

{
  context: {
    language: 'sv-SE',
  },
};

Тема

Из коробки доступны две основные темы: 'light'и 'dark'.

{
  context: {
    theme: 'dark',
  }
};

Светлая тема

Темная тема

Вы также можете зарегистрировать собственные темы и применить одну из них в контексте:

{
  themes: [{
    id: 'pinkish',
    load: () => Promise.resolve({
      palettes: {
        data: [{
          scale: [
            '#fac6e5',
            '#ff95d6',
            '#e76eb1',
            '#b44772',
          ],
        }]
      }
    })
  }],
  context: {
    theme: 'pinkish'
  }
};

Embedding visualizations. Встраивание визуализаций

Встраивание визуализаций

Вы можете встроить визуализацию двумя способами:

1. На лету
2. Из существующего объекта

Рендеринг выполняется с использованием render()метода экземпляра, возвращаемого embedфункцией, который, как минимум, требует того, в который HTMLElementвы хотите выполнить рендеринг:

import { embed } from '@nebula.js/stardust';

const n = embed(enigmaApp);
n.render({
  element,
  // rest of the config
});

Рендеринг на лету

При рендеринге визуализации на лету вам необходимо указать, что type вы хотите визуализировать:

n.render({
  element,
  type: 'barchart',
});

Некоторые визуализации предъявляют минимальные требования к различным свойствам и / или данным, которые необходимо отображать, и в этом случае вы можете увидеть что-то вроде этого:

Чтобы предоставить визуализацию исходные данные, добавьте в fieldsсвойство измерения и меры данных :

n.render({
  element,
  type: 'barchart',
  fields: ['Region', '=sum(Sales)'],
});

Вы также можете изменить начальные свойства:

n.render({
  element,
  type: 'barchart',
  fields: ['Product', '=sum(Sales)'],
  properties: {
    title: 'Sales by region',
  },
});

Рендеринг из существующих объектов

Если вы уже создали общий объект в своем приложении и хотите его отобразить, вы можете сделать это, предоставив объекту id:

n.render({
  element,
  id: '<ObjectID>',
});

Current app selections. Выборки текущего приложения

Важной частью Qlik является фильтрация данных с помощью выборок. Большинство диаграмм поддерживают выбор в данных, которые они отображают, которые затем отфильтровывают данные и влияют на другие диаграммы, подключенные к той же модели данных.

Панель выбора текущего приложения

На панели выбора текущего приложения отображаются активные в данный момент выборки в указанном приложении. Для рендеринга этого бара вам сначала понадобится HTMLElement:

<div class="curr-selections"></div>

Затем вы можете mountвыбрать пользовательский интерфейс в этом элементе:

const n = embed(enigmaApp);

(await n.selections()).mount(document.querySelector('.curr-selections'));

Без каких-либо выделений должно получиться так:

Когда вы начинаете применять выборки в различных диаграммах, пользовательский интерфейс обновляется, чтобы отразить текущее состояние:

Несколько баров

Если вы подключены к нескольким приложениям, вы можете отобразить текущий выбор в каждом из них, установив панель в разные элементы:

(await embed(enigmaApp).selections()).mount(document.querySelector('.curr-selections'));

(await embed(anotherApp, { context: { theme: 'dark' } }).selections()).mount(
  document.querySelector('.another-curr-selections')
);

DEVELOPING VISUALIZATIONS. РАЗРАБОТКА ВИЗУАЛИЗАЦИЙ

Visualization. Визуализация

Что такое визуализация

Визуализация в контексте этого API представляет собой визуальный вывод некоторых базовых данных, хранящихся в ассоциативной модели данных Qlik. Это может быть почти все, что вы хотите, и оно традиционно разработано для отображения данных в форме диаграммы, таблицы, kpi и т. Д.

Визуализация состоит из двух основных частей:

• backend Generic Object, который описывает свойства этого визуализация и сохраняется в модели данных,
• и внешний интерфейс визуальной части, которая производит рендеринг layout  из Generic Object.

Определение

Минимальная визуализация, которая не содержит никаких данных и ничего не отображает, выглядит так:

export default function () {
  return {
    qae: {
      /* */
    },
    component() {},
  };
}

Здесь component()вы визуализируете визуальную часть, а qaeздесь вы определяете свойства и данные, обрабатываемые ассоциативным механизмом Qlik (QAE).

Rendering. Рендеринг

В componentчасти определения происходит весь рендеринг, это просто функция, которая ничего не возвращает:

export default function () {
  return {
    component() {
      // rendering logic goes here
    },
  };
}

Чтобы отрендерить что-то, что вам нужно для доступа к элементу DOM, которому назначена визуализация, вы можете сделать это, импортировав useElement функцию:

import { useElement } from '@nebula.js/stardust';

Эта функция возвращает простой HTMLElement, который является вашей точкой входа в визуальный мир:

component() {
  const element = useElement();
  element.innerHTML = 'Hello!';
}

useElement– это одна из многих функций, которые удовлетворяют наиболее распространенные требования при разработке визуализации, они позволяют подключаться к ресурсам, предоставляемым обеими stardustсторонами и ассоциативным движком Qlik.

Hooks

Если вы работали с React, вы могли узнать это как хуки . Хуки – это концепция, в которой упор делается на многократно используемые составные функции, а не на классические объектно-ориентированные классы и наследование. Хотя реализация полностью настраивается с использованием настраиваемых хуков, концепция и правила очень похожи, настолько, что вы можете прочитать документацию по крючкам React, чтобы понять, как использовать собственные хуки stardust.

useElement

Вы уже видели useElementкрючок, его единственная цель – предоставить HTMLElement, к которому вы должны прикрепить свои собственные элементы, чтобы сделать ваш контент видимым, в следующем примере для элемента innerHTMLустановлено значение Hello!:

component() {
  // get the element
  const element = useElement();
  // set element content
  element.innerHTML = 'Hello!';
}

Однако статическая строка не даст многого, в большинстве случаев вы обновляете контент на основе ввода данных, состояния компонентов и взаимодействия с пользователем.

component()Функция выполняется каждый раз , когда что – то , что может быть связано с вашими изменениями рендеринга; тема, модель данных, выбор данных, состояние компонента и т. д. Таким образом, добавление и удаление прослушивателей событий, обновление узлов DOM и выборка данных не идеальны и могут быть довольно тяжелыми для производительности, если делать это каждый раз при component()запуске. Вместо этого вы должны выполнять пакетные обновления с useEffect.

useEffect

useEffect– это ловушка, которая принимает функцию обратного вызова, которая запускается только при изменении указанного вами значения. Это позволяет не только выполнять пакетные обновления, но и реализовывать собственную форму управления жизненным циклом в вашем компоненте.

import { useEffect } from '@nebula.js/stardust';
// ...
component() {
  const element = useElement();

  useEffect(() => {
    // run only once when the component is created
    console.log('created');
  }, []);
}

Добавление слушателей событий к элементу обычно выполняется только при запуске компонента, а затем удаляется при его уничтожении:

component() {
  const element = useElement();

  useEffect(() => {
    const listener = () => {
      console.log('clicked');
    };

    element.addEventListener('click', listener);

    return () => {
      // clean-up
      element.removeEventListener('click', listener);
    };
  }, [element]);
}

В предыдущем примере elementв качестве второго аргумента предоставляется наблюдаемое значение, поэтому эффект запускается только при elementизменении. Однако, поскольку elementникогда не изменяется для одного и того же компонента, обратный вызов запускается только один раз при создании компонента. Таким образом listener, экземпляр может быть создан только один раз, и clickдобавляется только один прослушиватель событий. Обратный вызов также возвращает функцию в конце, это функция очистки, которая выполняется при изменении любого из наблюдаемых значений или при уничтожении компонента. Здесь вы должны очистить все добавленные побочные эффекты, в этом случае прослушиватель событий удаляется, чтобы избежать утечки памяти.

useState

Поскольку component()это функция, а не экземпляр класса или объекта, вы не можете использовать его thisдля хранения значений экземпляра, как в противном случае. Способ хранения состояния useState:

import { useState } from '@nebula.js/stardust';

export default function () {
  return {
    component() {
      const [count, setCount] = useState(0);
    },
  };
}

useStateвозвращает кортеж, в котором первый элемент совпадает с начальным значением, указанным в качестве аргумента useState, а второй элемент является функцией установки, с помощью которой вы можете изменить значение.

В следующем примере countувеличивается на 1, когда пользователь нажимает element:

component() {
  const element = useElement();
  const [count, setCount] = useState(0);

  useEffect(() => {
    const listener = () => {
      setCount(count + 1);
    };

    element.addEventListener('click', listener);

    return () => {
      element.removeEventListener('click', listener);
    };
  }, [element]);
}

Чтобы отобразить обновленное значение, вы можете добавить другое, useEffectкоторое будет запускаться при countизменении:

const [count, setCount] = useState(0);
useEffect(() => {
  element.innerHTML = `Count: ${count}`;
}, [count]);

Configuring data. Конфигурирование данных

В qaeразделе определения вы определяете свойства универсального объекта и форму данных, которые вы ожидаете использовать.

{
  "qae": {
    "properties": {}
  }
}

Общий объект

Каждая визуализация связана со всей моделью данных и ассоциативным механизмом Qlik через универсальный объект . Это объект JSON, содержащий свойства, в результате которых создается макет , описывающий состояние внутренней части визуализации.

Каждый раз, когда кто-то хочет визуализировать вашу визуализацию, в модели данных создается экземпляр универсального объекта. Если у создателя есть необходимые разрешения, он может сохранить и сохранить этот объект в своей модели данных.

Свойства

Какие свойства вы устанавливаете, полностью зависит от вас, однако это должен быть действительный объект JSON. Большинство свойств – это просто настройки, которые вы, возможно, захотите сохранить с течением времени. Если вы разрабатываете гистограмму, вы можете сохранить настройку, которая указывает, следует ли ее складывать или какой цвет должны иметь столбцы:

{
  "isStacked": true,
  "barColor": "red"
}

Эти свойства статичны , то, что входит, выходит точно так же. Истинная сила универсального объекта – это динамические свойства, которые вы можете установить, что позволяет вам использовать ассоциативный механизм Qlik и получать доступ к данным внутри него.

Динамические свойства имеют особую структуру, которая позволяет серверной части различать динамические и статические свойства. У них также есть соглашение об именах: все они начинаются с qбуквы, за которой следует заглавная буква, что позволяет людям и машинам легко различать два типа свойств.

Существует множество различных предопределенных динамических свойств для различных целей, например, вы можете использовать ValueExpression для выполнения простых вычислений:

{
  "simpleMath": {
    "qValueExpression": {
      "qExpr": "1+1"
    }
  }
}

Layout (Макет/Слой)

layout из Generic Object является результатом статических и динамических свойств. layout предыдущих свойств выглядит следующим образом:

{
  "isStacked": true,
  "barColor": "red",
  "simpleMath": 2
}

Обратите внимание, что статические свойства остаются точно такими же, в то время как динамическое свойство simpleMathтеперь содержит вычисленный результат ValueExpression.

Большинство динамических свойств имеют определение ввода и соответствующий вывод макета; а ListObjectDef приводит к ListObject , а SelectionObjectDef результаты в SelectionObject , и так далее.

Данные

Наиболее часто используемым определением свойства является HyperCubeDef , это динамическое свойство, которое предоставляет вам данные из внутренней модели данных. Вы можете разместить это в корне объекта свойств или на более глубоком уровне, и у вас может быть столько, сколько вам нужно:

{
  "qHyperCubeDef": {},
  "anotherOne": {
    "qHyperCubeDef": {},
    "andAThird": {
      "qHyperCubeDef": {}
    }
  }
}

Основными входными данными HyperCubeDef являются измерения и меры :

{
  "qHyperCubeDef": {
    "qDimensions": [{ "qLibraryId": "hdg534" }],
    "qMeasures": [{ "qLibraryId": "gt5dgd" }]
  }
}

В этом случае измерения и меры жестко запрограммированы на предопределенное значение, которое может существовать в определенной модели данных, что редко бывает тем, что вам нужно. Если вы разрабатываете диаграмму для использования другими с какой-либо моделью данных, которая вам нужна, чтобы можно было добавлять их динамически, вы можете сделать это, указав целевые объекты данных .

Цели данных

Целевой объект данных – это способ определить, где расположены динамические HyperCubeDef в свойствах универсального объекта. Хотя вы stardustможете просматривать свойства и находить все их использования qHyperCubeDef, вы можете не захотеть, чтобы все они были динамическими, или вы можете сгенерировать их только для внутреннего использования.

Вы указываете целевые объекты данных с помощью data.targetsключа qae, каждая цель должна иметь pathключ, который указывает путь JSON к HyperCubeDef из корня объекта свойств:

qae: {
  properties: {
    qHyperCubeDef: {},
    my: {
      nested: {
        qHyperCubeDef: {}
      },
    }
  },
  data: {
    targets: [
      { path: '/qHyperCubeDef' },
      { path: '/my/nested/qHyperCubeDef' },
    ];
  }
}

Вы можете для каждого целевого объекта данных указать дополнительные сведения, такие как максимальное / минимальное количество измерений и мер, и внести изменения при их добавлении.

Это полезно, когда вы знаете ограничения того, что может отображать диаграмма. Например, круговая диаграмма в основном используется, когда у нее есть ровно одно измерение и одна мера, но вы также можете реализовать поддержку второй меры. Это также избавляет вас от некоторой логики кода, поскольку stardustне пытается отобразить диаграмму, ограничения которой не были выполнены, а вместо этого показывает, что некоторые поля отсутствуют.

Field limitations. Ограничения поля

Чтобы указать ограничения для измерений или показателей, добавьте каждый соответствующий тип поля как объект как часть целевого объекта данных:

targets: [
  {
    path: '/qHyperCubeDef',
    dimensions: {
      min: 1,
      max: 1,
    },
    measures: {
      min: 1,
      max: 2,
    },
  },
];

Field modifications

Вы также можете изменить добавленное или удаленное поле непосредственно перед тем, как изменение будет применено и отправлено на серверную часть, это полезно для таких вещей, как настройка сортировки при добавлении измерения или добавление дополнительных свойств, которые, как вы знаете, всегда необходимы.

Если вы, например, хотите убедиться, что нулевые значения подавляются, поскольку это не то, что вы можете визуализировать или представить в хорошем виде, вы можете установить, qNullSuppression: trueкогда добавляется измерение:

dimensions: {
  added(dimension) {
    dimension.qNullSuppression = true;
  }
}

Consuming data. Потребление данных

Access layout

Вы можете получить доступ к layout Generic Object через набор предопределенных hooks.

useLayout

useLayout возвращает evaluated layout свойств Generic Object:

import { useLayout } from '@nebula.js/stardust';

export default function () {
  return {
    qae: {
      properties: {
        qHyperCubeDef: {},
        simpleMath: {
          qValueExpression: {
            qExpr: '1+1',
          },
        },
      },
    },
    component() {
      const layout = useLayout();
      console.log(layout); // { qHyperCube: {/* HyperCube Layout */}, simpleMath: 2 }
    },
  };
}

Вы должны useEffectпри наблюдении изменений на layout:

const layout = useLayout();

useEffect(() => {
  // do some heavy update
}, [layout]);

useAppLayout

useAppLayoutвозвращает NxAppLayout, к которому вы в данный момент подключены:

import { useAppLayout } from '@nebula.js/stardust';

export default function () {
  return {
    component() {
      const appLayout = useAppLayout();
      console.log(appLayout); // { qTitle: 'App title', qLocaleInfo: {/* */ } }
    },
  };
}

Наиболее распространенный вариант использования макета приложения – это доступ, qLocaleInfoкоторый содержит сведения о локали, выбранные владельцем приложения и должен использоваться для форматирования чисел.

Models. Модели

Помимо макетов приложения и универсального объекта, у вас есть полный доступ к API, созданным с помощью enigma.js. Эти API-интерфейсы генерируются из схемы JSON-RPC и раскрывают всю мощь Associate Engine Qlik.

useModel

useModelвозвращает сгенерированный API Generic Object :

import { useModel } from '@nebula.js/stardust';

export default function () {
  return {
    component() {
      const model = useModel();
      model.getInfo().then((info) => {
        console.log(info);
      });
    },
  };
}

Общие операции в этом API:

• делать выбор с помощью beginSelections,  selectHyperCubeValues и endSelections
• получить больше данных с getHyperCubeData

useApp

useAppвозвращает сгенерированный API Doc:

import { useApp } from '@nebula.js/stardust';

export default function () {
  return {
    component() {
      const app = useApp();
      app.clearAll();
    },
  };
}

Общие операции в этом API:

• изменять стек выбора с clearAll,  back,forward
• создавать и применять закладки с помощью createBookmark и applyBookmark

useGlobal

useGlobalвозвращает сгенерированный API Global :

import { useGlobal } from '@nebula.js/stardust';

export default function () {
  return {
    component() {
      const g = useGlobal();
      g.engineVersion().then((v) => {
        console.log(v);
      });
    },
  };
}

Общие операции в этом API:

• получить список приложений с getDocList

HyperCube introduction. Введение в HyperCube

Это HyperCubeDefфундаментальная структура, которую вы настраиваете, прежде чем вам будет предоставлен результат в виде файла HyperCube. Не позволяйте имени пугать вас, хотя оно содержит множество свойств и может быть настроено разными способами, в своей основной форме оно напоминает простую таблицу со строками и столбцами.

Конфигурация HyperCubeDef

Не все свойства одинаково важны, и есть несколько ключевых, о которых нужно помнить при настройке HyperCubeDef.

qMode

Хотя вам может не потребоваться qModeявно устанавливать, поскольку по умолчанию используется простейший режим 'S', важно знать, какое влияние он оказывает на структуру данных.

qMode: 'P', или режим сводной таблицы, дает вам структуру, подходящую для представления сводных таблиц с группами как в вертикальном, так и в горизонтальном направлениях, а также группы для всех показателей.

qMode: 'T', или древовидный режим , дает вам структуру, напоминающую дерево и подходящую для визуализации древовидных визуализаций; древовидная карта, упаковка кругов, солнечные лучи, дендрограмма, решётка и т. д.

qMode: 'S', или прямой режим , является самым простым из них и дает вам структуру данных, которая выглядит как простая таблица со строками и столбцами. Для простоты объяснения остальной части гиперкуба можно предположить, что он используется.

qDimensions и qMeasures

qDimensionsи qMeasuresявляются столбцами вашей «таблицы», нет явного ограничения на их количество, которое вы можете добавить, но часто существует ограничение на количество измерений и мер, которые может обрабатывать определенная диаграмма, и вам нужно сохранить это количество из них в виду, когда вы укажете qInitialDataFetch.

qInitialDataFetch

Ассоциативный движок Qlik – это решение на основе памяти, что означает, что объем данных, которые он может обрабатывать, полностью зависит от ресурсов памяти, к которым у него есть доступ. Таким образом, он может содержать миллиарды значений данных, и поэтому количество строк в гиперкубе также потенциально может достигать миллиардов.

Чтобы избежать случаев, когда такие огромные объемы данных передаются в интерфейсную часть, гиперкуб по умолчанию вообще не включает никаких строк. Чтобы контролировать это, вы можете установить количество строк и столбцов, которое вы хотите изначально qInitialDataFetch. Это свойство позволяет вам установить страницы данных, которые вы хотите извлечь из всего гиперкуба, поэтому вы можете, например, выбрать получение первых 50 строк:

qHyperCubeDef: {
  qInitialDataFetch: [{ qLeft: 0, qTop: 0, qHeight: 50, qWidth: 4 }];
}

Если вы думаете о прямой таблице как о сетке, из которой вы хотите извлечь некоторые данные, тогда qLeftи qTop– это верхний левый угол подмножества, которое вы хотите извлечь, а qHeightи qWidth– количество строк и столбцов.

Однако существует максимальный предел в 10 000 ячеек, которые вы можете извлечь за один раз, и это количество вызывает ошибку. Поэтому вам нужно следить за количеством столбцов может потребоваться для обеспечения общей не превышает 10 000. Если вы, например , знаете , что вы никогда не нужно больше , чем 4 колонки, то вы можете установить qHeightна 10000/4:

qInitialDataFetch: [{ qLeft: 0, qTop: 0, qHeight: 2500, qWidth: 4 }];

Первоначальная выборка данных указывает только самую большую возможную часть всего гиперкуба в макете, если в гиперкубе всего 7 строк, вы не получите больше 7. Вы также можете динамически получать больше данных позже.

Потребление HyperCube

Выход, или компоновка , из HyperCubeDefявляется гиперкубом . В макете он расположен в том же месте, что и вы определили в своих свойствах, но без Def, например ввода:

{
  properties: {
    qHyperCubeDef: {},
    another: {
      one: {
        qHyperCubeDef: {}
      }
    }
  }
}

приводит к выводу:

{
  layout: {
    qHyperCube: {},
    another: {
      one: {
        qHyperCube: {}
      }
    }
  }
}

Рядом с qDimensionInfoи qMeasureInfoсвойствами , которые содержат ваши размеры и меры, наиболее важную часть гиперкуба являются страницы данных .

Страницы данных

На страницах данных содержатся фактические значения данных гиперкуба, где именно и какая структура они имеют, зависит от qModeзначения, которое вы установили ранее. Для режима 'S'это место qDataPages, которое, в свою очередь, содержит qAreaи qMatrix.

Предполагая, что гиперкуб содержит одно измерение, название фильма , и одну меру, средний рейтинг , содержимое может выглядеть следующим образом:

qDataPages: [
  {
    qMatrix: [
      [
        // first row
        { qText: '2 Fast 2 Furious', qNum: 'NaN', qElemNumber: 447, qState: 'O' }, // NxCell
        { qText: '6.2', qNum: 6.2, qElemNumber: 0, qState: 'L' },
      ],
      [
        // second
        { qText: '2 Guns', qNum: 'NaN', qElemNumber: 681, qState: 'O' },
        { qText: '6.6', qNum: 6.6, qElemNumber: 0, qState: 'L' },
      ],
    ],
    qArea: { qTop: 0, qLeft: 0, qWidth: 2, qHeight: 2 },
  },
];

Помимо текстовых и числовых значений, каждая ячейка NxCell содержит qElemNumberсвойство, известное как ранг . Ранг для ячейки измерения можно рассматривать как свойство, которое однозначно идентифицирует текстовое значение этой ячейки в своем поле во всей модели данных. Вы можете использовать это свойство для обеспечения единообразного поведения во всем приложении, вы можете, например, установить постоянный цвет значений измерения в поле, когда и где бы они ни использовались:

// color scheme
const colors = ['#26A0A7', '#79D69F', '#F9EC86', '#EC983D'];

const cellColor = colors[cell.qElemNumber % colors.length];

Это свойство также необходимо отслеживать, когда вы хотите сделать выбор в своей диаграмме.

Получение дополнительных данных

Из-за ограничения объема данных, которые вы можете получить в исходном макете, могут возникнуть ситуации, когда вам потребуется получить остальные данные, если вы хотите отобразить их больше. Вы можете сделать это с помощью методов, представленных в модели универсального объекта. Какой метод использовать, опять же, зависит qModeот гиперкуба, для 'S'режима это GetHyperCubeData .

При подкачке данных в прямом режиме вы должны начать с просмотра qHyperCubeDef.qSizeсвойства, которое содержит информацию о ширине и высоте полного гиперкуба. Исходя из этого, вы можете рассчитать количество страниц, которые вам нужно получить:

import { useModel, useLayout, useEffect } from '@nebula.js/stardust';

const NUM_CELLS_PER_PAGE = 10000;
const MAX_PAGES = 10;
// ...
component() {
  const model = useModel();
  const layout = useLayout();

  useEffect(() => {
    const Y = layout.qHyperCube.qSize.qcy;
    const X = layout.qHyperCube.qSize.qcx;

    const HEIGHT_PER_PAGE = Math.ceil(NUM_CELLS_PER_PAGE / X);
    const NUM_PAGES = Math.floor(MAX_PAGES, Math.ceil(Y / HEIGHT_PER_PAGE));

    const pagesToFetch = [];
    for (let i = 0; i < NUM_PAGES; i++) {
      pagesToFetch.push({ qLeft: 0, qTop: i * HEIGHT_PER_PAGE, qHeight: HEIGHT_PER_PAGE, qWidth: X });
    }

    Promise.all(pagesToFetch.map((page) => model.getHyperCubeData('/qHyperCubeDef', [page]))).then((pages) => {
      console.log(pages);
    });
  }, [layout]);

}

Однако вы должны быть очень осторожны при динамической выборке таких данных, имейте в виду, что размер куба может исчисляться миллионами, выборка такого большого набора данных может занять время и создать очень плохое взаимодействие с пользователем. В предыдущем примере максимальное количество страниц установлено равным 10, так что всего выбирается не более 100 000 значений.

Вы также можете использовать другие методы, чтобы не получать все данные сразу. Виртуальная прокрутка в сочетании с регулированием каждого запроса может значительно повысить производительность. Вам также следует рассмотреть возможность использования сокращенного набора данных, если вам не нужны точные значения:

• getHyperCubeBinnedData связывает точки данных в группы и отлично подходит для тепловых карт и 2D-графиков плотности.
• getHyperCubeContinuousData уменьшает количество точек в непрерывном измерении и отлично подходит для временных данных.
• getHyperCubeReducedData выполняет некоторую магию вейвлетов и отлично подходит для мини-диаграмм.

Selecting data. Выбор данных

Выборка – это фундаментальная часть ассоциативного механизма Qlik. Все поля и связи между ними содержатся в ассоциативной модели. Когда вы применяете выбор, вы не только применяете фильтр в модели данных, но также демонстрируете связи между вашими источниками данных.

Applying selections. Применение выделений

Выборки можно применять с помощью методов, представленных в модели, возвращенной из useModelхука.

Поскольку универсальный объект может содержать несколько гиперкубов, вам всегда нужно указать, какой гиперкуб вы хотите выбрать, указав его путь JSON в качестве первого аргумента:

import { useModel } from '@nebula.js/stardust';
// ...
component() {
  const model = useModel();

  useEffect(() => {
    model.selectHyperCubeCells('/qHyperCubeDef', [1], []);
  }, [model])
}

Шаблоны выбора. Selection patterns

Есть два разных шаблона выбора: мгновенный и модальный.

Мгновенный выбор. Instant selections

Как видно из названия, этот тип шаблона является немедленным и фильтрует как источник выбора, так и все, на что он влияет.

В следующем примере, как только значение выбрано на гистограмме, фильтрация применяется мгновенно, и обе диаграммы немедленно обновляются отфильтрованными данными:

Модальный выбор. Modal selections

Когда инициируется модальный выбор, источник выбора входит в форму модального состояния, которое позволяет пользователю изменять выбор до подтверждения изменений.

В следующем примере пользователь сначала выбирает одно значение на линейчатой ​​диаграмме, после чего другие диаграммы обновляются, как и раньше. Однако гистограмма по-прежнему содержит все доступные данные и позволяет пользователю выбрать другое значение перед подтверждением изменений и обновлением самой гистограммы:

Чтобы реализовать этот тип паттерна, вам необходимо выполнить несколько простых шагов useSelectionsв сочетании с useModelними:

1. Войдите в модальное состояние, позвонив beginSelections.
2. Выберите значения.
3. Обеспечьте визуальную обратную связь с пользователем о том, что было выбрано, например, изменив прозрачность выбранных значений.
4. Следите за выходом из модального состояния, чтобы сбросить визуальную обратную связь.

import { useModel, useSelections, useElement } from '@nebula.js/stardust';
// ...
component() {
  const element = useElement();
  const model = useModel();
  const selections = useSelections();

  useEffect(() => {
    const clicked = () => {
      const clickedOnRow = 1;

      // 1. enter modal state if not already in it
      if (!selections.isActive()) {
        selections.beginSelections(['/qHyperCubeDef']);
      }
      // 2. select the clicked row
      model.selectHyperCubeCells('/qHyperCubeDef', [clickedOnRow], []);
    }

    element.addEventListener('click', clicked);
    return () => {
      element.removeEventListener('click', clicked);
    }
  }, [element, model, selections]);

  useEffect(() => {
    if (layout.qSelectionInfo.qInSelections) {
      // 3. update with visual feedback on active selections
      // YOUR CODE HERE
    } else {
      // 4. normal update
      // YOUR CODE HERE
    }
  }, [layout]);
}

Сообщение nebula.js – Qlik Sense API Javascript библиотека. Примеры появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

В этом уроке будет описан процесс создания аккаунта в облачном сервисе Qlik Sense Business Cloud.

https://t.me/qlik_insight – telegram канал – пишу про Qlik Sense как есть на самом деле, что-то критикую, что-то хвалю, делюсь обучающими материалами. 

Сообщение Урок 1. Регистрация в Qlik Sense Business Cloud. Как начать работать с Qlik в облачном сервисе? появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

• Мы понимаем, что Qlik Sense Desktop является неотъемлемой частью многих разработчиков API в нашем сообществе, и до июня 2020 года будет предоставлено решение, которое обеспечит аналогичную или лучшую возможность разработки с API-интерфейсами Qlik и будет передаваться через наше сообщество разработчиков Qlik, Qlik Branch.

• Мы продолжим вкладывать средства в то, чтобы всем (не только пользователям Windows) было проще и быстрее опробовать Qlik Sense с помощью облачного пробного подхода с Qlik Sense Business. Мы понимаем, что не всегда возможно принять решение за 30 дней, поэтому пользователи пробной версии смогут продлить пробную версию на дополнительные 15 дней самостоятельно. Если для принятия решения требуется дополнительное время, испытания могут быть продлены еще больше, мы просим наших пользователей пробной версии взаимодействовать с продавцом, который может помочь с вашей оценкой Qlik Sense.

• Мы выделили приоритет для аутентификации Qlik Sense Desktop через облачные сервисы Qlik, что позволило бы пользователям Qlik Sense Business также использовать Qlik Sense Desktop. Это позволит платным и пробным пользователям сохранять свои данные локально, если они захотят.

• Мы продолжим наши инвестиции в возможности электронной коммерции, чтобы мы могли предоставить более быстрый, простой и индивидуальный доступ к Qlik Sense. Эта возможность намного больше, чем просто покупка Qlik Sense с помощью кредитной карты, а также дает Qlik возможность эффективно обслуживать специальные группы с помощью таких программ, как наша академическая программа , гранты на программы корпоративной ответственности и наша партнерская программа .    

Чтобы адаптироваться к изменяющимся предпочтениям клиентов и в соответствии с отраслевой практикой корпоративных облачных поставщиков, Qlik отказывается от модели «freemium» для своих облачных и настольных версий Qlik Sense в пользу ограниченного по времени пробного периода. Это означает, что и Qlik Sense Cloud Basic, и Qlik Sense Desktop перестанут быть бесплатными. Важно отметить, что Qlik Sense Desktop останется поддерживаемой частью нашего семейства продуктов Qlik Sense.

Мы начали этот процесс в августе с запуска Qlik Sense Business и миграции пользователей Qlik Sense Cloud, а сейчас мы начинаем процесс для Qlik Sense Desktop. Мы знаем, что это изменение затронет многих пользователей Qlik Sense Desktop, поэтому мы будем постепенно осуществлять изменения в течение нескольких месяцев, чтобы вы могли запланировать работы по изменениям. Мы начнем с удаления загрузки с qlik.com продукта QS Desktop, затем Qlik Sense Desktop уведомит пользователей об изменениях и, в конце концов, бесплатное использование Qlik Sense Desktop прекратится.

Ключевые изменения и даты:

• Декабрь 2019 – Январь 2020: бесплатные загрузки Qlik Sense Desktop будут удалены с веб-сайтов Qlik. В течение и после этого периода Qlik Sense Desktop будет по-прежнему доступен через сайт загрузки для клиентов. Если у вас нет доступа к сайту загрузки для клиентов, вы можете использовать эту временную ссылку для загрузки, чтобы получить самую последнюю версию Qlik Sense Desktop и продолжить бесплатное использование. В течение этого периода не будет никаких физических изменений в Qlik Sense Desktop.
• Февраль 2020 года. При запуске Qlik Sense Desktop на экран выводится предупреждение о предстоящих изменениях (и ссылка на эту публикацию). Это отображение будет создано во всех версиях Qlik Sense Desktop (включая ранее выпущенные версии). В настоящее время пользователи могут продолжать использовать Qlik Sense Desktop бесплатно, однако мы настоятельно рекомендуем пользователям начать переход на платную версию Qlik Sense, начав пробную версию Qlik Sense Business или проверив проверку подлинности Qlik Sense Desktop для Qlik Sense Enterprise в Windows.
• 30 июня 2020 года. Бесплатный доступ к Qlik Sense Desktop прекратится. Чтобы продолжить использовать Qlik Sense Desktop, пользователи должны пройти аутентификацию в Qlik Sense Enterprise в Windows. Пользователи по-прежнему смогут получать доступ к приложению Qlik Sense (QVF) через свою локальную файловую систему и копировать файлы в другие выпуски Qlik Sense.
• После 30 июня 2020 года: Qlik Sense Desktop продолжит получать обновления и останется полностью поддерживаемым клиентом Qlik Sense платных развертываний с использованием Qlik Sense Enterprise в Windows.

Вопросы и ответы:

Можно ли использовать Qlik Sense Business для разблокировки Qlik Sense Desktop?

• Нет, в настоящее время единственным вариантом является проверка подлинности Qlik Sense Desktop в Qlik Sense Enterprise в Windows.

Могу ли я использовать более старую версию Qlik Sense Desktop и продолжить бесплатное использование?

• Нет, все версии Qlik Sense Desktop больше не будут предоставлять бесплатный доступ после 30 июня 2020 года.

Могу ли я купить Qlik Sense Desktop как отдельную версию?

• Нет, чтобы продолжать использовать Qlik Sense, вам необходимо подписаться на Qlik Sense Enterprise.

Могу ли я по-прежнему использовать Qlik Sense Desktop для разработки приложений и / или автономного доступа в рамках более широкого развертывания Qlik Sense Enterprise?

• Да, однако, вы должны аутентифицировать Qlik Sense Desktop в Qlik Sense Enterprise в Windows .

Как мне попробовать Qlik Sense, если я не могу загрузить свои данные в облако?

• Пожалуйста, свяжитесь с нашим отделом продаж, чтобы обсудить наши мульти-облачные возможности, которые предоставят вам выбор места хранения ваших данных.

Сообщение QS больше не бесплатный. Изменения в Qlik Sense Desktop в 2020 году появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Количество выбранных элементов в измерении

GetSelectedCount([Товар Название])

Количество возможных элементов в измерении

GetPossibleCount([Товар Название])

Получить количество полей из таблицы модели

=Count({1<$Table={'Таблица Фактов'}>} $Field)

Переменная “Условие-проверка”, что приложение Qlik перегрузилось сегодня

vAppReload
=match(today(0),today(2))

Получить в скрипте текст, заключенный между символами

Текст между символами:

=TextBetween('lkj dsf 554 [Текст в квадратных скобках]','[',']')

Как менять значения переменной по кругу при нажатии на кнопку

Как менять значения переменной по кругу:

=pick(match($(пПеременная),1,2,3,4,5,6),2,3,4,5,6,1)

Сравнение поля с конкретным временем

Time(Left([Время обработки],8))>MakeTime(18,30,00)

Время обновления файла

Let vFileDateTimeModified = FileTime('C:\QS_QVD\Чеки.qvd');

Выход из скрипта по условию

Exit Script when a=1;

Значение по умолчанию для конструкции Pick(Match())

Pick & Match – значение по-умолчанию, если не найдено условие

Pick(Match(lower([Флаг]),'true','false')+1,'Не определено','Да','Нет') As [Какой-то аналитический признак]

Проверка поля на пустоту в скрипте Qlik Sense

Проверка поля на пустоту (вместо not IsNull and <>”)

Len(Trim([Поле справочника]))=0

Использование Match при наличии пустых значений в поле

Наткнулся, что в Match не учитывает пустые значения (null). Т.е. условие в скрипте

UPPER([Ассортимент]) <> 'ВЕЛОСИПЕДЫ'

не эквивалентно условию

Match(UPPER([Ассортимент]),'ВЕЛОСИПЕДЫ')=0

Решилось:

RangeSum(0,Match(UPPER([Ассортимент]),'ВЕЛОСИПЕДЫ'))=0;

Аналогично в WildMatch

Сбросить фильтры по всем полям какой-то конкретной таблицы

Если Вам при расчете показателя необходимо сбросить фильтры по всем полям какой-то таблицы, то необходимо в приложении создать переменную пСброситьВыборкиПолейТаблицы:

$(=CONCAT({1<$Table = {'$1'}>} DISTINCT '['& $Field &']=', ',') )

Далее в выражении нужно записать следующую формулу (Выражение в таблице для расчета показателя ‘Текущий остаток’):

sum({<$(пСброситьВыборкиПолейТаблицы(Календарь))>} [Текущий остаток])

Tips & Tricks по работе с визуализацией

Редактирование таблицы в Qlik Sense с большим количеством столбцов

В Qlik Sense все изменения производимые в столбцах мгновенно начинают отображаться в таблице (автоматическое применение изменений). Когда столбцов много, то любой update в колонках замедляет разработку фактически в несколько раз. Чтобы этого избежать, можно в условии вычисления всей таблицы поставить ноль, внести изменения и потом условие изменения убрать. Т.е. фактически отрубить автоматический расчет таблицы вручную.

Сообщение Фишки (Tips & Tricks) по Qlik Sense / QlikView. Секретные приемы Qlik появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

В строгом смысле, Конструктор отчетов Qlik Sense – это отчет, который создается на лету и отображает информацию в виде таблицы, которая является результатом вопроса, который еще не был выведен в отдельный рабочий отчет. Существует ограничение на количество таких производственных отчетов и бизнес-вопросов, которые можно заранее предвидеть и разработать, чтобы пользователи могли обращаться к ним в любое время. В широком смысле, конструктор отчетов (adhoc report) – это просто способ ответить на непредвиденные вопросы.

Поскольку предприятия постоянно меняются, вопросы, которые люди хотят задавать относительно своих данных, постоянно меняются, поэтому любая система отчетности должна учитывать создание и запуск конструктора отчетов. Ключевым моментом является сделать этот процесс простым для обычного бизнес-пользователя, поскольку большинство специальных инструментов отчетов предназначены для использования экспертами по базам данных, что часто требует знания языка запросов, такого как SQL.

В этом разделе будет приведен пример создания такого отчета на базе стандартной функциональности Qlik Sense. При этом Вы сможете в конце раздела скачать рабочий пример и детально разобрать все мелочи. Также, если у Вас есть вопросы – оставляйте их в конце статьи – я постараюсь на них ответить.

Конструктор отчетов Qlik Sense (Qlik AdHoc Report) – это отчет, в котором Вы выбираете измерения (аналитики, например, товары, контрагенты, периоды) и показатели (например, продажи шт. и продажи руб.)

Qlik Sense Expert Russia AdHoc Report

Визуально конструктор отчетов будет выглядеть следующим образом:

Загрузка данных в модель (создание модели Qlik Sense для примера AdHoc Report)

В качестве данных для нашей модели данных возьмем простой файл Excel с данными и напишем скрипт загрузки.

Скачать файл Excel с данными для модели Qlik Sense:

Также нам понадобится специальная функция, которая была разработана мною. Грузить ее будем из текстового файла:

В этом файле лежит вот такая функция:

if(SubStringCount('|' & Concat({$3} distinct [$1], '|') & '|', '|$2|') and GetSelectedCount([$1],False(),'$3'),1,0)

В рамках этой статьи я не буду рассматривать основы создания приложения Qlik Sense, описывать принципы обработки данных и освещать другие вопросы. Все это Вы найдете на моем сайте в других разделах. В этой статье я рассмотрю только аспекты создания конструктора отчетов.

Пишем скрипт загрузки данных. У нас будет 4 раздела загрузки данных:

Скрипт с Main (Переменные):

SET ThousandSep=' ';
SET DecimalSep=',';
SET MoneyThousandSep=' ';
SET MoneyDecimalSep=',';
SET MoneyFormat='# ##0,00 ₽;-# ##0,00 ₽';
SET TimeFormat='h:mm:ss';
SET DateFormat='DD.MM.YYYY';
SET TimestampFormat='DD.MM.YYYY h:mm:ss[.fff]';
SET FirstWeekDay=0;
SET BrokenWeeks=1;
SET ReferenceDay=0;
SET FirstMonthOfYear=1;
SET CollationLocale='ru-RU';
SET CreateSearchIndexOnReload=1;
SET MonthNames='янв;фев;мар;апр;май;июн;июл;авг;сен;окт;ноя;дек';
SET LongMonthNames='января;февраля;марта;апреля;мая;июня;июля;августа;сентября;октября;ноября;декабря';
SET DayNames='пн;вт;ср;чт;пт;сб;вс';
SET LongDayNames='понедельник;вторник;среда;четверг;пятница;суббота;воскресенье';
SET NumericalAbbreviation='3:тыс;6:млн;9:млрд;12:трлн;15:P;18:E;21:Z;24:Y;-3:m;-6:μ;-9:n;-12:p;-15:f;-18:a;-21:z;-24:y';

Факты (загрузка данных из Excel):

Факты:
LOAD
    Дата,
    Подразделение,
    Контрагент,
    Менеджер,
    Номенклатура,
    Продажи,
    Себестоимость,
    [Валовая прибыль]
FROM [lib://DataSource/QlikSense_SampleData_Example_Data_SetAnalysis.xlsx]
(ooxml, embedded labels, table is Data);

Календарь (на основе минимальной и максимальной дат формируем календарь – массив дат с месяцами, годами, кварталами и т.п.):

// Получаем из поля Дата минимальное и максимальное значения
[TEMP Максимальная Минимальная Дата]:
LOAD
     Min(FieldValue('Дата',RecNo())) 	As [Минимальная Дата],
     Max(FieldValue('Дата',RecNo())) 	As [Максимальная Дата]
AutoGenerate FieldValueCount('Дата');

// Минимальную и максимальную даты помещаем в переменные, 
// для того, чтобы использовать их в условии While
Let пНачалоКалендаря_Число 	  = Num(Peek('Минимальная Дата', 0, 'TEMP Максимальная Минимальная Дата'));
Let пОкончаниеКалендаря_Число = Num(Peek('Максимальная Дата', 0, 'TEMP Максимальная Минимальная Дата'));

// Удаляем временную таблицу
DROP Table [TEMP Максимальная Минимальная Дата];  

// Создаем набор дат в промежутке от минимальной до максимальной даты
[TEMP Набор дат в интервале MinDate - MaxDate]:  
LOAD 
     Date($(пНачалоКалендаря_Число) + IterNo() - 1) as [TEMP Дата]
AutoGenerate 1
While $(пНачалоКалендаря_Число) + IterNo() -1 <= $(пОкончаниеКалендаря_Число);  

// Формируем таблицу с календарем в моделе Qlik Sense
[Простой календарь QS]:  
Load 
     Date([TEMP Дата]) 													As Дата,
     Date([TEMP Дата],'DD MMMM YYYY')									As [Дата длинный месяц],
     Text(Date([TEMP Дата],'WWWW MMM YYYY'))							As [День недели МесяцГод],
     'Кв'& Ceil(Num(Month([TEMP Дата]))/3)								As Квартал,
     'Кв'& Ceil(Num(Month([TEMP Дата]))/3) & '-' & Year([TEMP Дата]) 	As КварталГод,
     Text(Date([TEMP Дата],'YYYY.MM')) 									As [Год Месяц],
     Text(Date([TEMP Дата],'MMM YYYY')) 								As [Месяц Год],
     Year([TEMP Дата]) 													As Год,
     Year([TEMP Дата])&'.'&Week([TEMP Дата])							As [Год Неделя],
     Week([TEMP Дата])													As Неделя,
     Day([TEMP Дата])													As День
Resident [TEMP Набор дат в интервале MinDate - MaxDate];

Drop Table [TEMP Набор дат в интервале MinDate - MaxDate];

AdHoc Конструктор отчетов – загружаем переменную из файла (формула для переменной с 3 параметрами). Плюс определяем набор измерений и показателей, которые будут доступны в нашем гибком конструкторе отчетов:

//==========================================================
// Загрузка формулы CUSTOM VARIABLE
//==========================================================
AdHocFunc:
First 1
LOAD
    @1 AS ФормулаДляПеременной
FROM [lib://DataSource/Func.txt]
(txt, codepage is 28591, no labels, delimiter is '\t', msq);

LET vAdHocFunc = Peek('ФормулаДляПеременной',0,'AdHocFunc');

Drop Table AdHocFunc;

//==========================================================
// Формирование Data Island таблиц Измерений и Показателей
//==========================================================
[Измерения AdHoc]:
Load * Inline [
    Измерения
    Дата
    Дата длинный месяц
    День недели МесяцГод
    Квартал
    КварталГод
    Год Месяц в числах
    Месяц Год
    Год
    Год Неделя
    Неделя
    День
    Подразделение
    Контрагент
    Менеджер
    Номенклатура
];

[Показатели AdHoc]:
Load * Inline [
	Показатели
    Продажи
    Себестоимость
    Валовая прибыль
];

Загружаем данные и смотрим модель данных:

В модели данных у нас есть таблица фактов, которая связана по общему полю Дата с таблицей Календарь. Также в модели данных есть две таблицы, которые не имеют связей с другими таблицами (их называют data island – острова данных):

Создание визуальной части приложения конструктора отчетов QlikSense

Переходим к основной части. Создаем лист Конструктор отчетов:

Слева располагаем фильтры с 2 таблицами (измерения и показатели – это как раз наши Data Island). Сверху накидываем фильтры для фильтрации модели данных (основные контекстные аналитики – Год, месяц, товары, клиенты и т.п.). На остальной части располагаем обычную прямую таблицу (как сделать Pivot и как с ним работать в режиме конструктора – объясню потом).

Схема расположения фильтров и отчета на листе QS (можете как-то по-другому расположить – это всего лишь рекомендация):

Настройка фильтров Измерения и Показатели

Для того, чтобы отчет работал, нам необходимо создать Альтернативное состояние “Конструктор”:

После этого в фильтре для “измерений” и “показателей” указываем Другие состояния “Конструктор”:

Настройка отчета AdHoc в Qlik Sense – Прямая таблица

После того, как вынесли элемент визуализации таблица на лист, создаем столбцы (выбираем измерения и создаем меры/показатели). После того, как Вы накидали все измерения и показатели из модели данных в таблицу, необходимо прописать условия отображения столбцов, отдельно для измерений и отдельно для показателей.

Вставляем условие в поле:

Формула для вычисления (с использованием специальной переменной с параметром):

$(vAdHocFunc(Измерения,Год,Конструктор))

Для Измерений условие будет выглядеть следующим образом (должно быть ОК):

Аналогично для показателей:

Формула:

$(vAdHocFunc(Показатели,Продажи,Конструктор))

Проверяем функцию (что отображается ОК):

Как работать с конструктором отчетов Qlik Sense?

Для того, чтобы отобразить нужные столбцы – выбираем измерения, показатели. Также можно отобразить данные по конкретному году, товару, клиенту (используйте верхние фильтры):

Для того, чтобы в отчете сохранить нужные настройки и всякий раз не выбирать измерения, показатели, можно создать множество закладок с выборками Измерение и Показатели. Для этого сверху кликните на значок “Закладка” и нажмите кнопку создать закладку:

Теперь Вы сможете быстро выбрать из списка нужный Вам отчет. При этом Ваши коллеги смогут создавать отчеты, которые необходимы им независимо от Вас. Для активации закладки нужно кликнуть на значок “Закладки” и активировать нужный отчет.

Дополнительные настройки конструктора отчетов Qlik Sense

В настройках таблицы переходим на вкладку дополнительно и прописываем следующее:

1. Снимаем галочку

2. Ставим условие для расчета таблицы

if(GetSelectedCount([Измерения],False(),'Конструктор') and GetSelectedCount([Показатели],False(),'Конструктор'),1,0)

3. Прописываем сообщение для пользователей

Выберите, пожалуйста, измерения и показатели

Скачать приложение “Конструктор отчетов Qlik Sense” со всеми формулами

Ссылка на скачивание приложения Qlik Sense. Буду благодарен, если поделитесь ссылками в социальных сетях на статью

Сообщение Конструктор отчетов Qlik Sense. AdHoc Reporting. Гибкий отчет с измерениями и показателями появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Qlik Sense – очень гибкая платформа создания отчетности. В ней нет ограничений на количество приложений, на количество отчетов, количество данных. Вы можете создать 1 большое приложение с множеством различных отчетов, либо создать много приложений, в каждом из которых будет 1-2 сложных по структуре или логике отчета. Все зависит от Ваших потребностей. Единственно что нужно учитывать – это затраты на поддержку решений.

Также можно создать приложение Qlik Sense, в котором в библиотеке задать нужные измерения и показатели, а пользователи будут сами создавать простые отчеты, графики, дашборды, аналитические панели.

Этапы создания модели Qlik Sense

Рассмотрим основные этапы создания модели Qlik Sense:

Краткая схема создания приложения выглядит следующим образом:

1. Для того, чтобы создать аналитическую модель (Отчет, дашборд и т.п.) изначально необходимо получить требования от заказчика (выявить основные потребности). Вы проводите встречу с заказчиком, на которой записываете основные его желания, затем, обрабатывая первичные требования Вы задаете уточняющие вопросы заказчику.
Очень часто заказчики опускают нужные подробности, которые могут помочь в решении задачи. Делают они это зачастую не умышленно, а потому что для них это очевидно (каждый день с этим работают).

Иногда заказчик может опираться на вымышленные сущности, которых нет в учетных системах, либо они ведутся там очень и очень криво. Это все может привести к тому, что на пол пути Вы поймете, что разрабатываемый отчет довести до конца не получится. И ладно, если Вы на этот отчет потратили пол дня, а если Вы уже 2 недели что-то делаете и приходите в тупик?

Иногда заказчик хочет получить отчет, который можно получить из учетной системы. Он уже там есть, только заказчик про это не знает.

Еще 1 совет – всегда стремитесь избегать в своей работе с данными, которые пользователи ведут в Excel! На этапе выявления требований стремитесь заставить заказчика отказаться от excel, Хотя бы в сторону MS Access. Ну или обязать заказчика разработать жесткую форму для ведения данных с проверками.

2. Дальше начинается работа с источниками данных. В идеале сначала проводится краткий аудит учетных систем на предмет того, как вводятся данные.

На этом этапе необходимо проработать перечень источников из которых Вы будете выгружать данные. Для этих работ целесообразно привлекать системных аналитиков или разработчиков учетных систем, которые знакомы со структурой базы данных, могут помочь написать тот или иной запрос. Иначе Вам придется самостоятельно изучить в лучшем случае документацию, в худшем случае учетную систему (со всеми ее странностями и кастомизациями).

На этом этапе необходимо проверить наличие в справочниках нужных атрибутов (согласно требованиям), наличие фактов, смоделировать (например в Excel) расчеты, которые нужно получить в рамках аналитической модели.
Для снижения риска проекта по Qlik Sense рекомендую делать на предварительной стадии прототип модели на очень ограниченном объеме данных, проверить структуру модели, те или иные гипотезы. Внимание: самое важное на первом и втором этапах не уйти глубоко в детали и не выдумать из небольшого, быстрого и полезного проекта ОГРОМНОГО МОНСТРА.

В ходе второго этапа (при аудите учетных систем) уточняется ТЗ и разрабатывается план проекта.

3.Выстраиваем структуру окружения QS Проекта на Windows Сервере. Если в рамках проекта планируется использовать Qlik Sense Desktop – то требуется одна архитектура организации окружения (с привлечением QlikView Desktop), если Qlik Sense Enterprice – то другая архитектура.

Здесь необходимо создать каталог папок, в которых будут храниться приложения/скрипты .qvs для выгрузки данных (Extractor),  приложения/скрипты .qvs для трансформации данных (Transform), приложения/скрипты .qvs для сборки QVD для конечных аналитических приложений.

Возможная структура папок для хранения QVD-файлов:

• DataSource
  
  • RawQVD – по каждой системе создается отдельная папка в директории RawQVD и в нее выгружаются таблицы.
  • RawFiles – В этой директории хранятся файлы, которыми управляет отдел Qlik Sense. Это могут быть файлы с настройками, временные справочники Excel, специфические меппинги.
  • DataTier1 – в этой директории находятся файлы QVD, которые прошли первичную обработку в процессах обработки данных. На этом этапе в документы добавляются товары, в справочники добавляются различные атрибуты, флаги. Производится расшифровка перечислений (например, для 1С Предприятия) и т.д. Обычно в DataTier1 данные хранятся также по папкам с названиями систем учета.
  • DataTier2 – Агрегированные данные на основе данных DataTier1 из нескольких источников данных. Здесь QVD файлы группируются по тематике, например, продажи, остатки и т.д.
  • DataTier3 – 

4. На четвертом этапе идет основная работа с данными. Строится процесс выгрузки данных из источников. Это может быть одна база данных или несколько баз данных. При этом в качестве источника данных может выступать облачный сервис (bitrix24, amocrm, мойсклад и т.п.).

4.1. Разработка Extractor на Qlik

Виды Extractor (выгрузки)

1. Выгрузка полной таблицы из базы данных и сохранение в формате QVD. Подходит для источников данных с небольшим объемом данных (нужно учитывать скорость наполнения базы данных, при этом объем транзакций год из года приростает), справочников из ERP систем. Данные выгружаются 1 в 1 с минимальными преобразованиями форматов, без агрегирования и доп.расчетов.
2. Инкрементальная выгрузка данных из DataBase учетных систем. Здесь не всегда так просто. Во-первых, в учетной системе должны каким-то образом помечаться измененные записи, а также должна быть дата создания сущности. Для таких целей подойдут поля [Дата создания] и [Дата модификации]. Если нет полей, по которым можно было бы установить список измененных сущностей (документов, проводок), то придется делать инкрементальную загрузку по периодам (т.е. принимать, что данные в старом периоде, например, которые создавались больше года или полугода назад не изменяются). И перегружать только скользящий период год или полгода.
   Почитать про инкрементальную загрузку можно здесь https://ivan-shamaev.ru/practical-issues-in-qlikview-part-2/#___Incremental_Load
   Во-вторых, придется всегда иметь возможность выгрузить систему полностью (на случай, если все данные “испортились” по каким-то чрезвычайным причинам).
   В-третьих, инкрементальная загрузка требует больших трудозатрат в поддержке и разработке (но она дает выигрыш в скорости).

Очень часто обычную и инкрементальную выгрузку данных комбинируют. Самые большие данные переводят на инкремент, данные не критичные – выгружают в полном объеме.

4.2. Итак, после того, как Вы выгрузили данные из базы данных или облачного сервиса в QVD файлы, затем необходимо эти данные обработать (очистить, рассчитать показатели, агрегировать, обогатить дополнительными атрибутами, разметить флагами и т.д.) и положить обработанные данные в отдельный слой (например, DataTier1). Эти трансформированные данные Вы загружайте непосредственно в саму модель Qlik Sense или создаете ещё один дополнительный слой данных со сложными расчетами для конкретной модели данных.

Самое главное – не дублировать одинаковые данные в слоях. При повышении уровня слоя данные должны агрегироваться (группироваться). Нижние слои являются более общими, верхние слои – конкретно для каждой модели данных (или по направлениям анализа).

5. Проектируем слои приложения. Вот пример структуры аналитического приложения Qlik Sense:

• Дашборд (KPI, тренды, сигналы)
• Слой-аналитика (графики, диаграммы, пузырьки и т.п.)
• Слой-гибкий анализ / конструктор отчетов (Ad-hoc анализ)
• Слой детальные данные (Таблицы и сводные таблицы, подсвечиваемые поля, статические отчеты)

Лайфхак для прототипирования в небольших проектах: В качестве инструмента прототипирования для визуализации можно использовать сам Qlik Sense. При этом сложные вычисления Вы не прописываете, а заменяете константами. При этом Ваш прототип будет максимально приближен к функциональности конечного продукта

Пример прототипа на Qlik Sense:

6. Успешность проекта зависит от правильности организации по нескольким направлениям -данные, скрипты (написание, комментарии и т.д.), организация ETL, методологии расчетов:

• Качество данных – качество любого аналитического приложения в первую очередь зависит от того, насколько хорошо выстроены процессы фиксирования данных в учетных системах. Если в системах много дублей, много криво заполненных справочников, есть пустые документы, не проставлены те или иные атрибуты в справочниках, то очень много усилий придется потратить на то, чтобы собрать полноценную аналитическую модель с минимальными погрешностями в расчетах.
• Качество методологий учета, расчетов – прежде чем разрабатывать сложную модель для анализа или исследования данных, необходимо (хотя бы кратко) описать методологию расчетов. Можно все расчеты спроектировать в Excel и отдать его разработчику (иногда это самый подходящий и быстрый вариант).
  Что такое методология расчета? В первую очередь под этим я понимаю описание расчета того или иного показателя. Как в процессе расчета осуществляются группировки, как обрабатываем нули, как округлять данные, как обрабатывать деление на ноль и т.п. вопросы.
  В случае расчета суммы продаж методология расчета не требуется, а вот в случае расчета сопоставимых продаж за период (Like-For-Like) – требуется, т.к. возникает очень много вопросов. Или например как посчитать ROI по мероприятию или по акции. Самым лучшим решением – это когда бизнес-пользователь проделывает в Excel расчеты руками на одном клиенте, 1 акции (т.е. берет ограниченный объем данных и на нем строит модель, корректирует методику, делает проверку, утверждает ее со своим руководством или владельцем бизнеса и только потом отдает на автоматизацию расчетов). Но этот идеальный случай встречается редко и зависит от вменяемости бизнес-пользователя.
• Качество окружения QS (скрипты, изменения, аудит изменений, анализ загрузки ресурсов и т.д.) – от того, насколько правильно структурировано пространство QS, зависят накладные расходы на поддержку решения Qlik Sense. Очень важно оставлять комментарии в скриптах, создать инструмент для отслеживания процессов загрузки данных. Если сразу придерживаться строгих правил порядка, то потом при быстром масштабировании Вам будет легче управлять всей инфраструктурой.

Qlik Deployment Framework

Размышления консультанта “ВСЛУХ”

Возможно кому-то мои рассуждения покажутся “водой”, возможно кто-то сделает заметку, кто-то пройдет мимо, кто-то добавит в комментариях свои мысли. Главное – это просто мысли, мои заметки, которыми я хочу поделиться.

Об отчетах

В компании может быть все плохо, но отчеты об этом могут не говорить. Истинные проблемы начинают всплывать, когда компания начинает генерировать убытки.

В компании может быть 1-3 отчета и из них может быть многое понятно о текущих делах. А может быть десятки отчетов, из которых ничего не понятно (куда смотреть, с чем нужно работать, куда прикладывать усилия). Для работы с отчетами в таких случаях требуется штат аналитиков, которые будут сидеть и обрабатывать автоматически рассылаемые отчеты.

Направление аналитики должно спускаться сверху, причем именно верхнеуровневые показатели должны показываться руководству с графическими представлениями. Руководитель должен открыть дашборд или отчет и дать указание подчиненным руководителям или линейным сотрудникам, что необходимо улучшить в компании. Или какой фронт работы выполнить.

Качество приложения Qlik Sense

Качество приложения Qlik Sense зависит напрямую от качества ваших учетных данных. Очень хорошие данные (структурированные, без мусора, без дублирования, без двоякости и т.п.) = ОТЛИЧНОЕ ПРИЛОЖЕНИЕ QLIK SENSE.

Очень плохое качество данных (пропуски, дублирование, кривая инфа, несоответствия, пустоты, кривые справочники, кривые документы, 100500 способов представления одних и тех же отчетов, но с разными значениями) – ужасная аналитика, ужасный ETL, ужасное приложение, ужасный ROI от бизнес-аналитики?

Куча рассылаемых отчетов Excel – интерес руководителей, но не владельцев компании

Согласитесь, что подделать сложный / запутанный отчет гораздо проще, чем манипулировать данными аналитических панелей. Любая прозрачность данных “больного бизнеса” – это риск для среднего и высшего руководства компании. Они понимают, что владельцы сразу же придут к ним, если у владельца будет под рукой удобный аналитический инструмент. 

Исходя из этих предпосылок, можно предположить, что руководство (не владельцы) никогда не будут заинтересованы в разработке прозрачных дашбордов, с понятными и простыми сигналами “что не так” и “что нужно делать”. Они будут заинтересованы только в том, чтобы максимально неудобно представить данные, из которых сложно сделать “нужные выводы”.

Скорей всего это связано с тем, что люди, которые ставят ТЗ на разработку отчетов не имеют премий от прибыли компании, или от снижения издержек. Самая главная их задача – на совещаниях с умными лицами презентовать очередную порцию “умных отчетов”, чтобы их ценили за объемы аналитической работы.

Запомните – владельцам бизнеса нужен сигнал (светофор), чтобы понять, нужно ли кого-то пнуть, чтобы красный свет загорелся хотя бы на желтый, а в лучшем случае на зеленый.

Построить такой отчет очень сложно, т.к. нужно думать, гораздо проще придумать мудренную Excel с кучей столбцов и строк, которые зачастую между собой никак не коррелируют.

Создавайте базу знаний о бизнес-процессах в компании, делайте внутреннюю wiki

Очень часто и в разных компаниях видел ТЗ, в которых присутствует огромная куча различной терминологии, сокращений, формул, которые никак не расшифровываются и не поясняются развернуто.

Плюс очень часто в компании тот или иной бизнес-процесс может быть запутанным и нигде не описанным. Начиная разработку специалист шерстит всевозможные документы, письма, опрашивает коллег по тому или иному термину.

Приходит новый специалист и “исследовательская” работа повторяется снова.

Выход – создать внутреннюю базу знаний о бизнес-процессах в компании. Не называя имен компаний, я назову позитивные фишки, с которыми я встречался при устройстве в ту или иную компанию (ну или мои предположения, как это может выглядеть иначе в других компаниях):

1. При выходе на работу Вам приходит ссылка на обзорный курс про особенности бизнеса (компании), особенности рынка. Описываются основные бизнес-процессы (укрупненным планом). Описываются основные бизнес-термины. После прохождения курса можно пройти более углубленный курс, например, по расчетам тех или иных показателей бизнеса.
2. Возможность поработать 1 день на передовой бизнеса (фронт-офис) или посетить демо фронт-офис, в котором “как в жизни” можно понять что и как происходит.
3. При выходе на работу в первый день Вам приходит ссылка на страницу в wiki, где в неформальном виде описана вся движуха в компании, отделы и т.п. Неформальный стиль изложения – легкость восприятия информации.
4. Схемы, блок-схемы, потоки данных – иными словами наглядность информации, что происходит в компании.
5. Наличии системы управления требованиями, культура написания ТЗ. Когда Вам приходится искать то или иное требование в почте – это самое плохое, что только можно представить. А еще хуже, когда часть находится в почте, часть в мессенджере, часть в системе управления проектами и т.д.
6. База знаний запросов к системам. Один раз написали запрос – сохранили в базу с осмысленным заголовком и описанием, дальше другой сотрудник может этим запросом воспользоваться (если у него есть доступ к БД).

Здравый смысл

Оценивайте полученные результаты, показатели, отчеты на здравый смысл. Если Вы получили ROI = 500%, то очень вероятно стоит перепроверить (и желательно 2 раза) методику расчета показателя. Если показатель дает очень расплывчатый результат, то стоит ли этот показатель считать? Это как по популяции кроликов в южном округе оценивать спрос на мясо кроликов по стране. Проще потратить силы на отчет P&L, и понять откуда приходят деньги и куда уходят, чем заниматься пространственной аналитикой.

Методология расчета и реальная жизнь

Просите методолога/заказчика на основе его алгоритма сделать предварительный расчет в Excel. Так Вы сможете оценить жизнеспособность методологии расчета.
Разработка отчета в Qlik = 60 часов (например), предварительный расчет в Excel = 4-8 часов (со сбором данных)

Сообщение Этапы проекта Qlik Sense. Краткий обзор состава работ по проекту появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

В рамках простого календаря Qlik Sense находится минимальная и максимальная даты и в цикле while создается календарь.

Пример кода скрипта для создания календаря QlikSense:

// Получаем из таблицы фактов минимальную и максимальную даты
[TEMP Максимальная Минимальная Дата]:
LOAD min(Дата) 		As [Минимальная Дата],
     max(Дата) 		As [Максимальная Дата]
Resident [Таблица фактов];

// Минимальную и максимальную даты помещаем в переменные, 
// для того, чтобы использовать их в условии While
Let пНачалоКалендаря_Число 	  = Num(Peek('Минимальная Дата', 0, 'TEMP Максимальная Минимальная Дата'));
Let пОкончаниеКалендаря_Число = Num(Peek('Максимальная Дата', 0, 'TEMP Максимальная Минимальная Дата'));

// Удаляем временную таблицу
DROP Table [TEMP Максимальная Минимальная Дата];  

// Создаем набор дат в промежутке от минимальной до максимальной даты
[TEMP Набор дат в интервале MinDate - MaxDate]:  
LOAD 
     Date($(пНачалоКалендаря_Число) + IterNo() - 1) as [TEMP Дата]
AutoGenerate 1
While $(пНачалоКалендаря_Число) + IterNo() -1 <= $(пОкончаниеКалендаря_Число);  

// Формируем таблицу с календарем в моделе Qlik Sense
[Простой календарь QS]:  
Load 
     Date([TEMP Дата]) 													As Дата,
     Date([TEMP Дата],'DD MMMM YYYY')									As [Дата длинный месяц],
     Text(Date([TEMP Дата],'WWWW MMM YYYY'))							As [День недели МесяцГод],
     'Кв'& Ceil(Num(Month([TEMP Дата]))/3)								As Квартал,
     'Кв'& Ceil(Num(Month([TEMP Дата]))/3) & '-' & Year([TEMP Дата]) 	As КварталГод,
     Text(Date([TEMP Дата],'YYYY.MM')) 									As [Год Месяц],
     Text(Date([TEMP Дата],'MMM YYYY')) 								As [Месяц Год],
     Year([TEMP Дата]) 													As Год,
     Year([TEMP Дата])&'.'&Week([TEMP Дата])							As [Год Неделя],
     Week([TEMP Дата])													As Неделя,
     Day([TEMP Дата])													As День
Resident [TEMP Набор дат в интервале MinDate - MaxDate];

Drop Table [TEMP Набор дат в интервале MinDate - MaxDate];

Результат работы скрипта:

Оптимизированный календарь (ускоренное создание при большой таблице фактов). Advanced Calendar

Тот же самый календарь, но для ускоренной загрузки (если большая таблица фактов):

// Получаем из поля Дата минимальное и максимальное значения
[TEMP Максимальная Минимальная Дата]:
LOAD
     Min(FieldValue('Дата',RecNo())) 	As [Минимальная Дата],
     Max(FieldValue('Дата',RecNo())) 	As [Максимальная Дата]
AutoGenerate FieldValueCount('Дата');

// Минимальную и максимальную даты помещаем в переменные, 
// для того, чтобы использовать их в условии While
Let пНачалоКалендаря_Число 	  = Num(Peek('Минимальная Дата', 0, 'TEMP Максимальная Минимальная Дата'));
Let пОкончаниеКалендаря_Число = Num(Peek('Максимальная Дата', 0, 'TEMP Максимальная Минимальная Дата'));

// Удаляем временную таблицу
DROP Table [TEMP Максимальная Минимальная Дата];  

// Создаем набор дат в промежутке от минимальной до максимальной даты
[TEMP Набор дат в интервале MinDate - MaxDate]:  
LOAD 
     Date($(пНачалоКалендаря_Число) + IterNo() - 1) as [TEMP Дата]
AutoGenerate 1
While $(пНачалоКалендаря_Число) + IterNo() -1 <= $(пОкончаниеКалендаря_Число);  

// Формируем таблицу с календарем в моделе Qlik Sense
[Простой календарь QS]:  
Load 
     Date([TEMP Дата]) 													As Дата,
     Date([TEMP Дата],'DD MMMM YYYY')									As [Дата длинный месяц],
     Text(Date([TEMP Дата],'WWWW MMM YYYY'))							As [День недели МесяцГод],
     'Кв'& Ceil(Num(Month([TEMP Дата]))/3)								As Квартал,
     'Кв'& Ceil(Num(Month([TEMP Дата]))/3) & '-' & Year([TEMP Дата]) 	As КварталГод,
     Text(Date([TEMP Дата],'YYYY.MM')) 									As [Год Месяц],
     Text(Date([TEMP Дата],'MMM YYYY')) 								As [Месяц Год],
     Year([TEMP Дата]) 													As Год,
     Year([TEMP Дата])&'.'&Week([TEMP Дата])							As [Год Неделя],
     Week([TEMP Дата])													As Неделя,
     Day([TEMP Дата])													As День
Resident [TEMP Набор дат в интервале MinDate - MaxDate];

Drop Table [TEMP Набор дат в интервале MinDate - MaxDate];

Сообщение Простой календарь. Оптимизированный календарь. The Fastest Dynamic Calendar Qlik Sense появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Использование формата Time и Timestamp в задачах бизнес-аналитики встречается не так часто, как задачи с датами. Однако, если такая задача появляется, то появляется очень много вопросов как сделать то или иное преобразование.

В предыдущей главе учебника я описывал как хранится формат timestamp (из чего он состоит). В этом разделе я опишу дополнительно с помощью каких функций можно работать со значениями Time и Timestamp.

Итак, как мы выяснили раньше Timestamp – это дробное число, в котором целая часть – это дата, а дробная часть – это время (т.е. time). Все число – это дата время или timestamp.

Рассмотрим результат работы функции Now() и функций, которые изменяют либо формат отображения данных, либо само число:

Изменение в дробной части влияет на время, изменение в целой части влияет на дату. Если Вам необходимо придумать модель Qlik Sense, в которой будет хитрым образом обрабатываться время – этих знаний будет достаточно для того, чтобы “изобрести” нужный Вам алгоритм.

Топ функций в Qlik Sense для работы со временем

1. Now() – возвращает текущую Дату и текущее время (отображается в соответствии с системной переменной SET TimestampFormat=’DD.MM.YYYY h:mm:ss[.fff]’; см. вкладку Main в скрипте).

2. Time() и Time#() – аналог Date() и Date#(), только для времени). Time влияет только на отображение данных в модели, т.е. влияет только на формат отображения числа. Time# – сообщает Qlik в каком формате данные поступают на вход функции, результатом будет дробная часть (если формат определен корректно).

3. Frac() и Num() – Frac() оставляет от числа с дробной частью только дробную часть, т.е. остается часть со временем. Num() меняет формат отображения дата время на числовой формат (см. пример вверху). 

4. ReloadTime()

5. MakeTime()

6. ConvertToLocalTime()

7. FileTime() – с помощью этой функции в скрипте можно получить дату и время обновления файла. Пример получения даты и времени обновления файла qvd:

Let vFileDateTimeModified = FileTime('C:\QlikSenseProject\SourceData\QVD\РегистрПродаж.qvd');

8. Timestamp() и Timestamp#()

9. Interval()

Примеры (кейсы) по работе с форматом Time & TimeStamp

Qlik Sense & MakeTime: Минута – Час в числовом выражении

MakeTime(0,1) = 0:01:00					//1 минута
Frac(MakeTime(0,1)) = 0,000694444		//1 минута в числовом выражении
Frac(MakeTime(0,1))*60 = 0,041666667	//1 час в числовом выражении
Frac(MakeTime(0,1))*60*24 = 1			//1 день = 1 в числовом выражении

Округление дата + время = TimeStamp до минуты

Now()
Num(Now())
TimeStamp(Num(time(frac(floor(Now(),1/1440)),'hh:mm'))+floor(Now()))
Num(time(frac(floor(Now(),1/1440)),'hh:mm'))+floor(Now())

Результат работы формул:

Сообщение Основы работы со временем. Примеры Топ функций по работе с timestamp. Хранение Time в QlikSense появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

В этой статье я приведу пример PHP скрипта, который можно использовать для записи данных (каких то параметров) в базу данных MySQL.

<?php

	//Получаем переменные из URL запроса
	if (isset($_GET['field1']) and isset($_GET['field2']) and isset($_GET['field3'])) {
		$field1 	= htmlspecialchars($_GET["field1"]);
		$field2 	= htmlspecialchars($_GET["field2"]);
		$field3 	= htmlspecialchars($_GET["field3"]);
	}
	else {
		err();
	}                                             

	// Задаем коннекшн
	mysql_connect('ip_server_adress', 'login', 'password');
	//Устанавливаем несколько кодировок, иногда чего-то нехватает, лучше перестраховаться множеством установок
	mysql_query("set collation_connection = 'utf8_general_ci'");
	mysql_query("set character_set_client='utf8'");
	mysql_query("set character_set_results='utf8'");
	mysql_query("set character_set_system='utf8'");
	mysql_query('SET names=utf8');
	mysql_select_db('database_name');

	header('Content-Type: text/csv; charset=utf-8');
	header('Content-Disposition: attachment; filename=result.txt');
	$result = mysql_query(
						"INSERT INTO `mysql_table_name` (`field1`, `field2`, `field3`) 
						VALUES ('".$field1."', '".$field2."', '".$field3."')"
					);
	
	// создаем указатель файла, подключенный к выходному потоку
	$output = fopen('php://output', 'w');

	fwrite($output, "result\r\n");

	if($result){

		fputs($output, "ok");
	}
	else {
		fputs($output, "not ok");
	};

?>

Для того, чтобы вызвать php-скрипт, его необходимо разместить на сайте или IIS сервере. Вызов из скрипта Qlik Sense осуществляется следующим образом:

MySQL_Temp_Insert_Information:
LOAD result As MySQL_Temp_Insert_Information
FROM
[http://iis-server-website.ru/mysql/insert_info.php?field1=$(vField1)&field2=$(vField2)&field3=$(vField3)]
(txt, codepage is 1251, embedded labels, delimiter is '\t', msq);

DROP TABLE MySQL_Temp_Insert_Information;

Замечание: в URL адресе не должно быть пробелов, иначе QlikView или Qlik Sense выдаст ошибку. Не знаю почему такое происходит.

Сообщение PHP: Запись данных из скрипта Qlik Sense в MySQL появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Генерация данных Qlik Sense

Для начала сгенирируем данные для модели. Используем календарь Qlik Sense и генерацию элементов справочников в цикле:

SET ThousandSep=' ';
SET DecimalSep=',';
SET MoneyThousandSep=' ';
SET MoneyDecimalSep=',';
SET MoneyFormat='# ##0,00 ₽;-# ##0,00 ₽';
SET TimeFormat='h:mm:ss';
SET DateFormat='DD.MM.YYYY';
SET TimestampFormat='DD.MM.YYYY h:mm:ss[.fff]';
SET FirstWeekDay=0;
SET BrokenWeeks=1;
SET ReferenceDay=0;
SET FirstMonthOfYear=1;
SET CollationLocale='ru-RU';
SET CreateSearchIndexOnReload=1;
SET MonthNames='янв;фев;мар;апр;май;июн;июл;авг;сент;окт;ноя;дек';
SET LongMonthNames='январь;февраль;март;апрель;май;июнь;июль;август;сентябрь;октябрь;ноябрь;декабрь';
SET DayNames='пн;вт;ср;чт;пт;сб;вс';
SET LongDayNames='понедельник;вторник;среда;четверг;пятница;суббота;воскресенье';
SET NumericalAbbreviation='3:тыс.;6:млн.;9:млрд.;12:трлн.;15:P;18:E;21:Z;24:Y;-3:m;-6:μ;-9:n;-12:p;-15:f;-18:a;-21:z;-24:y';

//Формирование календаря
QuartersMap:  
MAPPING
LOAD rowno() as Month,  
     'Кв.' & Ceil (rowno()/3) as Quarter  
AUTOGENERATE (12);

Let varMinDate 	= Num(MakeDate(2017,1,1));
Let varMaxDate 	= Num(Today());
      
TempCalendar:  
LOAD $(varMinDate) + Iterno()-1 As Num,  
     Date($(varMinDate) + IterNo() - 1) as TempDate
AutoGenerate 1
While $(varMinDate) + IterNo() -1 <= $(varMaxDate);  
      
Календарь:  
Load 
     Date(TempDate) 															As Дата,
     week(TempDate) 															As Неделя,
     Month(TempDate) 															As Месяц,
     Text(SubField(Date(TempDate,'DD MMMM YYYY'),' ',2))						As МесяцПолный,
     ApplyMap('QuartersMap', month(TempDate), Null()) 							As Квартал,
     Year(TempDate) 															As Год,
     Day(TempDate) 																As НомерДень,
     Week(weekstart(TempDate)) & '-' & WeekYear(TempDate) 						As НеделяГод,
     Month(TempDate) & '-' & Year(TempDate) 									As МесяцГод,
     ApplyMap('QuartersMap', month(TempDate), Null()) & '-' & Year(TempDate) 	As КварталГод,
     WeekDay(TempDate)													 		As ДеньНедели
Resident TempCalendar  
Order By TempDate ASC;

Drop Table TempCalendar;

// Генерация справочников
For i=1 to 15
  Контрагенты:
  Load
       $(i)	As [Контрагент ID],
       'Контрагент $(i)' As [Контрагент Наименование]
  AutoGenerate 1;
Next i

For i=1 to 20
  Товары:
  Load
       $(i)	As [Товар ID],
       'Товар $(i)' As [Товар Наименование]
  AutoGenerate 1;
Next i

GenerateFact:
LOAD [Контрагент ID]
Resident Контрагенты;

JOIN (GenerateFact)
LOAD [Товар ID]
Resident Товары;

JOIN (GenerateFact)
LOAD Дата
Resident Календарь;

NoConcatenate
Fact:
LOAD 
     [Контрагент ID], 
     [Товар ID], 
     Дата,
     Rand()*(Rand() + Rand()*Rand())*(4000-4000*Rand()) + Rand()*100 - Rand()*50 as Продажи
Resident GenerateFact;

DROP Table GenerateFact;

Загружаем данные, получится такая вот модель Qlik Sense:

Создаем панель сравнения продаж по двум периодам

Первым шагом необходимо создать 2 состояния в режиме правки листа (Основные элементы -> Другие состояния):

• ВыборкаДаты1
• ВыборкаДаты2

Затем используем элемент Qlik Dashboard bundle -> Date Picker (выбираем дату и в свойствах “Другие состояния” выбираем ВыборкаДаты1). Создаем два элемента Date Picker (второй настраиваем с состоянием ВыборкаДаты2):

Затем формируем таблицу: в измерении Контрагент, в мерах создаем следующие выражения:

Выражение 1:

sum({<Дата=[ВыборкаДаты1]::Дата>} [Продажи])

Метка для выражения 1:

='Продажи '&min({[ВыборкаДаты1]} Дата)&' - '&max({[ВыборкаДаты1]} Дата)

Для выражения 2 делаем все по аналогии, только используем состояние [ВыборкаДаты2].

Скачать пример Qlik Sense со сравнением двух периодов

Сообщение Сравнение двух периодов в Qlik Sense & Date Picker появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.