Как собрать с помощью PowerShell информацию по всем QVD из всех директорий?

Сообщение Как собрать с помощью PowerShell информацию по всем QVD из всех директорий? появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

В этой статье будет описано как построить диаграмму сравнения величин со скользящим средним.

Qlik Sense Control chart – Расчетный доход (USD) over Месяц against rolling mean

Данная диаграмма применяется для контроля расчета величин. В случае больших отклонений следует обратить внимание на данные.

На графике 4 линии:

• Расчетный доход (USD)
• Average
• Upper control limit
• Lower control limit

Расчетный доход (USD)

=sum([Расчетный доход (USD)])

Average

=sum([Расчетный доход (USD)])

Upper control limit

=column(2) + (3 * stdev(total aggr(sum([Расчетный доход (USD)]),[Месяц])))

Lower control limit

=column(2) - (3 * stdev(total aggr(sum([Расчетный доход (USD)]),[Месяц])))

Сообщение Как построить диаграмму Control Chart со скользящим средним в Qlik Sense? появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Если порядок строк неважен, то есть простой способ без редактирования стилей css в теме сделать таблицу с чередованием цвета, как на картинке:

В каждом измерении и каждой мере нужно прописать формулу в поле background color:

=if(mod(rowNo(),2)=0, 'white', '#F0F0F0')

Но при таком подходе сбивается сортировка в таблице и не реагирует на изменение сортировки при клике на тот или иной столбец. Даже использование выражения для сортировки по условию Вам не поможет. Будьте аккуратны с этим подходом!

Описание проблемы и причины

Источник: The Qlik Sense table sort order and the sort order of the y-values in charts changes when RowNo() function is used

Порядок сортировки, определенный в таблице, не соблюдается, когда в выражении используется RowNo(). Сортировка возвращается к определенному порядку, если RowNo() удаляется.

Использование Inter Record Functions (например, RowNo()) в табличном выражении или на диаграмме ограничивает возможность сортировки.

Описание этой функции можно найти в документации: InterRecordFunctions-RowNo()

При использовании этой функции невозможно установить порядок сортировки.

Сообщение Как сделать чередование цвета в строках прямой таблицы Qlik Sense? появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Переменная вводится в Excel в конечном формате:

sum({<Дата={">=$(=Date('$(пПериод1)'))"}>*<Дата={"<=$(=Date('$(пПериод2)'))"}>*<[Клиент ID]={$(=Concat({$} DISTINCT chr(39)&[КлиентПоКаналуПродаж ID]&chr(39),','))}>} [Сумма])

Excel:

Скрипт генерации переменных/ скрипт загрузки переменных из Excel:

[Переменные с формулами]:
LOAD
    ИмяПеременной,
    replace(Формула, '$' & '(', '#(') As Формула
FROM [lib://FileSources/Variables.xlsx]
(ooxml, embedded labels, table is varExpressions);

LET vName = '';
LET vValue = '';

For iRow = 0 to NoOfRows('Переменные с формулами') - 1

    LET vName = Peek('ИмяПеременной', $(iRow), 'Переменные с формулами');
    LET vValue = Peek('Формула', $(iRow), 'Переменные с формулами');

    LET $(vName) = replace(vValue, '#(', '$' & '(');

Next iRow

Drop Table [Переменные с формулами];

Сообщение Загрузка переменных в Qlik Sense из файла Excel появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Магический квадрант для платформ аналитики и бизнес-аналитики

Определение self-service меняется в этой области по мере того, как возможности платформ расширяются. В то же время облачные экосистемы и согласованность с инструментами повышения производительности стали ключевыми факторами выбора. Этот Magic Quadrant поможет руководителям отдела данных и аналитики составить план развития аналитики и бизнес-аналитики.

Определение / описание рынка

• Безопасность: возможности, обеспечивающие безопасность платформы, администрирование пользователей, аудит доступа к платформе и аутентификацию.
• Управляемость: возможности, которые отслеживают использование платформы ABI и управляют тем, как (и кем) предоставляется информация.
• Облачная аналитика: возможность поддержки построения, развертывания и управления аналитикой в ​​облаке на основе данных, хранящихся как в облаке, так и локально.
• Подключение к источнику данных: возможности, которые позволяют пользователям подключаться, запрашивать и принимать данные, оптимизируя при этом производительность.
• Подготовка данных: поддержка перетаскивания, управляемой пользователем комбинации данных из разных источников, а также создание аналитических моделей (таких как определяемые пользователем меры, наборы, группы и иерархии).
• Каталог: возможность автоматически создавать и курировать доступный для поиска каталог аналитического контента, что упрощает аналитическим потребителям информацию о том, какой контент доступен.
• Автоматизированная аналитика: основной атрибут расширенной аналитики, это применение методов машинного обучения для автоматического получения результатов для конечных пользователей (например, путем определения наиболее важных атрибутов в наборе данных).
• Визуализация данных: поддержка высокоинтерактивных панелей мониторинга и исследования данных путем манипулирования изображениями диаграмм.
• Повествование данных: возможность сочетать интерактивную визуализацию данных с методами повествования, чтобы упаковать и доставить аналитический контент в привлекательной, легко понятной форме для представления лицам, принимающим решения.
• Запрос на естественном языке (NLQ): это позволяет пользователям задавать вопросы и запрашивать данные и аналитический контент, используя термины, которые либо вводятся в поле поиска, либо произносятся.
• Генерация естественного языка (NLG): автоматическое создание лингвистически насыщенных описаний ответов, данных и аналитического контента. В контексте аналитики, когда пользователь взаимодействует с данными, повествование динамически меняется, чтобы объяснить ключевые выводы или значение диаграмм или панелей мониторинга.
• Отчетность: возможность создавать и распространять (или «пакетировать») многостраничные отчеты с идеальной пиксельной структурой для пользователей по расписанию.

Qlik

2021 Gartner Magic Quadrant BI, 2021 Gartner BI, 2021 Гартнер квадрант официальный pdf, 2021 Гартнер квадрант БиАй, 2021 Гартнер квадрант Аналитика, 2021 Gartner BI Power BI, 2021 Gartner BI Tableau, 2021 Gartner BI Qlik Sense, 2021 Gartner BI Sisense, 2021 Gartner BI ThoughtSpot, 2021 Gartner BI Looker

Сообщение 2021 Gartner Magic Quadrant for Business Intelligence (BI) and Analytics появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

BARC Data, BI and Analytics Trend Monitor 2021 отражает тенденции бизнес-аналитики, аналитики и управления данными, которые в настоящее время определяют рынок  с точки зрения пользователей.

• MD/DQ management
• Data discovery/visualization
• Establishing a data-driven culture
• Data governance
• Self-service analytics
• Data warehouse modernization
• Data preparation by business users
• Agile BI development
• Analytics on real-time data
• Alerting
• Advanced analytics/machine learning/AI
• Integrated platforms for PM & analytics
• Embedded BI and analytics
• Cloud for data & analytics
• Mobile BI
• Analytics teams/data labs
• Decision automation
• Data catalogs
• Augmented analytics
• IoT data & analytics

Общий рейтинг:

Как изменились оценки по сравнению с 2017 годом:

Общий вывод

Master data и data quality management на первом месте и data discovery на втором – это вечнозеленые технологии, которые занимают эти высшие позиции уже четыре года подряд. Многие компании считают эти две тенденции важными, и их значение выходит за рамки отдельных регионов и секторов промышленности.

Создание культуры, основанной на данных (data-driven culture) – это тенденция, впервые представленная в BARC BI Trend Monitor два года назад. Начиная с пятого места в первом издании, в прошлом году он поднялся на третье место, где он остается в этом году.

Управление данными (Data governance) и бизнес-аналитика с самообслуживанием (self-service BI) – четвертое и пятое места соответственно, были одинаково устойчивыми тенденциями, но самообслуживание занимало более высокие позиции до того, как была введена культура, основанная на данных.

В целом, эти пять основных тенденций представляют собой основу для организации управления собственными данными и их эффективного использования. Более того, они демонстрируют, что организации осознают важность высококачественных данных и их эффективное использование. Организации хотят выйти за рамки сбора как можно большего количества данных и активно использовать данные для улучшения своих бизнес-решений.

Тенденции в области аналитики данных в 2021 году

Интерактивные информационные панели без кода для повествования данных

Платформы без кода и с низким уровнем кодирования стали широко обсуждаемой технологией, которая привлекла внимание технических сообществ и привлекла значительные инвестиции в стартапы, предлагающие такие решения. Однако над этими инструментами работают не только стартапы. Claris, принадлежащая Apple, также стремится предложить «мощные технологии, доступные каждому».

Компании, поставляющие такие инструменты, убивают двух зайцев одним выстрелом. Команды разработчиков и разработчики освобождаются от утомительной работы по написанию кода для каждого взаимодействия вручную, в то время как это открывает путь для “нетехнических” людей, которые могут внести свой вклад в эти проекты.

Трудно переоценить ценность такого рода инструментов для бизнеса, особенно когда речь идет об интерактивных панелях мониторинга для Data Storytelling. Аналитики данных могут проводить анализ закономерностей и получать индивидуальную визуализацию практически мгновенно, без программирования. Исходя из нашего собственного опыта, мы видим, что более 75 процентов запросов сосредоточены на аналитике и визуализации без использования кода, и эта тенденция определяется организациями, которые ищут способы внедрить динамичный рабочий процесс без привлечения дополнительных специалистов.

Интересно, что даже при наличии приложений для историй данных, которые предлагают исчерпывающие объяснения изменений данных, предприятия по-прежнему склонны использовать информационные панели, которые отслеживают и отображают только точки данных.

Более быстрый обмен данными (data sharing)

Sharing – это забота о коллегах. В случае data sharing также означает сотрудничество и рост. Однако проблемы с безопасностью данных вызвали озабоченность правительства, что привело к принятию нескольких законов о конфиденциальности. Это обязывает организации по закону использовать данные пользователей безопасно – под угрозой штрафов, судебных исков и запретов на использование сайтов.

В результате, когда данные могут быть переданы быстро и без риска, это вскружит голову владельцам бизнеса и заставит инвесторов залезть в свои карманы. Потребность в решениях для быстрого и простого обмена данными ярко иллюстрируется хорошо финансируемыми стартапами, специализирующимися на передаче файлов.

Кроме того, результаты в GIS Community Insights 2020 от Aspectum демонстрируют растущий интерес к решениям для анализа местоположения, которые могут включать несколько потоков данных. Ключевым требованием, наряду с безопасностью и надежностью, является доступность всего за несколько кликов. Примечательно, что существует потребность в инструментах, которые могут быть легко доступны как программистам, так и аналитикам.

Ограничения потока данных не должны быть единственным фактором, определяющим развитие обработки данных. Также необходимо решить проблему монополий на данные – когда небольшое количество компаний контролирует подавляющее большинство интернет-данных. Для участников отрасли и правительств важно работать вместе над созданием инфраструктур данных, которые позволяют организациям, а также отдельным пользователям иметь полный контроль над своими данными, включая безопасные способы их совместного использования.

Истории данных или Data Stories

В настоящее время в области анализа данных используется множество dashboards для визуализации данных и передачи данных лицам, принимающим решения, например акционерам компании. Но теперь data stories становятся все более популярными. 

Вы бы предпочли просто увидеть факты и цифры о данных, упорядоченные на информационной панели, или увидеть историю, которая показывает путь данных для вашей компании? Большинство из вас в любой день выберут хорошую историю! Вот почему истории данных становятся настолько популярными, особенно для непрофессионалов, не обладающих специфическими знаниями в области анализа данных. Gartner даже прогнозирует, что к 2025 году истории данных станут самым популярным методом передачи аналитических данных. Так что, если вы хороший рассказчик и хороший аналитик данных, вам повезло!

Расширенная аналитика или Augmented Analytics

Расширенная аналитика: использует машинное обучение и искусственный интеллект для улучшения аналитики данных, находя новый метод создания, разработки и обмена данными аналитики. Многие бизнес-клиенты предпочитают расширенную аналитику традиционной аналитике, чтобы уменьшить человеческие ошибки и предвзятость.

Расширенная аналитика становится все более популярной на этом рынке, который, согласно прогнозам, вырастет с 8,4 млрд долларов в 2018 году до примерно 18,4 млрд долларов во всем мире к 2023 году. Поэтому неудивительно, что он уже активно используется в 2020 году с большими перспективами роста в 2021 году.

Расширенная аналитика может улучшить аналитику данных, уже используемую компаниями, путем поиска нового метода создания, разработки и обмена данными аналитики с помощь машинного обучения и искусственного интеллекта. Это означает, что компании могут автоматизировать многие аналитические возможности, такие как создание, анализ и построение моделей данных. Расширенная аналитика также значительно упрощает взаимодействие с данными и объясняет полученные данные, которые помогают в исследовании и анализе данных. Это полностью изменило облик бизнес-аналитики и аналитики данных, где пользователи могут легко получать данные, очищать их, а затем находить корреляции или закономерности.

Облачные службы данных (Data Cloud Services)

Данные могут быть огромными! Некоторые источники даже говорят, что каждый день в мире создается более 2,5 квинтиллионов байт данных (это 9 нулей!). В то время как крупные компании, такие как Google, могут легко обрабатывать свои данные на складах, небольшим компаниям очень сложно управлять и хранить данные. чтобы получить представление. Вот почему в наши дни так популярны облачные сервисы для анализа данных. 

Так же, как программное обеспечение как услуга, данные как услуга (DaaS) – это облачная служба, использующая облачные вычисления для предоставления услуг хранения, обработки, интеграции данных и анализа данных компаниям, использующим сетевое соединение. Следовательно, данные как услуга могут использоваться компаниями, чтобы лучше понимать свою целевую аудиторию с помощью данных, автоматизировать часть их производства, создавать более качественные продукты в соответствии с рыночным спросом и т.д.

DaaS уже предоставляется многими поставщиками услуг, такими как Microsoft Azure, SAP и т. д.

X Analytics

Аналитика данных до сих пор в основном ограничивается одним типом данных в табличной форме. В основном, когда кто-то говорит об аналитике, на ум приходят данные, состоящие из рядов чисел в электронной таблице. Однако у компании также есть много других форм данных, таких как видео, текст, аудио и т.д. Поэтому, если компаниям нужно опережать своих конкурентов, им также необходимо использовать этот тип данных. В этом вся суть X Analytics. Это может означать видеоаналитику, аудиоаналитику, текстовую аналитику и так далее. 

Очень распространенный пример текстовой аналитики – аналитика настроений, при которой компании могут анализировать общее настроение и настроения своих клиентов, изучая их отзывы. Другой пример – видеоаналитика Google, полезная для анализа и классификации объектов в видео. 

Фактически, X аналитика становится настолько популярной, что к 2025 году 75% компаний из списка Fortune 500 могут использовать его в той или иной форме.

Периферийные вычисления (Edge Computing)

Данные становятся хлебом с маслом для большинства компаний. Однако эти данные генерируются во многих местах, и в большинстве случаев физические устройства хранения данных для облака находятся далеко от того места, где данные генерируются. 

Перенос этих данных становится очень дорогостоящим, а также приводит к увеличению задержки данных. Вот где на помощь приходят Edge Computing! Edge Computing гарантирует, что вычислительные центры и центры хранения данных находятся ближе к границе топологии, где эти данные генерируются или где они потребляются. 

Это лучшая альтернатива, чем размещение этих центров хранения в центральном географическом месте, которое фактически находится за тысячи миль от данных, которые производятся или используются. Edge Computing гарантирует отсутствие задержек в данных, которые могут повлиять на производительность приложения, а также снижает потери при передаче данных. И там, где есть сокращение потерь денег, эта технология обязательно станет популярной. 

Gartner прогнозирует, что 75% всех данных, которыми управляют компании, будут обрабатываться с использованием периферийных вычислений по сравнению с 10% в 2018 году.

3 ключевых BI тренда на картинке

Self-Service BI Interfaces

Анализ больших данных – сложный процесс, который требует значительного участия профессиональных специалистов по данным. К счастью, с появлением самообслуживания BI (SSBI) подход к аналитике данных быстро меняется.

Самостоятельная бизнес-аналитика долгое время была в списке желаний компаний. Бизнес-пользователям не нравилась сложность жестких инструментов бизнес-аналитики. Кроме того, необходимость привлечь специалистов по обработке данных для создания аналитики увеличивала эксплуатационные расходы. Следовательно, это вызвало постоянное стремление к самообслуживанию и гибкости в анализе и отчетности.

Затем родилась бизнес-аналитика с самообслуживанием. Статистика показывает, что self-service BI по-прежнему остается главным приоритетом для многих предприятий (см. BARC BI Trend Monitor).

Self-service BI позволяет бизнес-пользователям самостоятельно решать задачи бизнес-аналитики без привлечения специалистов по данным или ИТ-специалистов. Таким образом, он дает пользователям возможность фильтровать, сортировать и анализировать корпоративные данные, не обладая необходимыми техническими навыками анализа данных.

Интересно, что в будущем Self-service BI позволит производить больше аналитики, чем специалисты по данным. Это указывает на растущую важность самообслуживания BI. Поскольку все больше и больше компаний планируют использовать бизнес-аналитику для продвижения культуры, основанной на данных, тенденция самообслуживания бизнес-аналитики будет только набирать обороты.

Управление качеством данных (DQM)

В наши дни данные – это источник существования любого бизнеса. Данные помогают компании прогнозировать ожидания клиентов, получать информацию о конкурентах, осуществлять эффективное управление продуктами и принимать информированные нисходящие решения. Нет никаких сомнений в том, что большие данные оказывают огромное влияние на траекторию развития любого бизнеса.

Однако есть одно важное предостережение: если данные не являются точными, актуальными, непротиворечивыми и полными, это может подорвать ценность бизнеса и снизить прибыльность. По оценкам IBM, только в США предприятия ежегодно теряют 3,1 триллиона долларов из-за низкого качества данных (IBM). 

Низкое качество данных – проблема, которая давно преследует предприятия любого размера. Следовательно, проблема может усугубиться по мере того, как источники данных становятся все более взаимосвязанными.

Рост тенденции управления качеством данных (DQM) – долгожданное облегчение для всех предприятий. Управление качеством данных – это неотъемлемый процесс, который сочетает в себе технологию, процесс, нужных людей и организационную культуру для предоставления данных, которые не только точны, но и полезны. Что еще более важно, качество данных – это не значит быть хорошим или плохим; это набор показателей, которые измеряют состояние данных, используемых для анализа.

Управление качеством данных (DQM) дает представление о перекачке данных в бизнес. Он улучшает структуру управления данными и обеспечивает стандартизацию данных, гарантируя, что данные, используемые для анализа, могут дать четкую картину повседневных бизнес-операций. В результате руководители бизнеса могут принимать точные решения, которые продвигают бизнес вперед.

Управление качеством данных (DQM) было одной из самых горячих тенденций бизнес-аналитики в 2020 году. Сегодня каждый бизнес хочет внедрить процессы качества данных, чтобы расширить свои возможности по использованию бизнес-аналитики. Учитывая то значение, которое она приобрела, эта тенденция будет продолжать вызывать волнения в 2021 году.

Mobile BI

Мобильная бизнес-аналитика все больше интегрируется в решения бизнес-аналитики, и в следующем году эта тенденция, безусловно, не потеряет своего значения. Фактически, это одна из наиболее заметных новых тенденций в области бизнес-аналитики.

Несколько лет назад мобильная бизнес-аналитика считалась огромным вихрем в сообществе аналитиков. Проникновение на рынок все еще растет, хотя и медленно, но в следующем году мы увидим еще больше поставщиков и решений бизнес-аналитики, которые будут иметь эту возможность в своем программном обеспечении, например, в современных мобильных информационных панелях. Но не только производители, но и компании будут внедрять мобильные решения и активно их использовать, поскольку это предоставит им множество преимуществ: доступ к вашей информации в любое время и в любом месте – во время поездки в поезде или отдыха на пляже. Физическое присутствие в офисе с каждым годом становится все менее необходимым, и это, безусловно, влияет и на бизнес-индустрию. Мобильная бизнес-аналитика позволяет компаниям иметь доступ к своим данным также в режиме реального времени, обеспечивая более быструю реакцию на любые события в бизнесе и предоставляя больше свободы пользователям, которые в настоящее время не находятся в офисе, но нуждаются в доступе к важной бизнес-информации на ходу.

Это одна из тенденций рынка бизнес-аналитики, которая не исчезнет в ближайшее время. Поскольку в 2018 году он оценивался в 6,18 млрд долларов США, по прогнозам, он вырастет со среднегодовым темпом роста 22,43% к 2024 году. Хотя на решения компаний по внедрению мобильной бизнес-аналитики влияют проблемы, такие как ограниченный размер экрана и дизайн интерфейса, чтобы обеспечить максимальное удобство использования, мобильные устройства, несомненно, останутся одной из тенденций, которые компании будут рассматривать в 2021 году.

Встроенная аналитика (Embedded Analytics)

Компании осознали потенциал встраивания различных решений бизнес-аналитики, таких как информационные панели KPI или отчеты, в свои собственные приложения, что позволяет улучшить процессы принятия решений и повысить производительность. 

Ранее задушенные электронными таблицами компании осознали, как использование  встроенной бизнес-аналитики позволяет им обеспечивать более высокую ценность в своих собственных приложениях. Фактически, согласно исследованию Allied Market, прогнозируется, что к 2023 году рынок встроенной аналитики достигнет 60,28 млрд долларов США при среднегодовом темпе роста 13,6% с 2017 года , и это одна из тем бизнес-аналитики, о которой мы еще больше услышим в 2021 году.

Независимо от того, нужно ли вам создать отчет о продажах или отправить клиентам несколько информационных панелей, встроенная аналитика становится стандартом в бизнес-операциях, и в 2021 году мы увидим, что еще больше компаний примут ее на вооружение. 

Департаменты и владельцы компаний ищут профессиональные решения для представления своих данных без необходимости создания собственного программного обеспечения. Просто отметив выбранное приложение белой этикеткой, организации могут добиться безупречной презентации и отчетности, которые они могут предложить потребителям. Это одна из тенденций в аналитике, которую можно реализовать немедленно, поскольку многие поставщики уже предлагают такую ​​возможность и гарантируют, что приложение работает без проблем и без особых сложностей.

Обработка графов (Graph Processing)

Обработка графов относится к методам, которые включают графическое представление отношений между различными объектами, включая места, вещи и людей. Обработка графов, которая обеспечивает адаптивную и сложную науку о данных, имеет широкий спектр приложений в области социального анализа, обнаружения мошенничества и исследования генома. Gartner прогнозирует 100% ежегодный рост этой технологии до 2022 года.
Методы графической и сетевой аналитики для открытия новых бизнес-идей и возможностей.

Сообщение Тренды 2021 в BI, анализе данных, визуализации данных появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Вот пример нескольких строк из лога access.log:

qliksense.ivan-shamaev.ru 95.55.137.247 - - [06/Jan/2021:00:01:11 +0300] "GET /feed/ HTTP/1.1" 304 - "-" "FeedDemon/4.5 (http://www.feeddemon.com/; Microsoft Windows)" 242702 149999:66666
qliksense.ivan-shamaev.ru 213.87.161.129 - - [06/Jan/2021:00:01:11 +0300] "GET /sas-cpm-activity-based-costing-and-activity-based-budgeting/ HTTP/1.1" 200 291311 "https://qliksense.ivan-shamaev.ru/" "Mozilla/5.0 (Linux; Android 9; Redmi Note 8 Pro) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.101 Mobile Safari/537.36" 530205 336666:109999
qliksense.ivan-shamaev.ru 109.254.191.1 - - [06/Jan/2021:00:02:01 +0300] "POST /wp-admin/admin-ajax.php HTTP/1.1" 200 2 "https://qliksense.ivan-shamaev.ru/doing-swot-analysis/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 OPR/73.0.3856.284" 274095 149999:83333

Вот пример строк из error.log:

[Wed Jan 06 17:56:45 2021] [error] [client 176.31.246.76:23467] AH01797: client denied by server configuration: /homeenv/useradmin/qliksense.ivan-shamaev.ru/wp-login.php, referer http://qliksense.ivan-shamaev.ru/

Логи лежат в нескольних директориях. Поэтому я использую inline таблицу для настройки скрипта, откуда грузить логи. Итак вот код парсинга, в котором я вытаскиваю нужные мне параметры:

// Директории
DirList:
Load * Inline [
    DirectoryName
    ivan-shamaev.ru
    qliksense.ivan-shamaev.ru
];

// access.log
For iRow = 0 to NoOfRows('DirList') - 1

    LET vDirectoryName = Peek('DirectoryName',$(iRow),'DirList');

    For Each vFile in FileList('lib://WebSitesLogs/$(vDirectoryName)/*.access.log*')
    
        Trace >>> LOAD FILE: $(vFile);
        
        [TEMP access.log]:
        LOAD
        	Distinct
            "@1:n"		As [Initial Access Log Text]
        FROM [$(vFile)]
        (fix, codepage is 28591, no labels);
        
        Trace --------------------------;

    Next

Next iRow;

//==========================================

SET vSubStringSettingsBot = '''*bot*''';
SET vSubStringSettingsWordPress = '''*wordpress*''';
SET vSubStringSettingsPython = '''*python*''';
SET vSubStringSettingsSocialNetAndSearchers = '''*vk.com*'',''*facebook.com*'',''*mail.ru*''';
SET vSubStringSettingsNuclei = '''*nuclei*'',''nuclei*''';


Qualify *;

[AL]:
Load
    RowNo()											As RowID,
    *,
    SubField([ResponseText],' ',1)								As [Response Code],
    SubField([Type of Request Full Text],' ',1)							As [Type of Request],
    SubField([Type of Request Full Text],' ',2)							As [URL Request],
    Pick(
    	RangeSum(WildMatch(
                    lower([Request Details]),
                        '*bot*',
                        '*wordpress*',
                        '*python*',
                        '*vk.com*','*facebook.com*','*mail.ru*',
                        '*nuclei*'),
                1),
        'Indefined',
        'Bot',
        'WordPress',
        'Python',
        'Social Network & Search Engines','Social Network & Search Engines','Social Network & Search Engines',
        'Nuclei'
        )									As [Mannual Category of Request]
;
Load
    [Initial Access Log Text],
    [Web Site Name],
    [IP],
    [TimeStamp],
    Date(Floor(Date#(Left([TimeStamp],11),'DD/MMM/YYYY')))			As Date,
    Time(Time#(Trim(Mid([TimeStamp],13,8)),'hh:mm:ss'))				As [Time],
    trim(replace(SubField([Second Part Of Text],'" ',1),'"',''))		As [Type of Request Full Text],
    trim(replace(SubField([Second Part Of Text],'" ',2),'"',''))		As [ResponseText],
    trim(replace(SubField([Second Part Of Text],'" ',3),'"',''))		As [Request Details],
    trim(replace(SubField([Second Part Of Text],'" ',4),'"',''))		As [Others 1]
;
Load
    [Initial Access Log Text],
    replace(SubField([Initial Access Log Text],' ',1),'www.','')		As [Web Site Name],
    SubField([Initial Access Log Text],' ',2) 					As [IP],
    TextBetween([Initial Access Log Text],'[',']')				As [TimeStamp],
    Trim(Mid([Initial Access Log Text],
    	index([Initial Access Log Text],']')+1))				As [Second Part Of Text]
Resident [TEMP access.log];

Unqualify *;

Drop Table [TEMP access.log];

// error.log
For iRow = 0 to NoOfRows('DirList') - 1

    LET vDirectoryName = Peek('DirectoryName',$(iRow),'DirList');

    For Each vFile in FileList('lib://WebSitesLogs/$(vDirectoryName)/*.error.log*')
    
        Trace >>> LOAD FILE: $(vFile);
        
        [TEMP error.log]:
        LOAD
            FileName()		As [File Name],
            "@1:n"			As [Initial Error Log Text]
        FROM [$(vFile)]
        (fix, codepage is 28591, no labels);
        
        Trace --------------------------;

    Next

Next iRow;


Qualify *;

  [EL]:
  Load
      RowNo()													As RowID,
      *,
      SubField([IP Port],':',1)											As IP,
      SubField([IP Port],':',2)											As Port
  ;
  Load
      *,
      Date(Floor(Date#(Mid([TimeStamp Text],5,6)&' '&Right([TimeStamp Text],4),'MMM DD YYYY')))			As Date,
      Time(Time#(Mid([TimeStamp Text],12,8),'hh:mm:ss'))							As Time,
      SubField([Client and IP],' ',1)										As Client,
      SubField([Client and IP],' ',2)										As [IP Port],
      SubField([Other Text],':',1)										As [Type Error],
      SubField(SubField([Other Text],':',2),' (',1)								As [Type Details Error]
  ;
  Load
      left([File Name],index([File Name],'error.log')-2)							As [Web Site],
      [Initial Error Log Text],
      replace(replace(SubField([Initial Error Log Text],'] ',1),'[',''),']','')		As [TimeStamp Text],
      replace(replace(SubField([Initial Error Log Text],'] ',2),'[',''),']','')		As [Type of message],
      replace(replace(SubField([Initial Error Log Text],'] ',3),'[',''),']','')		As [Client and IP],
      replace(replace(SubField([Initial Error Log Text],'] ',4),'[',''),']','')		As [Other Text]
  Resident [TEMP error.log];

Unqualify *;

Drop Table [TEMP error.log];

В приведенном выше коде есть пример сложного парсинга, определение даты из строки, разложения строки лога с помощью различных функций, таких как:

• SubField
• TextBetween

Сообщение Пример парсинга логов без фиксированных разделителей появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

Скачать документ с полным обзором:

Сообщение BI тренды 2020 от BARC обзор главных тенденций появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

• Парсинг приложений Nprinting 16
• Загрузка JSON в формате CSV
• Уведомления в Telegram

Сообщение qRUG Camp 2018 – моя презентация появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.

В этой статье будет рассмотрено “Числовой формат данных. Число с плавающей точкой Qlik. Округление”

QlikView и Qlik Sense используют 64-битный двоичный формат двойной точности с плавающей запятой (IEEE 754 – широко используемый стандарт IEEE, описывающий формат представления чисел с плавающей точкой) для хранения всех чисел. 

Это означает, что для хранения числа используются 64 бита:

• один бит для знака,
• 11 бит для показателя степени и
• 52 бита для самого числа. 

52-битное число соответствует приблизительно 15 значащим десятичным разрядам. Это означает, что Qlik Sense может хранить целые числа до 14 цифр, сохраняя при этом точность числа. Однако целые числа, содержащие более 14 цифр, будут округлены до 14 значащих цифр.

Для нецелых чисел ситуация немного отличается. Некоторые дробные числа могут храниться в точной форме, например, 0.5 и 0.25, поскольку они имеют точный двоичный аналог. Но другие не могут, например, 0.1 и 0.2, поскольку они не имеют точного двоичного аналога.

Это не ошибки ни в Qlik Sense, ни в IEEE 754. Скорее они представляют ошибки в ожидании двоичных чисел с плавающей запятой. Просто некоторые значения не могут быть точно представлены в виде двоичных чисел, поэтому получаются ошибки округления. Обойти это невозможно, кроме как сначала преобразовать число с плавающей запятой в целое число (путем умножения) (не оставляя десятичной части), а затем округлить (или усечь) целое число соответствующим образом и, наконец, преобразовать целое число обратно в число с плавающей запятой (делением).

Если в приложении необходимо получить высокую точность в вычислениях, скажем, до двух цифр после десятичной запятой, Вы можете умножить необработанные данные на 100, прежде чем они будут сохранены, как число в Qlik Sense (в скрипте загрузки данных в модель). Сохраняйте все такие числа в 100 раз больше, чем они должны быть, а затем делите их на 100 в любом вычислении при построении визуализации.

Сообщение Числовой формат данных. Число с плавающей точкой Qlik. Округление появились сначала на Qlik Sense - Обучение, учебник, онлайн курс.