Обработка данных в современных платформах бизнес аналитики происходит где

Платформы анализа данных: что они умеют и как понять, нужны ли они вашему бизнесу

Рынок ИТ- продуктов переполнен предложениями платформенных решений для анализа больших данных: их обсуждают, рекомендуют и внедряют, но всем ли они необходимы? Алексей Ершов, эксперт по продуктам Factory5 (входит в группу Ctrl2GO), ответил на главные вопросы об аналитических платформах для ИТ-директоров, менеджеров проектов и других участников data science инициатив на предприятиях.

Это первая обзорная статья из цикла материалов о платформах анализа данных.

Далеко не все такие инициативы успешны: глобальные исследования Gartner и других компаний показывают, что до 85% проектов не приносят бизнесу результатов. Например, аналитические модели не получается интегрировать в бизнес-процессы. Это происходит по разным причинам, в том числе техническим. Компании работают со множеством сервисов — иногда от разных производителей. Это и инструменты business intelligence, и реляционные и NoSQL-базы данных, и инструменты для big data и data science. Возникают проблемы с интеграцией, передачей данных и их согласованной обработкой. Часть информации может просто потеряться. Эти трудности решает такой класс продуктов, как платформы для анализа больших данных, или, как еще называют, data science платформы.

Платформы анализа больших данных: что это такое и зачем они нужны

Платформа для обработки больших данных — это решение, которое объединяет различные инструменты, необходимые специалистам по data science. Такие платформы существенно упрощают их работу, охватывая весь жизненный цикл data science проектов: от идеи и исследования данных до построения и развертывания аналитических моделей. Они позволяют решить так называемую проблему «последней мили»: интегрировать результаты анализа данных в операционную деятельность, чтобы они влияли на принятие решений и трансформировали бизнес-процессы. Это может быть реализовано в виде API предиктивной модели, к которой обращаются другие системы, веб-приложения, которым могут пользоваться сотрудники, или просто ежедневного отчета, отправляемого на почту. 

Объяснить, зачем нужны платформы, можно с помощью простой аналогии. Представьте, что на промышленном предприятии конструкторский отдел разработал новый продукт. Принесет ли один опытный образец пользу бизнесу? Нет — прибыль даст только серийное производство. А для этого потребуется не только оборудование, но и регулярные поставки комплектующих, технологические карты, настроенные процессы контроля качества, обслуживания, модернизации продукта. Чтобы поставить производство на поток, нужны дополнительные ресурсы и компетенции. 

Аналогичная ситуация возникает и в data science проектах. Ключевой результат работы дата сайентиста — аналитическая модель — это и есть тот самый опытный образец. Она работает, ее можно запустить, показать в действии. Но если сделать только модель, то на бизнес это не повлияет. Чтобы разрабатывать модели и превращать их из пилотных проектов в работающие бизнес-приложения, чтобы модели работали с потоками данных и не «падали», чтобы выдавали результат за разумное время, нужна соответствующая технологическая оснастка — data science платформы.

Такие решения делают работу data science специалистов прозрачной и масштабируемой. Платформы могут использовать и системные интеграторы, и конечные заказчики, у которых есть специалисты по обработке данных и аналитике.

Какие функции есть у платформ анализа больших данных

Каждый data science-проект проходит жизненный цикл, состоящий из трех этапов:

1. сбор данных и исследование

2. экспериментирование и разработка модели

3. развертывание и интеграция.

На каждом этапе специфические задачи, которые помогает выполнять платформа. И есть более общие задачи, включающие управление данными, управление процессами обработки и масштабирования.
Для решения всех этих задач платформы обработки данных предлагают такой технический функционал: прием, подготовка и исследование данных, генерация признаков, создание, обучение, тестирование и деплой моделей, мониторинг и обслуживание системы. Также платформа должна обеспечивать безопасность данных и их хранение, каталогизацию источников, предоставлять инструменты для визуализации и формирования отчетов. Облачные платформы дополнительно дают большой объем хранилища и вычислительных мощностей. 

Все перечисленные функции платформ нужны, чтобы:

• Ускорять работу специалистов.

• Публиковать модели и интегрировать их в бизнес-процессы.

• Делиться понятными, читаемыми результатами анализа с сотрудниками всех подразделений.

• Сохранять прошлые наработки, включая метаданные, код, датасеты и обсуждения, и использовать их в новых проектах.

• Создать общую базу знаний и собирать лучшие практики, на которых будут учиться новые сотрудники.

• Безопасно внедрять новые инструменты, не ломая текущие процессы и не вмешиваясь в работу коллег.

• Масштабировать вычислительные мощности.

• Контролировать доступы к каждому проекту, чтобы его видели только определенные сотрудники.

Зачем Data Science, если есть системы Business Intelligence

Иногда платформы Data Science воспринимают как аналоги систем Business Intelligence (BI), так как они тоже содержат инструменты для визуализации результатов анализа данных. Важно понимать отличия между ними, чтобы выбирать область применения.

Традиционно BI-решения используются для статических отчетов о текущем или прошлом состоянии бизнеса. Они отвечают на такие вопросы, как: «Какая динамика объема продаж в прошедшем квартале? За счет чего произошел рост или падение продаж? Какой тип продукции произвели больше всего за месяц?». Это так называемый дескриптивный или описательный анализ. Кроме того, BI системы работают со структурированными данными, извлеченными из хранилищ данных и представляют результат анализа в виде интерактивных информационных панелей — дашбордов или отчетов.

Платформы анализа больших данных — это уже инструмент для прогностического и динамического анализа. Они позволяют делать прогнозы по развитию любой сферы бизнеса и на их основе принимать более точные решения. Типовые вопросы: «Какой оптимальный сценарий развития бизнеса? Что будет, если продолжатся текущие тренды? Что случится, если принять новое управленческое решение?». Платформы могут использовать как структурированные, так и неструктурированные данные из множества источников, и умеют обрабатывать большие данные. Так как предиктивный анализ связан нацелен на прогнозирование какого-то параметра или события, то он фокусируется на конкретной задаче, в отличие от business intelligence. Дескриптивный же анализ должен позволять пользователям гибко создавать отчет в том разрезе,  который им потребуется.

Современные BI-системы, например, Tableau или PowerBI, имеют большой набор средства визуализации: от линейных графиков и круговых диаграмм до тепловых карт и диаграмм санкей. Поэтому хотя BI-системы и data science платформы предназначены для разных задач, но они могут дополнять друг друга. Например, существующая BI-система может в удобном виде представить результаты анализа данных, которые поступают из платформы.

Платформы или open source

В некоторых компаниях специалисты по big data по-прежнему работают с open source-инструментами. Дата сайентисты чаще всего учатся на них и продолжают использовать их уже на работе. Это подтверждает исследование Normal Research и агенства New.HR при поддержке портала GeekJOB среди аналитиков, в котором респонденты чаще всего упоминают языки Python, R и соответствующие библиотеки (NumPy, Pandas и другие). 

Это объяснимо, ведь у таких инструментов низкий технический порог входа: ими легко пользоваться на личном ноутбуке. Но в реальном бизнесе, когда растет и объем данных, и сложность вычислений, когда нужно обеспечить процессинг и масштабирование, объем сопутствующих работ резко увеличивается. 

Эти задачи лежат уже в инженерной плоскости, а не в аналитической. Специалисты сталкиваются с необходимостью «подружить» разные решения, поделиться кодом и моделями с другими сотрудниками, а также с вопросами безопасности. На интеграцию уходит дополнительное время, а зачастую это требует и дополнительных расходов. Поддержка разных инструментов тоже закономерно требует больших усилий, чем единого решения. И даже когда open source-инструменты покрывают потребности в обработке и анализе данных, они не интегрированы с другими сервисами компании — в итоге специалистам сложно встроить ML-модели в существующее ИТ-окружение.

Современные платформы анализа больших данных не заменяют, а дополняют известные дата сайентистам open source-инструменты. Они по-прежнему могут разрабатывать модели с помощью привычных фреймворков и библиотек, а платформы предоставляют необходимый технический функционал для продуктивной работы и реализации полного цикла data science проектов. Такой подход позволяет специалистам не переучиваться и быстрее разрабатывать аналитические продукты для бизнеса.

Когда стоит внедрять платформы для анализа больших данных

Обычно в компании у каждой команды есть инструмент для упорядочивания процессов и совместной работы над задачами. Платформы обработки данных — такой же нужный инструмент для дата сайентистов, как система контроля исходного кода для разработчиков, CRM для отдела продаж и helpdesk для технической поддержки. Например, в небольших компаниях вместо CRM используются excel файлы  или облачные kanban сервисы. Разные менеджеры могут использовать разные инструменты. На определенном этапе возникают проблемы: информация не хранится в одном месте, нет единого доступа к ней у руководителей, файлы увеличиваются в объеме, в них долго искать информацию и трудно масштабировать такую систему. Схожие трудности возникают и в data science проектах. Вот признаки того, что вам пора начать использовать платформу анализа больших данных:

• Снижение продуктивности

Если вы замечаете, что инструментов становится слишком много, вы тратите много времени на рутинные задачи, а время на обработку данных и обслуживание разных инструментов только растет — вероятнее всего, вам пора переходить на DS-платформу.

• Трудности масштабирования

Когда вам необходимо тиражировать разработанное приложение на другие направления бизнеса, или один из этапов обработки данных потребовал больше вычислительных ресурсов, то возникает потребность в масштабировании. Если вам нужно масштабироваться, но вы не очень хорошо представляете, как именно это сделать, то платформа просто необходима. 

• Нехватка прозрачности

Если в команде дата сайентистов начинаются проблемы с коммуникацией, то это говорит об отсутствии централизованных знаний, которыми можно легко делиться между собой. Современные платформы предоставляют доступ разным сотрудникам, вовлеченным в проект.

Рынок data science платформ растет вместе с рынком искусственного интеллекта и углубленной аналитики данных. По оценкам агентства Markets and Markets, рынок платформ для анализа больших данных растет в среднем на 30% в год. Появляются новые продукты, которые разработчики называют «платформами для анализа данных» или “data science platform”, и неподготовленному человеку может быть сложно в них разобраться. 

В общем случае, платформа хранилища данных – это программно-аппаратный комплекс, объединяющий один или несколько аппаратных серверов, системы хранения, операционную систему и СУБД. Аналитики The Data Warehouse Institute (TDWI), авторитетной организации, занимающейся исследованиями и обучением в области бизнес-аналитики и хранилищ данных, не включают сами технологии хранилищ в понятие платформы хранилищ данных. Однако наиболее явная тенденция последнего времени – интеграция технологий BI и хранилищ данных в едином программно-аппаратном решении – позволяет нарушить чистоту определений и рассматривать понятие «платформа» в более широком контексте.

Так или иначе, от удачности выбора платформы хранилищ данных зависит глубина понимания бизнесом его перспектив, а ошибка может стоить слишком дорого. Требования, которые предъявляют текущие экономические условия и технологическое развитие, создают сегодня предпосылки к смене поколений платформ хранилищ данных и бизнес-аналитики.

Переход на новую платформу

По классификации аналитиков Forrester Research, корпоративные хранилища данных занимают промежуточное положение между базовыми технологиями интеграции данных и средствами бизнес-аналитики. На уровне интеграции данных обеспечивается выборка, преобразование и загрузка данных из различных источников в базы, хранилища данных или приложения. Инструментарий бизнес-аналитики отвечает за предоставление информации, полученной в результате аналитической обработки данных из баз и хранилищ, бизнес-пользователям для поддержки принятия управленческих решений. Между средствами интеграции данных и бизнес-аналитики находится уровень так называемого «продолжительного» (persistance) хранения данных, который и образуют корпоративные хранилища. Хранилище данных обеспечивает консолидацию структурированных данных в предметно-ориентированные, интегрированные, неизменяемые, но отражающие историю изменения данных репозитории и контролирует распределение этих данных в различные оперативные хранилища, витрины и среды бизнес-аналитики. Хранилище данных включает в себя метаданные, описывающие предметные области, модели данных и сами данные, а платформу хранилища образуют несколько функциональных компонентов (см. рисунок).

Согласно исследованиям TDWI, в большинстве компаний в ближайшие три года планируется либо полная замена, либо серьезная модернизация платформ хранилищ данных. Аналитики выделяют несколько технологических и бизнес-факторов, определяющих новый ландшафт платформ хранилищ данных и позволяющих говорить о приходе нового поколения технологий.

Традиционно хранилища данных рассматривались как платформа для выполнения базовых аналитических функций – отчетности и средств оперативной аналитической обработки (online analytic processing, OLAP). Однако сегодня у компаний все чаще возникает потребность в более «продвинутой» аналитике, которая базируется на технологиях углубленного исследования данных (data mining), статистических методах, средствах прогнозной (predictive) аналитики, сложных нерегламентированных (ad hoc) SQL-запросах. Новый инструментарий BI помогает компаниям в анализе постоянных изменений бизнес-среды и выявлении направлений сокращения расходов и расширения рынка, однако, по данным TDWI, текущие возможности платформ хранилищ данных часто не способны обеспечить адекватную поддержку «продвинутым» аналитическим средствам, прежде всего из-за низкой производительности. Так, BI-системы, использующие средства исследования данных или статистику, работающие не с базой данных, будут постоянно выгружать и загружать данные из хранилища, что может сильно ограничить скорость аналитической обработки. Технологии, связанные с нерегламентированными SQL-запросами, страдают от медленной реакции платформы. Кроме того, большинство текущих реализаций хранилищ данных настроены на поддержку стандартной отчетности и повторяющихся запросов на базе OLAP. Сегодня возрастает потребность в дополнении этих базовых возможностей менее регламентированными средствами аналитической обработки.

Одна из заметных тенденций последнего времени – интеграция хранилищ данных с транзакционными и другими приложениями для поддержки оперативных задач бизнеса. Сложность экономической ситуации, необходимость оптимизации и сокращения непроизводительных затрат, острая конкуренция на рынке заставляют бизнес исследовать различные пути достижения максимальной эффективности своей деятельности, в том числе прибегая к непосредственному включению данных из BI-систем и хранилищ в бизнес-приложения: ERP, CRM, SCM и др. Это становится стимулом к появлению новых технологий оперативной бизнес-аналитики, инструментальных панелей по требованию, систем управления эффективностью и др., в свою очередь использующих новые возможности хранилищ по предоставлению данных в реальном времени.

Новые хранилища фактически унифицируют операционные и аналитические процессы и позволяют обеспечить максимально возможное число бизнес-процессов в компаниях полномасштабной информационной поддержкой, причем в историческом контексте и со всеми аналитическими возможностями хранилища и BI-инфраструктуры. Новое поколение платформ хранилищ данных призвано стать своего рода информационным хабом, включенным в единую корпоративную среду посредством наиболее современных технологий интеграции, таких как, например, корпоративная сервисная шина ESB, и обеспечивающим сбор данных из различных источников, контроль их качества и управление правами доступа к ним. Среди фундаментальных характеристик таких хранилищ – высокая доступность, высокая скорость загрузки данных, поддержка Web-сервисов и архитектуры SOA.

Еще одно явление, характеризующее сегодня процессы управления информацией, – экспоненциальный рост данных, накапливаемых на современных предприятиях. Рост бизнеса, автоматизация все большего числа бизнес-процессов и усиливающаяся зависимость от ПО бизнес-аналитики и хранилищ данных приводят к созданию все больших объемов данных, напрямую влияющих на эффективность бизнеса. Тенденцией становится использование в аналитических целях как структурированных, так и неструктурированных данных, без которых оказывается практически невозможным высокое качество анализа в таких, например, областях, как здравоохранение, финансовые институты или розничная торговля. Новые BI-решения в дополнение к традиционным средствам обработки данных из реляционных СУБД поддерживают возможности анализа текстов, интеллектуального поиска, классификации и преобразования контента в структурированные данные.

Свой вклад в рост объемов данных, равно как и в ужесточение требований к скорости их обработки, вносит появление новых парадигм работы с бизнес-аналитикой, основанных на социальных инструментах взаимодействия. Как обнаружили аналитики TDWI, за последние три года процент компаний, обладающих большими (объемом свыше 3 Тбайт) хранилищами данных, заметно вырос, а в течение следующих трех лет удвоится число предприятий, которые накопят в хранилищах более 10 Тбайт данных. И это ставит на повестку дня вопрос о смене платформы хранилищ, поскольку текущие инсталляции в большинстве случаев неспособны принять такие объемы данных. Масштабируемость хранилища, не требующая больших затрат, становится одной из наиболее важных его характеристик.

Скорость аналитической обработки может быть значительно повышена, если разместить витрину или даже целое хранилище данных в памяти (in-memory). Различные технологии работы в памяти сегодня способны снабдить бизнес-процессы принципиально новыми интеллектуальными возможностями. Но для того чтобы совместить скорость с большими объемами, таким хранилищам необходим переход в новую аппаратную среду – 64-разрядные платформы.

Наконец, в TDWI отмечают, что переход к новой платформе, реализующей перечисленные технологические и бизнес-требования, неизбежно будет связан с новыми архитектурами как на аппаратном, так и на программном уровне. Преимущества новых технологий для бизнеса раскроются полностью, если будут поддержаны более современными подходами к организации программной и аппаратной базы, такими как обработка с массовым параллелизмом (massive parallel processing, MPP) вместо более распространенной на данный момент симметричной многопроцессорной обработки (Symmetrical Multiprocessing, SMP) с разделяемой памятью, виртуализация и сервис-ориентированная архитектура.

MPP-архитектура баз данных, поддержанная соответствующими серверными конфигурациями, активно вытесняет сегодня SMP. Архитектура с массовым параллелизмом строится на базе множества узлов, которые параллельно выполняют некоторую задачу, не разделяя при этом ресурсов. Около 68% из 400 ИТ-специалистов, опрошенных TDWI в июне 2009 года, считают архитектуру MPP наиболее предпочтительной для построения корпоративных платформ хранилищ данных.

Устройства хранилищ данных

Большинство существующих на данный момент в компаниях платформ хранилищ данных собраны силами их собственных ИТ-специалистов или с привлечением системных интеграторов, что, естественно, связано со значительными затратами ресурсов. Вместе с тем сегодня, как отмечают в Forrester, ключевым требованием к платформе хранилища данных наряду с производительностью, масштабируемостью и гибкостью становится ценовая доступность. Одним из оптимальных решений с этой точки зрения являются так называемые устройства хранилищ данных (data warehouse appliance, DWA) и их модификации в виде различных заранее интегрированных программно-аппаратных комплексов для хранилищ данных и BI-приложений. Неудивительно, что в TDWI отмечают рост интереса пользователей к таким системам: число желающих заменить свои «собранные вручную» платформы готовыми комплексами в два и более раз превышает количество уже существующих инсталляций подобных устройств.

По мнению аналитиков Forrester, сегодня DWA становятся доминирующим подходом на рынке корпоративных платформ хранилищ данных, и все ведущие его игроки, в список которых входят IBM, Oracle, Teradata, Microsoft, SAP, Sybase, Netezza, так или иначе выстраивают вокруг них свою стратегию. Интеграция программных и стандартных аппаратных компонентов платформы хранилища данных в единую систему позволяет снизить стоимость платформы до приемлемого в нынешних условиях уровня, а реализация в них современных технологий массового параллелизма, сжатия данных, оптимизации запросов, динамического выделения ресурсов и т.д. – обеспечить необходимые для корпоративного использования показатели производительности и масштабируемости.

Формально первое устройство хранилищ данных выпустила в 2002 компания Netezza, которая и ввела в обиход соответсвующий термин, а конфигурация Netezza Performance Server стала фактическим определением нового технологического решения как единого стека для реализации хранилища данных, интегрирующего базу данных, операционную систему, аппаратные серверы и системы хранения. Но на самом деле подобные интегрированные платформы хранилищ данных, не называясь устройствами, существуют на рынке уже тридцать лет. Основанная в 1979 году компания Britton-Lee выпустила первый специализированный компьютер для SQL-базы данных, основанный на исследовательском проекте Ingres Университета в Беркли. В том же году была создана компания Teradata, которая задолго до Netezza предложила специализированную машину баз данных с технологией параллельной обработки без разделения общих ресурсов. И лишь недавно в Teradata стала использовать слово appliance для обозначения своих платформ хранилищ данных.

В 2005 году компания DATAllegro выпустила полный интегрированный технологический стек для хранилища данных на базе проприетарной аппаратной платформы. Важным этапом эволюции устройств хранилищ данных стал переход на стандартные аппаратные архитектуры, который позволил значительно снизить стоимость этих решений и обеспечить их доступность массовому пользователю. Широко представленные на рынке платформы серверов и систем хранения сменили проприетарные в устройствах хранилищ данных DATAllegro, которая в 2008 году была куплена Microsoft. Аналогичная перестановка произошла и в системах компании Kognitio, выпускавшей подобные решения с 1989 года, и в ряде продуктов выпущенного в 2008 году нового семейства компании Teradata. Компания Netezza также в конце лета 2009 года перевела свои устройства хранилищ данных на стандартные архитектуры.

Всего несколько лет назад устройства хранилищ данных полностью соответствовали своему названию, если подразумевать под устройством специализированное оборудование, настроенное на выполнение конкретной задачи. Это были тактические решения с ограниченной функциональностью, направленной главным образом на ускорение оперативной аналитической обработки и быстрое развертывание высокопроизводительных витрин данных. Но в последние год-два с выходом на этот рынок традиционных производителей СУБД и систем бизнес-аналитики, чистоту определения для новых приложений уже довольно трудно соблюсти, хотя аналитики для простоты предлагают и их относить к категории DWA.

Программно-аппаратные комплексы IBM InfoSphere Balanced Warehouse, Oracle Exadata на платформах HP и Sun, Sybase Analytic Appliance, HP Neoview и др. строятся на стандартном оборудовании самих поставщиков или их партнеров, предоставляют необходимые технологии для реализации высокопроизводительных и масштабируемых хранилищ данных нового поколения, включая базы данных, настроенные на интенсивную аналитическую обработку, оптимизацию запросов, MPP-архитектуру и т.д. В силу универсальности платформы эти решения имеют потенциал для развертывания не только корпоративных хранилищ данных, но и приложений бизнес-аналитики. При этом они сохраняют за собой основные преимущества DWA: быстрый ввод в эксплуатацию за счет заранее сконфигурированного и интегрированного стека технологических решений, более низкую стоимость по сравнению с «вручную» собираемыми системами и удобство услуг поддержки, предоставляемой одним производителем для всех компонентов.

Устройства бизнес-аналитики

Анонсы осени 2009 года свидетельствуют о том, что комплексные решения, которые можно назвать уже не устройствами хранилищ данных, а полноценными BI-устройствами, могут стать реальностью.

Около двух лет назад компания HP присоединилась к клубу производителей BI-систем, выпустив программно-аппаратную систему Neoview, которая позиционируется как платформа корпоративных хранилищ данных, объединяющая в себе возможности традиционного хранилища для стратегического анализа, витрин данных и репозитория для оперативной аналитики. База данных Neoview с массовым параллелизмом, реализованная на базе серверов и систем хранения стандартной архитектуры HP Integrity и StorageWorks, поддерживает смешанную рабочую нагрузку, позволяющую одновременно работать с историческими и с оперативными данными в реальном времени.

Своим появлением HP Neoview обязана системе NonStop SQL, унаследованной HP от Tandem. Эта MPP-технология, существующая с 1987 года, перенесена с проприетарной аппаратной платформы на кластер серверов HP Integrity на базе процессоров Itanium и дисковые массивы HP корпоративного уровня. Сложные алгоритмы параллельной обработки запросов и технологии разбиения данных (data partitioning), созданные в свое время в Tandem, в сочетании с современными архитектурой процессорного кластера и возможностями хранения данных HP StorageWorks сегодня обеспечивают в Neoview эффективное решение корпоративных проблем управления данными для стратегического и оперативного анализа. Система поддерживает размещение больших объемов данных, параллельную работу большого числа пользователей, загрузку, модификацию и извлечение больших массивов информации практически в реальном времени, реализацию сложных комбинаций смешанной рабочей нагрузки, включая стандартную отчетность, аналитические запросы, нерегламентированные и тактические запросы транзакционных систем, динамическое выделение ресурсов хранилища под нужды бизнес-приложений и т.д.

В наследство от серверов Tandem NonStop платформа Neoview получила и высокие показатели отказоустойчивости, обеспечивающие доступность хранилища в режиме 24х7. При этом использование стандартных компонентов для построения аппаратной базы делает стоимость ее приобретения и поддержки приемлемой для достаточно широкого круга заказчиков. По данным HP, система Neoview в мире находит применение в таких областях, как розничная торговля, банки и телекоммуникации.

Neoview NonStop SQL/MX является транзакционной базой данных, оптимизированной для задач аналитической обработки. Тем самым обеспечивается поддержка как традиционных задач хранилища данных, так и аналитики нового типа, непосредственно включенной в бизнес-процессы предприятий и потому предъявляющей высокие требования к скорости доступа к данным. MPP-кластер Neoview управляется как единая система, обеспечивая полную виртуализацию всех объектов базы данных. Платформа легко масштабируется и может поддерживать от 16 до 256 процессоров, каждый со своей памятью и виртуальными внешними дисками.

Стандартные интерфейсы Open Database Connectivity (ODBC) и Java Darabase Connectivity (JDBC) обеспечивают интеграцию Neoview с широким спектром систем бизнес-аналитики, в том числе с решениями от компаний SAP, Business Objects, SAS и Microstrategy, а также приложениями на платформе .Net. Но в HP делают следующий шаг – в октябре 2009 года было сообщено, что SAP и HP планируют совместно работать над интеграцией HP Neoview с программной инфраструктурой корпоративного хранилища данных SAP NetWeaver Business Warehouse. Решение HP Neoview Foundation for SAP Netwaver BW позволит оснастить хранилище данных SAP наиболее важными для современных приложений бизнес-аналитики характеристиками, такими как масштабирумость по объемам данных и числу поддерживаемых пользователей, возможность работать на единой платформе с разными типами запросов и разными типами данных (агрегированными и транзакционными), гетерогенность собираемых данных. Интеграция фактически позволит превратить Neoview в устройство со встроенной поддержкой широкого перечня аналитических приложений, которые сегодня предоставляет SAP, среди них BI-системы самой компании, решения от Business Objects, а также встроенный аналитический инструментарий пакета бизнес-приложений SAP Business Suite.

Недавно компания HP анонсировала новую версию платформы Neoview – HP Neoview Advantage, построенную на базе серверов-лезвий HP Integrity BladeSystem и, как утверждают в компании, обеспечивающую повышение производительности программных компонентов платформы за счет значительного упрощения процедур управления корпоративной средой хранилища данных. Переход к модульной инфраструктуре серверов-лезвий поможет расширить объемы хранимых данных, сократить площади, которые занимает система, и оптимизировать энергопотребление. Выпуск HP Neoview Advantage запланирован на январь 2010 года.

IBM Smart Analytics System идет дальше – это, пожалуй, первое на рынке BI-решение, реализованное по принципу «все включено». Анонсированная летом 2009 года, система интегрирует не только серверы, системы хранения и СУБД, но и ПО хранилища данных Infosphere Warehouse, комплексную платформу средств бизнес-аналитики Cognos 8 BI, а также программные средства управления семейства Tivoli. Решение строится на базе серверов pSeries c процессорами IBM Power и систем хранения IBM System Storage, обеспечивая в максимальной конфигурации размещение до 200 Тбайт данных.

IBM продвигает на рынок семейство устройств хранилищ данных различной конфигурации Infosphere Balanced Warehouse, которое аналитики Forrester отнесли к лидерам рынка корпоративных платформ хранилищ данных. Однако в Smart Analytics System предложено комплексное, вертикально-интегрированное решение для задач бизнес-аналитики. В дополнение к возможностям оптимизации платформы базы данных DB2 для аналитической обработки больших объемов информации, среди которых поддержка смешанной рабочей нагрузки (отчетности, OLAP-запросов и нерегламентированных запросов), загрузка и обработка данных практически в реальном времени и т.д., благодаря интеграции Cognos платформа включает в себя еще широкий спектр BI-функций. Речь идет о средствах подготовки отчетов и инструментальных панелей, инструментарии построения многомерного представления данных (кубов) на базе реляционной модели для выполнения OLAP-запросов, функциях углубленного исследования данных и анализа текстов (text mining), интегрирующих обработку структурированной и неструктурированной информации и обеспечивающих оценку записей данных в реальном времени для включения результатов анализа в среду операционных приложений бизнеса. В платформе уделено специальное внимание настройке всех ее компонентов для совместной работы и обеспечению высокопроизводительного анализа, масштабируемости для поддержки растущих объемов данных и интенсивной аналитической обработки.

В перспективе IBM планирует дополнять платформу другими аналитическими возможностями, в частности, средствами прогнозной аналитики, полученными после приобретения компании SPSS.

Суперкластер для BI

По сложившейся традиции представления о массовом параллелизме обычно ассоциируются с вычислительными системами класса MPP, однако идеи параллелизма могут быть распространены и на системы хранения данных. Первый тому пример – специализированный сервер Netezza Performance Server.

Аппаратно-программные хранилища

В условиях, когда вся ценность компании оказывается в ее данных, их хранилища становятся главным ее стратегическим активом, однако системы, построенные на основе универсальных технологий, оказываются слишком жесткими и дорогостоящими. Выход – в специализированных аппаратно-программных решениях.

Системы бизнес-аналитики (BI) — это технологии для сбора, обработки и анализа данных. Они помогают повышать качество принимаемых решений и увеличивать таким образом доходы компании.

BI-системы можно разделить на три вида:

Выбор редакции

Polymatica

Платформа для работы с данными организаций в онлайн-режиме с помощью визуализации информации на дашбордах. Занимает первое место в рейтинге России по системам бизнес-аналитики на 2022 год¹, а также входит в реестр государственных ПО². Подходит для средних и крупных компаний (от 250 человек). Скорость работы обеспечивается собственной технологией разработчиков «Мультисфер» для сжатия и хранения информации.  

Прежде чем приобретать сервис, можно воспользоваться демонстрационной версией. На сайте не указаны цены на услуги — они предоставляются после подачи заявки или при личной встрече с администраторами. Программа функционирует через «облако» в веб-браузере. Мобильное приложение и стационарная версия отсутствуют.

Характеристики 

Плюсы и минусы

+ Программа находится в реестре российских ПО, собственная технология для быстрой работы с большим объемом данных

— Не подходит для ИП и малого бизнеса, нет мобильного приложения, не указана цена на услуги

Рейтинг топ-5 лучших бесплатных систем бизнес-аналитики

Orange 

Система предназначена для визуализации данных и абсолютно бесплатна. Основные функции: первичная обработка, интеллектуальный анализ данных, статистические исследования и составление прогнозов с помощью наглядных виджетов (компоненты аналитической платформы). 

ПО подходит для малого и среднего (до 250 человек) бизнесов. Чтобы начать пользоваться, необходимо установить программу с сайта разработчика себе на компьютер. Разработана Люблянским Университетом (Польша), поэтому программа поддерживает только английский язык. Нет веб-версии и мобильного приложения.

Характеристики 

Плюсы и минусы

+ Абсолютно бесплатное приложение, подходит для малого и среднего бизнесов

— Нет русского языка в программе, нет веб-версии и мобильного приложения

Google Data Studio

Универсальный сервис для анализа данных. Его можно использовать как в больших бизнес-проектах, так при исследовании небольшого количества информации.

Google Data Studio работает через систему коннекторов, которые связывают сервис с источниками данных. Так, информацию можно получать из таблиц, баз данных, сторонних сайтов и сервисов самой компании Google. Список коннекторов постоянно обновляется, поэтому настроить систему под свой бизнес будет несложно. Почти все текстовые данные можно перевести в таблицу или SQL-базу, а после загрузить в Google Data Studio. Поэтому проблем с таким типом информации возникнуть не должно.

После обработки данных полученную информацию можно визуализировать в понятной инфографике. Систему не перевели на русский язык, но в сети много бесплатных видеоуроков о том, как пользоваться Google Data Studio.

Характеристики 

Плюсы и минусы

+ Много подключаемых модулей, можно добавлять таблицы

— Нет русского перевода

QlikView

Программа подходит для бизнеса любого размера: как для малых предприятий, так и корпораций. Пользоваться можно бесплатно, но с ограниченным функционалом (отчетность и аналитика, импорт и экспорт данных). В платную версию входит дополнительно объединение этой системы с вашими уже существующими (сайт, CRM).  

Не указана цена за платную версию на сайте. Пользоваться системой можно в «облаке», «коробке» и мобильном приложении (QlikView mobile). Несмотря на иностранных разработчиков, ПО поддерживает русский язык.

Характеристики 

Плюсы и минусы

+ Поддержка русского языка, бесплатная версия приложения, многоплатформенность

— Ограниченный функционал в бесплатной версии, нет перечня цен на сайте для платной системы

Loginom

Платформа, с помощью которой реализуются аналитические процессы, начиная от интеграции и обработки данных до их визуализации в виде таблиц, графиков и диаграмм. Бесплатная версия можно установить с сайта разработчиков и после установки сразу начать импортировать, экспортировать и обрабатывать информацию. 

Платная стационарная версия стоит 97 000 руб. единоразово и позволяет пользоваться технической поддержкой от разработчиков и открывает доступ к обучающим курсам. Для установки на компьютер и возможности коллективной работы в веб-браузере нужно будет заплатить от 1 350 000 руб. один раз за 5 пользователей, но прежде можно воспользоваться 3-месячным пробным периодом. Мобильного приложения нет. 

Характеристики 

Плюсы и минусы

+ Есть бесплатная версия, пробный период 3 месяца, пакет услуг покупается единоразово

— Нет мобильного приложения, неполный функционал в бесплатной версии

Yandex DataLens

Сервис предоставляется бесплатно, без ограничений по количеству сотрудников и запросов. Пользоваться можно только в облачной версии в веб-браузере. Подходит для любого бизнеса (малое, среднее или крупное предприятии). Вы можете подключить свои системы и локальные базы данных для импорта информации. 

С помощью полноценных наглядных дашбордов с графиками проще принимать аналитические верные решения для своей компании. Функция создания учетных записей как ваших сотрудников, так и партнеров, упростит и сделает комфортным передачу информации для всех структур компании.

Есть пошаговые «туториалы» и образовательные проекты для обучения на сайте разработчиков. Нет коробочной версии и мобильного приложения. 

Характеристики 

Плюсы и минусы

+Бесплатное приложение, есть обучающие материалы, подходит для компании любого размера, создание учетной записи для сотрудников и партнеров

— Нет коробочной версии и мобильного приложения

Рейтинг топ-5 лучших платных систем бизнес-аналитики с подпиской

Visary BI

Отечественная система, внесенная в российский реестр ПО³. Программа подходит для средних и крупных (от 100 человек) организаций государственного сектора и промышленности. Из основных функций: сбор больших массивов данных, анализ и обработка с помощью технологии искусственного интеллекта (хранение и визуализация информации в виде отчетов, графиков и диаграмм, размещенных на дашбордах).

Развертывание ПО происходит как через «облако» в браузере, так и локально на компьютере. Можно интегрировать с любой другой платформой (1С, CRM) благодаря полнофункциональному API (способ взаимодействия одной программы с другой). Цена станет известна только после того, как оставите заявку на сайте разработчиков. 

Нет бесплатной и демонстрационной версий. Также отсутствует мобильное приложение, но за дополнительную плату специалисты могут создать для вашей компании личное ПО с необходимым для вас интерфейсом.

Характеристики 

Плюсы и минусы

+ Возможность обрабатывать большие объемы данных, подходит для государственных и промышленных организаций, разработчики могут создать собственное мобильное приложение для компании

— Нет информации о цене на сайте, не подходит ИП и малому бизнесу, демонстрационная версия по запросу

Visiology

Система BI предоставляет большие массивы данных в понятных графиках и диаграммах для более точного анализа. Пользователи получают доступ ко всем аналитическим инструментам и дашбордам. Подходит малому бизнесу и для крупных промышленных организаций: государственных, фармацевтических и строительных компаний. 

Подписка стационарной версии стоит от 35 000 руб. за одного сотрудника в год. С помощью API разработчики или айтишники от вашей компании смогут подстраивать систему под вас (добавлять интерфейс). Перед покупкой можно воспользоваться демонстрационной версией после заполнения заявки на сайте. Нет мобильного приложения и «облачной» подписки.

Характеристики 

Плюсы и минусы

+ Есть демо-версия, упрощает работу аналитиков, подходит для малых и крупных компаний

— Нет бесплатной версии системы, нет мобильного приложения и веб-версии в «облаке»

Modus BI

Аналитическая платформа помогает создавать прогнозы, визуализировать показатели и находить тренды на основе ваших данных. Всю отчетность легко оформлять в конструкторе в пару кликов. Система располагается в «облачном» виде, поэтому, чтобы получить необходимые сведения, нужен будет только браузер.  

На сайте разработчиков представлена полная информативная презентация сервиса. К сожалению, не указана цена за подписку, все сведения можно получить, оставив заявку. Нет коробочной версии и мобильного приложения.

Характеристики 

Плюсы и минусы

+ Есть презентация сервиса на сайте, простота в использовании

— Нет коробочной версии и мобильного приложения, не указана цена за подписку

Almaz BI

Корпоративная система бизнес-аналитики предназначена для самостоятельного и эффективного анализа данных компании. Подходит для работы со средними и крупными предприятиями. Большой выбор визуализирования информации: гистограммы, диаграмма Ганта, карты, графики и таблицы. Интуитивно понятный интерфейс позволит быстро вникнуть в принцип работы ПО. Но бонусом имеется двухчасовое обучение сотрудников от разработчиков. 

В случае снижения показателей система направляет уведомление менеджеру. Работать можно только в «облачной» версии. Мобильного приложения и стационарной программы нет. Стоимость подписки рассчитывается индивидуально и будет известна после заявки на подключение.

Характеристики 

Плюсы и минусы

+ Интуитивно понятный интерфейс, есть обучение для сотрудников, множество виджетов визуализации данных

— Не указана цена, работать можно только в «облачной» версии, не подходит для малых предприятий

«Форсайт»

Программа осуществляет интеллектуальный анализ данных, на основе которых возможно принимать взвешенные бизнес-решения. Доступно много форм визуализирования информации — более 10. Пользоваться системой можно в стационарной версии, «облаке» или мобильном приложении («Форсайт»).

Осуществлена интеграция с библиотеками R и Python, благодаря чему решаются задачи повышенной сложности. Подходит для средних и крупных компаний (от 250 человек). Есть пробный период — 30 дней. Не указана цена на подписку — чтобы ее узнать, необходимо оставить запрос на сайте.

Характеристики 

Плюсы и минусы

+ Есть пробный период 30 дней, многоплатформенность, много визуальных решений

— Не указана цена подписки, не подходит ИП и малому бизнесу

Как выбрать систему бизнес-аналитики

Эффективная BI-система должна обладать следующими критериями:

Единая платформа

Система должна обладать комплексным подходом — вся информация собирается, обрабатывается, анализируется и хранится в одном месте.

Готовые возможности интеграции

Программу бизнес-аналитики лучше выбрать с готовой возможностью интеграции с вашим сайтом, платежными системами и с другими существующими у вас CRM. Так техническая поддержка просто объединит все в одно ПО.

Наличие расширенной аналитики

Помимо анализа данных, системе необходимо автоматизировать процессы сбора и обновления информации, упростить задачи и предложить новые наборы данных с разными параметрами для более точных результатов. 

Визуализация данных

Помимо электронных таблиц, данные должны располагаться в информационных панелях, графиках и диаграммах для наглядности и быстрого выявления тенденций и закономерностей.

Многоплатформенность

Многоплатформенность нужна для того, чтобы в любое время и в любом месте можно было зайти на сервис и получить необходимую информацию, создать отчет и поделиться им моментально. Например, через «облачную» версию в браузере или мобильное приложение.

Отзыв эксперта о системах бизнес-аналитики

Делится своим мнением о системах бизнес-аналитики Константин Рыбченко, руководитель проектов IT-компании «Вебфлай»:

«Система бизнес-аналитики нужна компании, чтобы создать отчет любой сложности с визуализацией данных. Используя BI-систему предприниматель получит дашборд с ключевыми показателями бизнеса. На основании этих цифр руководитель будет оценивать эффективность деятельности, принимать оперативные решения и строить планы на перспективу. 

После того как компания определилась с BI-системой, важно адаптировать ее под потребности бизнеса. Например, выбрать данные, формат отчетов, объединить показатели рынка и информацию из внутренних источников компании. Такой подход даст полное представление о ситуации в бизнесе. 

Совет: если ваша компания использует CRM-систему, то важно, чтобы она поддерживала интеграцию с ведущими программами бизнес-аналитики. Например, «Битрикс24» «дружит» с Google DataStudio, Microsoft PowerBI и другими».

Популярные вопросы и ответы

Как сэкономить на покупке систем бизнес-аналитики и какие бывают им альтернативы рассказывает Константин Рыбченко, руководитель проектов IT-компании «Вебфлай».

Источники

1. Рейтинг BI-платформ URL: https://www.cnews.ru/reviews/bi_2022/review_table/d1256671fb80e407fd2072f2b3e6bccc0bfe8846
2. Реестр программного обеспечения «Полиматика» URL: https://reestr.digital.gov.ru/reestr/309040/?sphrase_id=2317109
3. Реестр программного обеспечения «Визари» URL: https://reestr.digital.gov.ru/reestr/308003/

Выбор подходящих программных систем бизнес-аналитики упрощает выбор обоснованных решений. В результате для пользователей постоянно доступны фактические данные, по которым тщательно проведён анализ. Бизнес только выигрывает от наличия информации, которая представлена в наглядном виде.

Что такое системы бизнес аналитики?

Любая система бизнес-аналитики предполагает работу с большим количеством данных. Занимаются подобными задачами только специалисты, прошедшие специальную подготовку. Именно они проводят необходимые мероприятия, в ходе которых становится гораздо проще выявлять существующие проблемы, искать возможности для продолжения устойчивого развития.

Зачем бизнесу системы бизнес-аналитики?

Компании в современных условиях создают большое количество данных, этот процесс непрерывен. При грамотном подходе информация становится основой. При опоре на данные принимаются управленческие решения, в том числе, положительно влияющие на общую эффективность бизнеса.

Использование нереализованного потенциала и оптимизация деятельности – главные эффекты, которых добиваются благодаря современным системам бизнес-аналитики.
Если правильно применять бизнес-аналитику, то руководитель глубже знакомится с каждым аспектом в деятельности. Пример некоторых направлений, где этот инструмент будет особенно актуальным:

1. Составление прогнозов по найму.
2. Выбор подходящих кампаний по маркетингу.
3. Таргетирование демографических сегментов.
4. Реализация товаров подходящими методами, средствами.
5. Оптимизированная цепочка поставок и т.д.

Каждый из этих аспектов надо тщательно проверять с помощью реальных данных.

Измерять и понимать эффективность предприятия становится проще, если деятельность сопровождается аналитическими процедурами. Они помогают отслеживать цели компании, измерять их. Для мониторинга ключевых показателей эффективности часто пользуются именно инструментами по визуализации информации.

Платформы помогут понять, почему компания превышает конкретные показатели или наоборот, не доходит до соответствующих цифр. Программное обеспечение по самообслуживанию здесь тоже станет незаменимым помощником.

Назначение и цели использования системы бизнес-аналитики

Даже без обработки информация становится отличным инструментам за счёт систем бизнес-аналитики. Появляется средство, которое и помогает принимать новые решения. Информацию собирают не только внутри предприятий, но и с использованием внешних источников.

После этого происходит анализ, реструктуризация и преобразование. Можно генерировать отчёты, предоставлять ключевые выводы в удобном виде, с которым работают руководители. Размещение сведений и отчётов предполагает формирование в системах удобных панелей.

Раньше такой тип программных решений был актуален только для специалистов, связанных с ИТ-сферой. Сейчас пользователи любого уровня открывают доступ к каждой из функций. Разработаны новые интерфейсы, которые оказались удобными практически для всех. Анализ информации проводят с помощью инструментов. Деловые данные с интеграцией помогают каждому искать то, что было скрыто раньше, выявлять недостатки. Появляется новое преимущество, которого в прошлом не было.

Обзор основных функций и возможностей системы бизнес аналитики

Их не так много, но, практически, каждая играет свою роль:

1. Аналитика по самообслуживанию.
2. Экспорт отчётов.
3. Сбалансированная система с показателями.
4. Отчётности на регулярной основе.
5. Отчётности продвинутого уровня.
6. Панели мониторинга.
7. Отчётность с аналитикой.
8. Нерегламентированная отчётность.
9. API.
10. Доступ большого количества пользователя.
11. Импорт и экспорт данных.
12. Визуализация сведений.
13. Администрирование.

Выгоды, преимущества и польза от применения системы бизнес-аналитики

Популярность и распространённость новых технологий, систем бизнес-аналитики вызывают всё меньше вопросов. Но их необходимо тщательно рассмотреть вместе с плюсами и минусами. Только после этого принимается решение о покупке и внедрении. Обычно бизнес получает следующие преимущества от применения таких инструментов:

1. Снижаются затраты, связанные с регулярной отчётностью.
2. Улучшается качество информации.
3. Отчёты, планирование или анализ дают более точные сведения.
4. Стратегические решения в бизнесе тоже более качественные. Неправильно выбранный курс не приводит к такому большому количеству ошибок.

Виды системы бизнес-аналитики

Есть несколько разновидностей решений, которые применяют в тех или иных сферах:

1. Выстраивание отчётности с аналитикой.
2. Принятие решений управления.
3. Визуализация данных.

Отличительные черты системы бизнес аналитики

Главное, чтобы сама система отвечала всем требованиям. Важно умение объединять в одной платформе разные источники. Только в этом случае данные компании будут более ясными, а визуализация упростится. Оптимизация бизнеса только выиграет от принятия обоснованных решений.

Сравнение системы бизнес аналитики bi

От масштабов компании и интенсивности деятельности зависит, как часто подобные решения привлекаются на практике. Хорошо, если это делают, когда основную стратегию надо просто обновить и актуализировать.

Чтобы сравнить разные типы систем, надо учитывать, какие направления аналитики актуальны для того или иного случая. Выбор конкретных методов определяется задачами, которые стоят перед руководством и специалистами.

Каждый руководитель старается получить максимум от каждого продукта, доступного на рынке. Это и есть главный критерий, на который надо опираться при выборе. Стоит отдать предпочтение российским аналогам, ведь они всегда остаются надёжными.

От мегапьютер интеллидженс

Главное назначение программного продукта – анализ данных, в равной степени структурированных и неструктурированных. Эти процессы организуют на высокопрофессиональном промышленном уровне. В системе есть более 100 узлов с увеличенной функциональностью.

От visiology

Компания предлагает инструмент, который решает несколько видов задач:

1. Сбор.
2. Обработка.
3. Последующая визуализация.

Пользователи получат полный доступ к аналитике с помощью веб-портала с соответствующими настройками. Мониторинг проводится разными панелями, инструментами.

От инлексис

Задачи быстрой прикладной аналитики в данном случае становятся главным направлением для работы, хотя и далеко не единственным. Главное, чтобы даже пользователи без соответствующей профессиональной подготовки смогли работать. Для этого используют конструктор программного обеспечения, отличающийся интуитивно понятным интерфейсом (поддерживает формирование отчётов разных типов).

От m brain

Отдельная информационная платформа, позволяющая управлять элементами любых разновидностей. Отличный источник сведений для менеджмента и маркетинга, отделов продаж и аналитики. При этом всё хранится в облаках, поэтому не занимает много места. Легко разбить сведения на категории.

От айкумен ибс

Ещё одни разработчики цифровой аналитической платформы IQPlatform. Но есть важное отличие от конкурентов: использование больших объёмов информации, чтобы выполнять продвинутую аналитику. Новые знания постоянно синтезируются. Полный контроль любых информационных объектов.

От нетрика

Разработчики представили систему “N3. Аналитика”. Главная особенность – быстрая обработка информации вне зависимости от её количества и источников. В результате появляются отчёты с удобной визуализацией.

От бизнесавтоматика

Продукт с наименованием Visari Bi. Продвинутая аналитика с помощью импортонезависимой системы. Теперь каждый сможет принять стратегически важные решения, не боясь допустить ошибку.

От oracle corporation

Компания предлагает облачную платформу с максимальной гибкостью, предоставляет большое количество инструментов, чтобы не только визуализировать, но и проводить корпоративный анализ.

От sisense

Перед пользователями разновидность комплексной платформы, настроенной на анализ данных. Благодаря этому разработчики и инженеры, аналитики могут создавать приложения с высокой степенью информативности для пользователей.

От contour components

Компания разработала компьютерную программу, которая тоже занимается статистическими данными для сбора разного рода отчётности.

От ibm

Разработчики представили онлайн-сервис для бизнес-аналитики, который носит название IBM Cognos Analytics. Пользователям открывается большое количество функций, которые помогают выработать эффективные бизнес-решения на основании бизнес-отчётов и анализа данных, мониторинга событий и метрик.

От klipfolio

Онлайн-сервис, который работает в той же сфере, что и все остальные. Занимается визуальным анализом, собирает разные отчёты. Позволяет создавать собственные панели для проведения мониторинга.

От sas

Аналитическая система для разных представителей бизнеса. Помогает более детально понимать все процессы, для чего создаются различные графические представления, находятся новые закономерности, глубоко изучаются имеющиеся данные.

От sap se

Сервис, который работает в режиме онлайн и в режиме реального времени. Предоставляет много сведений, позволяющих принимать быстрые решения, отличающиеся эффективностью.

От форсайт

Платформа аналитической разновидности. Пользователям предоставляется целый программный комплекс, опирающийся на имеющиеся сведения при интеллектуальном анализе. В результате можно визуализировать всё, что угодно, чтобы принимать решения, не сомневаясь в надёжности источников.

От plotly

Наименование аналитического программного фреймворка, который поддерживает языки Python. Для веб-браузера практически каждый может создать собственную информационную панель, которая поддерживает современные технологии.

От reportsnow

Разработчики представляют Data Access Studio. Комплексное решение, которое максимально упрощает создание отчётов и управление ими.

От tableau software

Простая, но в то же время функциональная система аналитики. Помогает бизнесу раскрыть смысл любой информации, ускоряет поиск, даже если он связан с конкретными показателями. Организуется сквозной процесс по анализу, во время которого дополнительные инструменты объединяют с визуализацией.

От zoho corporation

Программа для аналитики, которая носит наименование ManageEngine Analytics Plus. ИТ-данные любых разновидностей отображаются на специальных панелях после того, как их извлекут из общего диспетчера приложений. В каждой из рабочих сред проводится полный анализ производительности, доступности.

От goodt

Создали программную платформу Insight. В её основе открытые стандарты, чтобы можно было быстро разрабатывать приложения, связанные с аналитикой.

От алан ит

Решение, связанное с облачными технологиями. Программа подходит для маркетинга и розничной торговли, финансового управления. Теперь проще анализировать бизнес и продажи.

От microsoft corporation

В этом случае разработка носит наименование Microsoft Power Bi, собирает всю необходимую информацию, чтобы руководитель без проблем принимал соответствующие решения.

От qlik

Ещё одна система из программ по аналитике. Выявляет сведения, которые невозможно получить, организуя только традиционные запросы в различных базах.

От informatica

Разновидность платформы, которая отвечает за интеграцию всех корпоративных данных. С ее помощью сотрудники компании без проблем смогут преобразовывать и интегрировать данные, в любой момент времени получать к ним доступ вне зависимости от того, какие платформы используются на практике.

От 3i technologies

Сервис, работающий в режиме онлайн. Связан с аналитикой. Помогает решать разные задачи в этом направлении. Предполагает сбор различных медиа данных, использует при этом совершенно разные источники.

От полиматика рус

Платформа аналитического характера. В интерактивном режиме обрабатывает любое количество данных, даже большое по объему. Может быть самостоятельной системой либо частью большого комплекса. Обеспечивает не только саму аналитику, но и высокую скорость обработки данных.

От люблянский университет

Распространение с использованием открытого исходного кода – главная особенность разработки. Инструмент для организации машинного обучения, визуализации сведений в больших количествах. Набор исследовательских функций достаточно большой.

От loginom company

Платформа для анализа, которую можно отнести к разновидности Low code. Очистка и анализ сведений, интеграция способствуют повышению эффективности при принятии решений.

От интеград

Исследует и анализирует разнородные автоматические системы, чтобы пользователь получил свой результат. Вся информация обобщается в удобном виде.

От geckoboard

Сервис, работающий в интернете. Собирает и анализирует, а потом всё визуализирует.

От domo

Программное решение для аналитики, предполагающее использование облачных технологий. Социальные сети, другие решения, базы данных и таблицы – подключить к этой системе можно буквально всё.

От google

Известная компания, представляющая собственную студию с данными. Облачное приложение, которое распространяется на бесплатной основе. Главный функционал включает создание интерактивных панелей мониторинга. Бизнес-панели предполагают оформление на профессиональном уровне с использованием разных источников.

От biplane24

Здесь упор делают на бизнес-отчётности и управлении ею. Инструмент упрощает контроль по ключевым показателям эффективности предприятий, вне зависимости от текущего масштаба.

От барс груп

Разработаны комплексные разновидности решений. Первичная обработка данных организуется с минимальными временными затратами, даже если источников много. Проводит анализ по конкретным цифрам компании. При необходимости информацию легко опубликовать внутри компании.

От биай продакшн

Речь идёт о продукте под названием Modus Bi. Отличный вариант не только для того, чтобы определить тренды, но и чтобы выявить конкретные показатели. Потом на основе данных создаются соответствующие прогнозы.

От elastic nv

Программное приложение, носящее название Kibana. Отличается наличием исходного кода, который легко визуализирует любые данные. Тем более, если они уже совместно используются для системы Elasticsearch.

От google

Известные разработчики представили ещё одну разновидность облачного веб-сервиса (речь идёт об инструменте Charts). Пользователям не составит труда собрать статистику, которая будет выглядеть как пиктограммы, графики и круговые диаграммы, другие подобные элементы.

От tableau software

Продукт с названием Tableau Public. Программное обеспечение, которое распространяется по бесплатной модели. Можно не только заново создавать интерактивные визуализации, но и подключаться к таблицам, файлам, которые уже используются на практике.

От нпо криста

Это система Криста Bi, инструмент, который упростит решение любых задач, связанных с аналитикой. То же касается комплексного мониторинга на различных объектах, составления отчётностей. Не составит труда проследить и конкретные показатели, которые фиксируют эффективность.

От Яндекс-облако

Здесь проще найти подходящий инструмент, если знать, что он носит название DataLens. Не только ищет разные сведения, но и визуализирует их.

От statsbot

Для быстрой аналитики в бизнесе руководители представили сервис, работающий в режиме онлайн. Сначала информацию извлекают из разных источников, а потом их представляют в удобном виде, при этом дополнительные затраты на программирование не требуются.

От sap se

Компания представляет разработку под названием Lumira. Приложение обладает не только стандартным функционалом. Оно позволит строить интерактивные панели в зависимости от конкретных задач исполнителей, при этом ценные сведения можно легко распространять по компании внутри.

От redash

Разновидность программного продукта. Предлагает стандартный набор функций, мало чем отличающихся от предложений конкурентов.

От некстби

Анализ, сбор и хранение информации остаются основным назначением для программного продукта. Обеспечивает полную безопасность предприятия с информационной и экономической точки зрения.

От looker data sciences

Платформа, которая обозначается как Looker. Благодаря современному решению каждый специалист сможет не только исследовать данные, но и сразу понимать, как их использовать для принятия эффективных решений.

От консорциум idvp

Теперь визуализация бизнес-данных доступна каждому, в том числе с поддержкой полного жизненного цикла и использованием трёхмерной графики. Это позволяет сделать информационные панели и отчётности более доступными.

От ptmind

Название сервиса – Datadeck. Отличный вариант для сбора информации. Главное – назначить ответственного пользователя, который будет всё собирать.

От dasheroo

Проект нацелен на то, чтобы отслеживать конкретные ключевые показатели, связанные с деятельностью компании.

От qualia

Разработчики онлайн-сервиса BusinessQ (визуализирует данные после того, как удалось их собрать в нескольких направлениях).

Руководство по покупке системы бизнес аналитики

Здесь важно, чтобы заказчик чётко понимал, какой именно функционал ему необходим. С поставщиком заключают официальный договор, в котором подобно описывают все важные нюансы, связанные с совместной деятельностью. После этого сотрудники компании рассказывают о том, как пользоваться вводимыми программами.

Заключение

Каждый день современные технологии продолжают менять жизнь. Для руководителей предприятий это особенно заметно. Это касается и инструментов, которые собирают сведения, позволяют получать больше информации о потребителях, работе. Такие решения дают максимум преимуществ.

Обрабатывают данные, то есть вытаскивают из них пользу, совершенно разнопрофильные компании. Даже сеть семейных парикмахерских на районе может вести отчеты в Excel, используя ее как CRM-систему. На основе данных вывели список клиентов, давно не приходивших на стрижку? Самое время кинуть им sms с «индивидуальной» скидкой.

В какой момент бизнесу стоит организовать целую платформу для обработки данных? Всегда ли обработка данных — это про big data? И какие варианты есть сейчас в России? Рассказываем в тексте.

От Excel до ML — уровни зрелости дата-аналитики

В начале текста мы упомянули семейную парикмахерскую. Хороший пример, чтобы продолжать рассказывать про то, что вообще происходит в мире аналитики данных. Для дальнейшего повествования пусть это будет сеть барбершопов «Бородатый сисадмин».

Ниже — график зрелости аналитических систем, основанный на классификации компании Gartner. На нем можно выделить четыре уровня. Далеко не каждая компания линейно проходит эволюцию от начала до конца. Есть те, что «с ноги» врываются на 3-4 уровни. Главное, чтобы были необходимые ресурсы — деньги и специалисты, а также соответствующие бизнес-задачи. А есть компании, которые за все время существования так и останутся на Excel-таблицах и простенькой BI-системе. Это тоже нормально.

Наш «Бородатый сисадмин» пройдет по каждому этапу, чтобы было проще понять разницу уровней зрелости.

Первый уровень: описательный

Первые три пункта объединим в один блок: сырые и очищенные данные, стандартные отчеты. Это самый низкий уровень работы с данными, который чаще всего производится в Google Таблицах или Excel.

Так, наш барбершоп начал собирать данные о клиентах, которые приходят на стрижку, и считать посещения. Администратор вбивает информацию вручную, некоторые данные стягиваются из формы регистрации на сайте. Менеджер может очистить данные от дублей, поправить ошибки, которые были совершены при регистрации, и даже структурировать данные по количеству и разнообразию оказанных услуг в месяц.

На основе этого можно делать обычные отчеты. Узнать, растет ли количество клиентов месяц к месяцу, что дало больше дохода за лето — стрижка бороды и волос.

Эти данные отвечают на вопрос: что случилось? На основе них можно формулировать гипотезы и принимать решения. В большинстве своем — в ручном режиме и за счет когнитивных усилий менеджера.

К этому же уровню относятся такие форматы аналитики, как Ad hoc reports и OLAP. Ad hoc reports — это отчеты, сделанные под конкретный бизнес-запрос. Чаще всего это что-то нестандартное, чего нет в обычной отчетности. Например, перед менеджером «Бородатого сисадмина» стоит задача узнать, сколько продаж случилось за три месяца для когорты лысых, но бородатых посетителей (с разбивкой по дням).

Второй уровень: диагностический

На этом уровне — так называемая аналитика самообслуживания (self-service BI). Она подразумевает, что выполнять запросы к нужным данным и генерировать обобщающие отчеты могут специалисты разных профилей, а не только аналитики данных. Такой подход также проявляется в использовании BI-cистем типа Power BI, Qlik или Tableau. При этом дашборды в них, как правило, настраивают специалисты по работе с данными.

Здесь данные отвечают на вопрос, почему это случилось? Они не просто описывают нынешнее состояние компании, но являются источником аналитических выводов. Например, выручка «Бородатого сисадмина» выросла в 2 раза в сравнении с предыдущим месяцем. Данные показывают, что случилось это из-за нескольких рекламных постов в Telegram об акции барбершопа.

На этом уровне компания может перейти от Excel-таблиц к Python-скриптам и SQL-запросам. Также здесь уже не обойтись без одного-двух дата-аналитиков в команде.

Зачем вообще переходить на более сложные инструменты?

Причины могут отличаться для каждой конкретной компании:

• Увеличился объем работы с данными. Компания стала не только подсчитывать прибыль и расходы за месяц, но и собирать данные по маркетинговым активностям, фиксировать отток клиентов и так далее. Плодить десятки новых Excel-таблиц становится нерационально — в них легко запутаться и сложно проводить корреляции между событиями.
• Появилась потребность в автоматизации. Сотрудники тратят много времени, чтобы собирать данные вручную. Это время они могут посвятить более полезной для роста бизнеса работе.
• Нужно повысить качество данных. Чем меньше автоматизации процессов, тем больше поле для человеческих ошибок. Какие-то данные могут перестать собирать или вносить с ошибками. Автоматизация и BI-системы помогут лучше «чистить» данные и находить новые направления для аналитики.
• Увеличилось число аналитиков. Например, компания стала развиваться в нескольких регионах. В каждом — свой аналитик, но сводить данные им нужно в одном месте. Для унификации инструментов и подходов можно использовать единую BI-систему и общее хранилище (или хотя бы базу данных).

Третий уровень: предикативный и предписательный

На этом уровне начинается работа с более сложными концептами. Речь о предсказательной и предписательной аналитике.

В первом случае данные отвечают на вопрос, что будет дальше. Например, можно спрогнозировать рост выручки или клиентской базы через полгода. Тут алгоритм анализа может лечь в основу ML-модели.

Предписательная аналитика строится на вопросе, что стоит оптимизировать. Данные показывают: чтобы показатели выручки барбершопа выросли на 60%, нужно увеличить бюджет на рекламное продвижение на 15%.

На этом этапе речь уже не о нескольких аналитиках, а о целой команде, которая может работать на несколько бизнес-направлений. Как правило, в этой точке у компаний появляется необходимость в платформах для обработки данных.

Четвертый уровень

«Вышка» — это автономные системы аналитики на основе искусственного интеллекта. Тут машина предлагает некоторое предположительно верное решение по результату анализа больших данных, а человек принимает финальное решение.

Подобные системы могут использовать банки. Например, это могут быть скоринговые системы для выдачи кредитов. А наш барбершоп может использовать Lead scoring — технологию оценки базы данных клиентов с точки зрения их готовности приобрести продукты компании.

Третий и четвертый уровни только для больших данных?

Короткий ответ — нет.

Объем данных не так важен, как задачи, которые стоят перед компанией

Конечно, чем больше данных, тем репрезентативнее результаты. Но оперировать доводами в духе «у меня база всего на миллион человек, вся эта платформенная обработка — не для меня» тоже неверно.

Данных может быть немного, но они могут быть очень разнообразными: записи бесед с клиентами, записи с камер наблюдения, пользовательские изображения и т.д. Все это нужно систематизировано хранить, чтобы успешно извлекать из них ценные для компании, применимые в бизнес-задачах знания.

Объем данных не так важен, как количество аналитики и аналитических команд

Если в компании несколько аналитических команд по разным бизнес-направлениям, это приводит к проблемам. Команды могут использовать один источник данных, но при этом разные инструменты аналитики, разные хранилища. Иногда они могут анализировать одно и то же или по-разному считать один и тот же показатель, что не очень рационально. Если добавить новую аналитическую команду, она рискует начать дублировать часть уже сделанной работы.

Разнородность аналитических пайплайнов также приводит к задержкам в выполнении требований бизнеса. Продакт-менеджер попросит починить дашборд с выручкой по продукту, а фикс получит только через 1,5 месяца.

Когда растут сложность аналитических задач и число аналитиков, компании задумываются о платформах обработки данных. Они дают общую базу, общепринятые договоренности: с помощью каких инструментов и как мы забираем данные из источников, куда их складываем, каким образом организуем хранилище.

Из чего состоят платформы обработки данных

В целом, дата-платформа — это набор интегрированных между собой инструментов, которые позволяют компаниям делать регулярную и воспроизводимую аналитику данных.

Набор инструментов может быть разнообразным, но вкладываются они примерно в один и тот же пайплайн работы с данными:

1. Источники. Весь набор источников данных — от простых файлов и реляционных БД до SaaS-решений, собирающих какую-либо потенциально полезную для бизнеса информацию.
2. Обработка и трансформация данных. Здесь в работу вступают ETL- или ELT-инструменты. Данные забираются из источника, подвергаются преобразованиям, если это необходимо, и направляются в хранилище. Здесь могут быть задействованы такие инструменты, как Apache Spark, Kafka, Airflow.
3. Хранение данных в формате, подходящем для дальнейшей работы c ними. Самыми популярными тулзами для этого являются Greenplum, Clickhouse, Vertica, инструменты из экосистемы Hadoop.
4. Непосредственно анализ данных — описательный и/или предсказательный. В качестве инструмента тут может использоваться SQL, Python или любые другие языки.
5. Вывод/визуализация данных для конечных пользователей. Чаще всего какая-то принятая в компании BI-система (Power BI, Qlik, Tableau, Apache Superset или их аналоги).

Это грубое деление на этапы работы, которые охватывает платформа для обработки данных. Архитектура конкретного решения может быть более сложной. Один инструмент может охватывать несколько этапов работы, а какой-то определенный этап, например, хранение или трансформация данных, может быть более комплексным.

Как построить дата-платформу

Здесь вернемся к нашему «Бородатому сисадмину». Довольно сложно представить барбершоп, которому нужна платформа обработки данных, но мы уже слишком далеко зашли. Представим, что им управляет Федор Овчинников. Филиалы барбершопа открыты в 4 регионах страны и 22 городах. А еще он запустил онлайн-курсы по уходу за бородой в домашних условиях и всероссийскую платформу для барберов с системой личных кабинетов.

В общем, данных много, запросов для роста бизнеса тоже, аналитические команды не справляются. Какие есть варианты?

Создаем самостоятельно, с нуля

Самый трудно реализуемый вариант, но исключать его полностью нельзя. В таком случае компании нужно нанимать дорогостоящих на рынке специалистов — DevOps- или дата-инженеров. И надеяться, что они справятся без дата-архитектора (или нанять и его тоже).

Также нужно будет арендовать или закупать инфраструктуру под платформу. Понадобятся быстрые серверы и хорошие пропускные каналы. Если инфраструктура on-premises, серверы, естественно, нужно будет еще обслуживать (+ сменные инженеры в техническую команду для обслуживания 24/7).

Весь набор выбранного для платформы ПО нужно будет настроить и «подружить» между собой, чтобы обработка данных проходила максимально автономно и без сбоев. Отраслевого стандарта по факту нет, готовых инструкций очень мало.

В общем, проект масштабный — нужно вложить большие средства в то, что не будет приносить прибыли до и немного после окончания «стройки». А работа может растянуться в лучшем случае на несколько месяцев.

Нашему барбершопу не подходит. Нужных специалистов нет, IT-бренда, чтобы привлекать хороших специалистов, нет, а профит от анализа данных нужен как можно быстрее.

Нужно искать что-то более готовое. Какие есть варианты?

Идем к облачному провайдеру

У зарубежных компаний, которые нередко cloud native, есть один распространенный сценарий. Когда нужна платформа для обработки данных, они идут к одному из популярных иностранных облаков — например, AWS, Google Cloud, Azure — и там из отдельных «кубиков» собирают себе систему.

У них много продуктов, и там можно найти нужное «коробочное» решение для каждого из этапов пайплайна, который мы рассмотрели выше. «Кубики», впрочем, тоже нужно будет связать — с помощью собственных cloud-архитекторов или соответствующего managed-сервиса от провайдера.

Приобретаем готовую платформу

Еще один вариант — обратиться, например, к компании Cloudera, которая на данный момент является единственным адекватным поставщиком Hadoop. У них можно получить готовую, уже собранную платформу и даже техническое сопровождение. Но будет дорого. Ценник сможет принять только крепко стоящий на ногах энтерпрайз.

Где проблема? Владелец «Бородатого сисадмина» понимает, что оплата сервисов сейчас затруднена, платить нужно в долларах, а данные безопаснее хранить на территории России. Нужно рассматривать отечественные альтернативы.

Что в России?

В стране есть альтернативы обоим «западным» форматам: и набор необходимых PaaS-решений в облаке, не связанных между собой, и варианты, что ближе к «коробочным». В этом тексте не будет подробного обзора российских решений — этому стоит посвятить отдельный текст (кстати, напишите в комментариях, если вам будет интересно почитать такой обзор).

Здесь мы сосредоточимся на варианте, который обособлен от существующих решений и может быть полезен тем, кто ищет баланс между ценой и качеством.

Арендуем инфраструктуру с предустановленным ПО для обработки данных

Наша ситуация: у «Бородатого сисадмина» нет компетентных архитекторов и нескольких миллионов на интеграцию «коробочного» решения. Какие есть еще варианты?

У Selectel появилась платформа обработки данных — сервис, который снимает с бизнеса сразу две боли: необходимость связывать сервисы в одной инсталляции и заниматься вопросами безотказной работы инфраструктуры.

Работает как ателье. Клиент — это может быть CTO, DevOps, главный аналитик, дата-инженер — рассказывает о своих потребностях. Указывает «мерки»: сколько данных обрабатывается, какой вид обработки нужен — потоковая или пакетная (можно обе), что хочется получать на выходе.

Под требования подбирается инфраструктура — выделенные серверы на высокочастотных процессорах (до 3,6 ГГц) с большим объемом RAM и быстрыми дисками. На ней дата-инженеры из ITSumma поднимают все необходимое ПО под платформу обработки данных — настраивают сетевую связность и все необходимые каналы их взаимодействия.

Минимально достаточное число серверов — четыре машины. Это необходимо для обеспечения отказоустойчивости. Большинство из систем, устанавливаемых в платформу, — распределенные, нужно несколько мастер-нод, размещенных на разных «железных» хостах. Верхняя граница не устанавливается. Инфраструктура под платформу может масштабироваться горизонтально под запросы клиента.

Выбранное ПО — инструменты, которые можно встретить в большинстве эволюционно зрелых дата-платформах. Это open source, поэтому можно не переживать из-за вендор-лока.

Другие особенности

Умеренная кастомизируемость. Клиент может подключать любой источник данных, который ему удобен. Также можно синхронизировать вывод данных в BI-систему клиента, если он, например, использует не Apache Superset. В остальном стек негибкий: поменять один инструмент на другой или добавить инструмент к существующему списку не получится. Можно удалить лишние элементы — например, Kafka и Spark, если компания не занимается потоковой обработкой данных. Это позволит снизить нагрузку на инфраструктуру и сэкономить место для хранения данных.

Контроль на каждом этапе. Клиент получает доступ ко всему: от физической инфраструктуры до интерфейсов каждого из входящего в нее инструмента. Всегда можно добавить новый источник данных или запланировать выполнение нового Python-скрипта в Airflow. Это можно сделать также через поддержку в ITSumma. Если компании это не надо, такой вариант тоже рабочий. И инфраструктура, и софт будут настроены для работы с данными без участия ее сотрудников.

Отдельный бонус — можно добавить к платформе сопровождение дата-инженеров ITSumma, исключив необходимость нанимать in-house специалистов. Все через панель управления Selectel.

Не обязательно быть клиентом. Чтобы построить платформу обработки данных в Selectel, не обязательно хостится на инфраструктуре компании. Сетевую связность можно настроить как on-prem-площадки. Единственное — при этом сценарии могут быть ожидаемые задержки при трансфере данных из источников. Для высоконагруженных систем и систем, чувствительных к latency, лучше перевезти обрабатываемые данные ближе к месту размещения платформы.

Стоимость платформы складывается из стоимости инфраструктуры и работы дата-инженеров ITSumma. Оплата помесячная. Время построения платформы зависит от сложности запроса конкретной компании. На выходе клиент получает отказоустойчивую, хорошо отлаженную систему для регулярной обработки данных.

Зачем компаниям платформы обработки данных

Мы уже много написали о структуре и вариантах реализации дата-платформ. Теперь коротко о том, почему компаниям может быть полезно использование платформ для обработки данных:

• На подготовленных качественных данных можно строить рекомендательные системы (актуально для e-commerce и ритейла). Именно они после заказа продуктов в сервисе доставки предлагают ваши любимые продукты со скидкой. Так компания повышает средний чек и занимается допродажей услуг.
• Компания получает общий инструментарий для всех аналитических команд в компании: ограничивает список используемых инструментов и экономит на найме новых специалистов.
• Платформы данных помогает поднять аналитику на новый уровень — от описательной к предсказательной — и получать более ценную для бизнеса информацию.
• В решениях с технической поддержкой можно перевести траты на работу дата-инженеров из ФОТ в OPEX.
• Готовые платформы снизят нагрузку на дата-инженеров и дата-сайентистов. Они не будут тратить время на настройку софта и его совместимости с инфраструктурой.

Платформы обработки данных — не мастхэв для каждой компании, но и не какой-то уникальный инструмент, который доступен только большим и очень большим компаниям. Это может быть решение и для среднего бизнеса, который хочет расти и видит этот рост именно в data-driven подходе.

Почему каждый специалист хочет стать аналитиком и кто такой Сitizen data scientists?

Под начинающим аналитиком в этой статье мы в большей степени подразумеваем специалиста с техническим или экономическим образованием, но не исключаем и другую непрофильную специализацию.

В современном мире тяжело представить компанию, которая не собирает данные и не ориентируется при этом на «data-driven»-подход. На фоне информатизации более востребованными становятся специалисты, которые помогают бизнесу принимать решения на основе данных: Data Scientists и аналитики данных. Эти профессии являются самыми высокооплачиваемыми и перспективными специальностями в IT-сфере, а спрос на них продолжает расти.

Специалисты в предметных областях постепенно переквалифицируются в аналитиков данных. Связано это с тем, что бизнес-эксперты являются основными носителями ключевых знаний о компании и хотят использовать эти данные. У них есть информация и сотни идей, как улучшить бизнес. Например, маркетологам важно проводить маркетинговые исследования, финансистам — искать зависимость между финансовыми показателями, а специалистам по запасам — прогнозировать спрос на продукцию.

Однако в большинстве компаний весь анализ данных завязан на IT-отделе. Из-за этого возникает ряд проблем:

• «Хотелок» у бизнеса много, IT-ресурсов мало, рынок меняется быстро. Возникает боль всех заказчиков — очередь к IT-специалистам. Из-за этого ожидание реализации задачи может длиться месяцами.
• Эксперты понимают бизнес, но не понимают язык программистов. Программисты, наоборот, не знают тонкостей бизнеса. Из-за разницы в толковании и терминологии, объяснении постановки задач и обсуждении технического задания срок реализации растягивается.

У бизнес-пользователей всё чаще появляется необходимость анализировать данные собственными силами, проверять гипотезы на практике и получать работающие прототипы систем, быстро решать свои задачи, не дожидаясь разработчиков. Это стремление привело к появлению новой роли в аналитике — гражданский специалист по работе с данными (Сitizen data scientist).

Этот специалист умеет создавать и генерировать модели продвинутой аналитики и прогнозирования. При этом основная его роль выходит за рамки статистики и аналитики — прежде всего он остается бизнес-экспертом внутри своего подразделения. Сitizen data scientists не является профессионалом в области интеллектуального анализа данных и Big Data, у него нет специального образования и глубоких навыков в этой сфере. Зато он привносит в этот процесс собственный опыт и уникальные предметные знания.

Для воплощения своих идей в жизнь гражданскому специалисту по работе с данными требуется подходящее программное обеспечение. Именно развитие технологий послужило ключевым фактором роста числа Сitizen data scientists. Аналитические инструменты для неспециалистов стали доступнее в использовании, обеспечивают упрощённую подготовку, обработку данных и расширенную аналитику, включающую в себя Machine Learning и другие инструменты Data Science.

Какой инструмент для анализа данных выбрать начинающему аналитику? Давайте рассмотрим популярные классы систем для анализа данных и их особенности.

Excel

Бытует теорема о полноте Excel: любой бизнес-процесс можно описать достаточно «жирным» excel-файлом. Действительно, этот табличный редактор — настольный и универсальный инструмент любого специалиста по работе с данными. До сих пор ни один инструмент аналитика не может превзойти Excel по популярности.

Быстро произвести разнообразные расчёты, построить сводные таблицы, рассчитать прогноз и показать графики руководству — для этого вполне подходит табличный редактор. Анализ данных в Excel можно выполнить с помощью статистических процедур и функций (корреляция, регрессия, скользящее среднее и т.д.). Есть надстройки и приложения Mictosoft, которые расширяют возможности Excel для очистки данных, создания моделей и отчётов сложной структуры, инструменты визуализации и другие.

Производительность Excel — недостаток программы, который особенно ощущается при росте объёма данных до одного миллиона строк: система начинает медленно производить вычисления. Иногда из-за этих трудностей с Excel-таблицами становится невозможно работать.

Проблемы с Excel появляются, когда компания растёт, в подготовке одного отчёта в Excel участвуют несколько сотрудников, которые постоянно обмениваются файлами, требуется автоматизация или сложная многоэтапная обработка. Например, каждую неделю разные подразделения готовят отчёты для коммерческого директора, склеивая данные из нескольких Excel-таблиц и выгрузок из 1С, с десятками вкладок и ссылок в нескольких версиях, да ещё постоянно изменяют и «улучшают» эти отчёты. Написание макросов на встроенном в MS Office языке помогает решить проблему, но ненадолго. В конце концов, компания сталкивается с состоянием, для которого даже есть собственное определение — Excel Hell.

BI-системы

Традиционные системы Business Intelligence — удобные инструменты представления и визуализации информации. К ним относятся Power BI, Tableau и другие.

BI-платформы позволяют собирать данные из различных источников, строить регулярные красивые отчёты и интерактивные дашборды для руководителей с любой степенью детализации. Они используются для создания систем аналитической отчётности, мониторинга, KPI и отвечают на вопросы: что случилось ранее или происходит в текущий момент. Эти продукты способны обработать во много раз больше данных, чем Excel.

К недостаткам BI-систем относится отсутствие инструментов для продвинутой аналитики (кроме встроенных сторонних языков программирования). Без погружения в кодирование пользователь не сможет заниматься именно анализом и предсказанием развития ситуации в будущем: почему это случилось, что может случиться и что делать. Например, кто из клиентов склонен к оттоку или какие факторы влияют на продажу товаров.

Компаниям преподносят BI-системы как решение проблем получения отчётов. На самом деле BI — это только вершина айсберга, а под водой скрывается множество сложностей получения данных — ETL (Extract, Transform, Load). Загрузка, предобработка, очистка и стандартизация данных — это самая большая проблема аналитиков, которая занимает до 80% всего процесса анализа данных. Для подготовки только одного отчёта на ETL-процесс может уходить до нескольких недель. Например, когда необходимо совместить данные о производстве и поставках, которые вносились разными отделами в разных местах и системах. BI-платформы предлагают инструменты или дополнительные компоненты для ETL-процесса, но их функционал либо ограничен и недостаточен, либо необходимо писать код.

Языки программирования для анализа данных

Среди аналитиков популярны языки программирования Python и R. Они мощные и гибкие, что позволяет написать на них практически всё, что необходимо, работают с большими объёмами данных. В помощь Data Scientist’ам существует огромное количество готовых библиотек для визуализации, ETL, машинного обучения и интеллектуального анализа данных. Часто появляются новые библиотеки, которые размещаются в открытом доступе.

Порог вхождения в языки программирования самый высокий по сравнению с другими инструментами, так как нужны специальные знания в области IT и статистики, а также умение писать код. Нельзя просто прочитать инструкцию для «чайников» и пойти программировать работающие системы. Ведь между копированием библиотеки и полноценным решением огромная разница.

Для бизнеса немаловажное значение имеет, как быстро и сколько сотрудников смогут разрабатывать решения на языке программирования. Сейчас много доступных обучающих курсов на популярных площадках, но:

• нужно длительное время на изучение;
• высок шанс для непрограммиста осознать, что это не его и он не сможет осилить эти знания.

Многие начинающие аналитики, хоть и не признаются в этом, действительно не сумели стать разработчиками на Python или R и за год обучения.

Аналитические low-code платформы

Здесь речь пойдёт не про все аналитические платформы, а только те, которые работают по принципу low-code. Эти инструменты визуального проектирования были разработаны специально для аналитиков, не обладающих навыками программирования, и оснащены всеми необходимыми инструментами для простой работы с данными. Примеры таких решений: Loginom, Alteryx и т.д.

Аналитические платформы, которые базируются на принципе low-code, представляют собой конструкторы с набором готовых «кубиков». Решения, которые ранее разрабатывались программистами, теперь могут собираться самими аналитиками, «мышкой», в короткие сроки. Системы показывают высокую производительность при работе с большими массивами данных.

Платформы позволяют автоматизировать ежедневную работу аналитика различной сложности, практически не привлекая к ней разработчиков. Получение данных из различных систем, объединение, преобразование, очистка, простые и сложные вычисления, визуализация — та самая работа, на которую у аналитиков уходит до 80% времени. Она легко выполняется на аналитической платформе без кодирования и не требует специфичных знаний.

Для продвинутой аналитики платформы содержат инструменты Machine Learning. Наличие упрощённых мастеров настройки алгоритмов анализа данных с уточняющей документацией максимально упрощает вход в профессию аналитика.

Для применения алгоритмов продвинутой аналитики всё-таки понадобится изучение теории по анализу данных и математической статистике. Не требуется становиться 100% Data Scientist’ом, но должно быть понимание, для чего нужен определённый алгоритм анализа данных, как правильно подготовить данные для него и интерпретировать результаты.

Минусом аналитических платформ также является ограниченное количество компонентов. При нехватке функционала придётся использовать встроенные языки программирования и просить помощи у своих IT-шников. Low-code не исключает написание кода, а сводит его к минимуму.

Инструмент для аналитика данных — какой в итоге выбрать?

Анализ данных расширяет возможности компании, позволяя бизнесу получать инсайты. Ключевая роль в этом процессе теперь отводится бизнес-экспертам как основным «носителям» знаний. Бизнес-пользователю нужен лишь подходящий инструмент.

В этой статье мы перечислили инструменты, которые обеспечивают лёгкий доступ к данным и аналитике для начинающего Сitizen data scientist. Каждый из них используется в подходящей для него области. Выбирайте самый простой из возможных способов решения вашей задачи.

Если можно обойтись Excel, то используйте Excel. Если начинают создаваться обходные решения или неэффективно используются существующие инструменты, переходите на новый уровень. Каждый последующий шаг — это открытие новых горизонтов и профессиональное развитие в самом перспективном IT-направлении – Data Science.

Развивайте свои аналитические навыки, пробуйте и выбирайте подходящий для вас инструмент для работы с данными. Ищите то решение, которое быстро и эффективно реализует вашу задачу, а главное, поможет избежать ежедневных рутинных операций.

Статья подготовлена для интернет-издания VC.ru.

Другие материалы по теме:

Loginom Community Edition — аналитика, доступная каждому

Простой визуальный ETL для BI. Интеграция Loginom и Visiology. Вебинар