Автоматизация процесса анализа внедрение модели машинного обучения в бизнес процесс

От поддержки отдела кадров до аналитики прогнозов.

Перевод статьи от он-лайн журналиста, эксперта в области маркетинга, ИИ, технологий и данных — Marcel Deer

Машины здесь. Они учатся. И они приходят за вашим бизнесом – с возможностью построить или уничтожить вашу способность конкурировать в ближайшем будущем. Маргарет Лаффан, директор по развитию бизнеса в области машинного обучения SAP, написал в Forbes:

«Те компании, которые не думают об инвестициях и инновациях, вскоре будут отставать от основанных на машинном обучении»

Машинное обучение уже меняет мир. Являясь ключевым подмножеством искусственного интеллекта (ИИ), оно позволяет компьютерам действовать и учиться самостоятельно, без специального программирования, используя данные и опыт, а не программируя их явно. Автомобили с автономным управлением, рекомендации Netflix и виртуальные личные помощники, такие как Siri и Alexa, являются одними из самых известных приложений AI. Такие функции доступны не только для сайтов электронной коммерции и развлечений.

Автоматизация бизнес-процессов

Одним из наиболее эффективных способов, с помощью которого предприятия используют машинное обучение для повышения своей конкурентоспособности, является автоматизация бэк-офисных процессов. Большинство из них представляют собой наборы функций, основанных на правилах, которые могут беспрепятственно функционировать на основе «отключения», освобождая сотрудников для работы над более стратегическими задачами.

Многие компании уже делегируют многочисленные повседневные задачи компьютерам – от сбора данных с оптически считываемых или веб-форм до обработки заказов. Взаимодействия между компьютерами, такие как ИТ, финансы и бухгалтерский учет, являются относительно простой задачей для ИИ. Дэн Веллерс, Digital Futures SAP, сказал:

«Отслеживая существующие процессы и обучаясь распознавать различные ситуации, ИИ значительно увеличивает количество отчетов, которые могут быть сопоставлены автоматически».

«Это позволяет организациям сократить объем работы, переданной на аутсорсинг сервисным центрам, и освобождает финансовый персонал для решения стратегических задач».

Согласно опросу Tata Consultancy Services, проведенному в 2017 году среди 835 компаний, большинство из этих вспомогательных функций, автоматизированных с помощью ИИ, связаны с информационными технологиями. Эти процессы, управляемые ИИ, включали:

• Обнаружение
  и предотвращение вторжений в систему безопасности.
• Решение
  технических проблем пользователей.
• Сокращение
  работы по управлению производством за счет автоматизации.
• Внутренняя
  оценка соответствия с использованием утвержденных поставщиков технологий.

Чат-боты и другие приложения машинного обучения могут справиться с рядом рутинных задач HR, включая:

• Отбор претендентов на работу из сотен резюме.
• Планирование интервью, обзоров эффективности и других групповых встреч.
• Оценка и вовлечение сотрудников в оптимизацию офисных рабочих процессов.
• Отслеживание результатов и соответственное повышение вознаграждений сотрудников.
• Выявление пробелов в знаниях или возможностей для развития сотрудников.
• Ответы на вопросы о политике компании, преимуществах, служебных процедурах и даже базовом разрешении конфликтов.

Как отмечает Сара Уильямс (Sarah Williams) из HPPY, сообщества HR и взаимодействия с сотрудниками,

«Правильно применяемые технологии машинного обучения могут сэкономить время за счет использования предективной аналитики, чтобы сократить потери времени при наборе персонала и сделать процесс более надежным и точным».

Например, она говорит, что международный гигант потребительских товаров Unilever пропускает кандидатов через три раунда собеседований и тестов на основе машинного обучения, прежде чем впервые встретиться с человеком, что экономит сотрудникам компании 50 000 часов и сокращает время найма с обычных четырех месяцев до четырех недель.

Машинное обучение также может быть использовано для повышения продуктивности человека. Например, автоматическое создание еженедельных отчетов и даже мониторинг сотен новостных сообщений, упоминаний в социальных сетях и других источников информации о конкурентах, а затем выпуск кратких сводок для заинтересованных сторон.

Такие инструменты можно использовать не только для мониторинга данных, но и для прогнозирования результатов, например, помогая корпоративным командам расставлять приоритеты в разработке продуктов, а также в сфере продаж и маркетинга. К 2022 году каждый пятый работник, занятый в основном нестандартными задачами, будет полагаться на работу ИИ. Машинное обучение способно принести пользу из совершенно новых и огромных источников данных, которые никогда ранее не были доступны человеческим путем. Например, Шивон Зилис (Shivon Zilis) и Джеймс Чам (James Cham) предлагают в Harvard Business Review:

«Представьте себе, если бы вы могли позволить кому-то слушать каждую аудиозапись ваших продавцов и прогнозировать их эффективность»

«Эти источники данных могут уже принадлежать вашей компании (например, стенограммы разговоров о техническом обслуживании клиентов или данные о датчиках, прогнозирующие сбои и требуемое обслуживание)»

Другие передовые приложения машинного обучения могут сделать компании более конкурентоспособными, создавая новые продукты и повышая надежность существующих. Производитель мебели IKEA использует алгоритм машинного обучения для анализа социальных сетей и поиска данных, чтобы изобрести (и назвать) новые продукты, которые решают проблемы, упоминаемые в Интернете. Например, мебель IKEA «Яблочный сок», которая заряжает ваш смартфон по беспроводной сети.

Машинное обучение также отлично подходит для изучения огромного количества данных датчиков, логистики и статистики отказов от приборов, машин или транспортных средств. Предсказания моделей могут служить рекомендациями для профилактического обслуживания, смягчать риски транспортировки или цепочки поставок или даже обнаруживать аномалии в режиме реального времени, которые указывают на неизбежность сбоя. Эрик Бюсси (Eric Bussy), Esker, сказал:

«Многим предприятиям еще предстоит понять весь потенциал машинного обучения и когнитивных вычислений для процессов бэк-офиса»

«Преимущества выходят далеко за рамки просто повышения производительности и более быстрых цепочек поставок».

Использование подхода «жди и смотри» с машинным обучением искусственного интеллекта больше не вариант, особенно для компаний в высоко-конкурентных отраслях. Закрытие в 2017 году не менее 8 053 магазинов (включая такие крупные бренды, как Payless, RadioShack и Toys R Us) показало,что ритейлеров съедают гиганты, которые активно вкладываются в развитие ИИ. Однако, высокая конкуренция с внедрением роботов не является единственной проблемой для B2C. Все компании сталкиваются с опасностью отставания, игнорируя развитие технологий.

Искусственный интеллект благодаря автоматизации машинного обучения умеет анализировать большой объём информации, классифицируя и структурируя её, уточнять смысл данных, находить погрешности, ошибки, противоречия, выдавать рекомендации, предсказывать неисправности в оборудовании или системах.

Внедрение машинного обучения помогает решать такие задачи, как сокращение расходов транспортных компаний, прогнозирование поведения покупателей и спроса на товары, диагностика пациентов, запись на приём пациентов в больницах и многие другие. Подходящее решение для бизнеса вы сможете найти в каталоге нашего сайта.

В наше время миром все больше управляют цифровые технологии. Большие данные, искусственный интеллект, беспилотные автомобили — и это только малая часть того, что ежедневно меняет или будет менять нашу жизнь, наши привычки и то, как мы ведем бизнес. Но как на практике использовать машинное обучение и почему это хорошая инвестиция в бизнес? Рассказывает Константин Королев, руководитель отдела в департаменте Data Science Nielsen Россия.

Именно сегодняшняя доступность больших массивов данных сделали возможным повсеместное использование машинного обучения для решения бизнес-задач, однако есть два главных условия для того, чтобы эта технология работала, — это качество исходных данных и отлаженность модели, которая их обрабатывает. Если они выполняются, то процесс внедрения машинного обучения может занять всего три шага.

Шаг 1. Поставьте цель

Определитесь с задачей и найдите процесс, шаблон работы которого вы сможете детально описать. Помните, алгоритм не заменяет человека и не принимает за вас решений. Поэтому не стоит автоматизировать те процессы, которые требуют учитывать большое количество случайно возникающих факторов. 

Делегируйте машинному обучению предсказуемые вещи: определение типа документа или диапазона допустимого изменения показаний датчиков.

Пример

Машинное обучение хорошо подходит для оптимизации рутинных задач. В этом случае его точность близка к максимальной. Поэтому в Nielsen мы используем его для классификации информации о товарах, так как этот процесс не связан с наличием множества изменяющихся переменных. 

Каждый день к нам поступают данные, и каждый день алгоритмы обрабатывают и классифицируют их, помогая избежать ошибок на ранних этапах. У этого процесса высокая скорость и точность, так как почти вся поступающая информация нам уже знакома. А когда на рынок выходит новинка, мы проводим дополнительную работу и отлаживаем модель.

Шаг 2. Найдите примеры

Для успешной работы машинного обучения важно иметь так называемые «примеры для подражания», и поэтому нужно заранее подготовить их в достаточном количестве: для каждой группы, с которой алгоритм будет сравнивать новые образцы. И чем больше правильных и разнообразных примеров вы используете, тем более качественный результат получите на выходе.

Пример

Мы работаем с огромным количеством описаний продуктов, чтобы анализировать, что люди покупают, — более миллиона товарных позиций заранее классифицированных по определенным параметрам. К примеру, категория товара, производитель, бренд, вес, вкус и многие другие.

Благодаря этому можно отделить обычное молоко от молочных продуктов или газированные напитки в упаковке емкостью 0,5 от двухлитровых. Огромное количество уже существующих примеров делает работу с алгоритмом эффективнее, ведь внести небольшое изменение в текущую модель проще.

Шаг 3. Создайте алгоритм

После описания процесса на словах остается перевести алгоритм в ту форму, которая будет привычна компьютеру — например, с помощью одного из популярных сейчас языков программирования — R или Python. И после первичного обучения модели проверить ее на точность и подобрать оптимальные параметры. 

Пример

В примере с анализом продаж мы используем разновидность нейронной сети, которая хорошо зарекомендовала себя с точки зрения классификации данных. Обучив алгоритм на примерах конкретных продуктов, мы стали применять его для масштабных целей: анализа более 500 млн строк данных в месяц, которые поступают из более чем 60 тысяч магазинов по всей стране каждые 30 секунд. 

Работа с такими колоссальными объемами данных делает нас единственной компанией на рынке ритейла и FMCG, которая предоставляет структурированную информацию о продажах с детализацией до конкретной товарной позиции. Например, бутылки негазированной воды определенного бренда в объеме 1,5 литра со вкусом лимона. Добиться такой точности не всегда просто из-за того, что зачастую один и тот же товар может быть по-разному закодирован, иметь разные названия или дублировать другие товарные позиции.

Теперь можно в любой момент отправлять ему новые порции данных в виде десятков и сотен тысяч новых строк описаний, чтобы за несколько секунд или часов (в зависимости от объема данных) классифицировать их. У сотрудников на такую работу вручную точно ушло бы гораздо больше времени.

В долгосрочной перспективе на этом, конечно, процесс не заканчивается. Работающий алгоритм нужно периодически проверять и дообучать. В нашем случае новые продукты постоянно появляются на рынке, а старые постепенно исчезают. И чтобы модель оставалась релевантной, ее нужно адаптировать к этим изменениям.

Как получить максимум?

Итак, чтобы внедрить машинное обучение в бизнес-процессы:

• определите процесс, который необходимо оптимизировать. Например, сортировку входящих документов;
• найдите примеры данных, которые станут основой обучения алгоритма. Чем больше и разнообразнее они будут, тем лучше;
• создайте алгоритм. Популярные языки программирования, например, Python, станут отличным стартом для экспериментов на поле искусственного интеллекта;
• тестируйте и корректируйте модель, чтобы добиться максимальной точности. И не забывайте регулярно адаптировать ее к изменениям.

Фото на обложке: Unsplash

1. Конечная цель

С чего же начинать внедрение ИИ в бизнес-процессы своей компании. Как это не странно звучит, но начинать нужно с конца — то есть с определения конечной цели, которой мы хотим добиться. Это может быть увеличение объёма продаж, увеличение среднего чека, сокращение издержек, уменьшение ошибок или ускорение процессов. Важно, чтобы параметры были измеримы и достижимы, например, рост выручки не менее чем на 30%, увеличение конверсии на 45%, уменьшение простоя оборудования на 25%, снижение брака готовой продукции на 85%.

Внедрение ИИ в промышленных и непромышленных предприятиях происходит немного по-разному. В промышленных организациях чаще всего автоматизируются процессы связанные с когнитивными сервисами, через умное видеонаблюдения (в том числе инфракрасные камеры, тепловизоры и др.). Это позволяет снизить процент брака в готовой продукции, повысить безопасность и автоматизировать ряд процессов. В непроизводственных отраслях внедрение ИИ чаще всего в первую очередь начинается с отдела продаж, так как выгоды здесь наиболее очевидны и измеримы.

2. Создание культуры работы с данными

Любой процесс, связанный с искусственным интеллектом, требует большого количества данных. Очень большого количества данных. Не секрет, что искусственный интеллект появился более 50 лет назад, а математической базе машинного обучения более 100 лет. Однако эффективно применять их стало возможным только сейчас. Причина во многом кроется в том, что за последние 10 лет удалось накопить достаточный массив данных в виде текстов, фото, видео изображений, записях в CRM и ERP, показателей телеметрических датчиков.Сбор и хранение данных требует определённой культуры работы с данными. На всех этапах бизнес-процесса каждый сотрудник должен понимать, что вся входящая и исходящая информация представляет ценность для дальнейшего анализа и составления прогнозов. Это не очевидно для многих, поэтому требуется уделить внимание, чтобы привить каждому сотруднику привычку бережного сбора и хранения материалов.

3. Сбор и обработка данных

Сбор данных может занять определённое время. Слово “большие” в термине Big Data не случайно. Данных должно быть достаточно для нивелирования статистических погрешностей, обучения моделей, формирования контрольной выборки для определения качества моделей.

Методологию сбора и фильтрации данных помогут разработать специалисты data science. Они же потом сформулируют правила их обработки.

4. Построение моделей

Когда подготовительная работа выполнена, строятся ансамбли моделей, которые обучаются на заранее собранных данных (обычно 75% от общей выборки), затем полученные модели тестируются на контрольной выборке (оставшиеся 25%). Те модели, предсказание которых совпало с реальными данными более точно, считаются подходящими для. Разумеется данное описание существенно упрощено, в реальности разбивка на тестовую и обучающую выборки несколько раз перемешивается, чтобы улучшить точность модели и исключить случайное совпадение результатов.То что разные модели могут давать правильные значения не должно смущать. Как в математике так и в обычной жизни мы можем прийти к правильному ответу разными способами, то есть правильных решений может быть несколько. Это в свою очередь даёт больше возможностей для изучения результатов на следующем этапе.

5. Проверка результатов и брейн-штормы

Когда модели построены, тестовые данные предсказываются точно, необходимо проверять результаты на боевых данных. Это не является простой задачей, так как важно нивелировать различные когнитивные искажения вызванные самим наличием прогноза.Люди, как правило, неравнодушно относятся к выводам ИИ и могут как “подгонять” реальные ответы под ответы ИИ, так и наоборот искусственно занижать точность предсказаний, чтобы оставить всё по-старому.

Поэтому проверка моделей должна проводиться с учётом нивелирования данных сложностей.

Кроме наличия самих рекомендаций от моделей машинного обучения, можно получить “веса”, которые разделяют данные на кластеры. То есть бизнес-аналитики получат информацию, которая позволит лучше понять свою целевую аудиторию, сформировать новые гипотезы по улучшению продукта и продаж.

6. Уточнение моделей

Информация, полученная в результате проверки на реальных актуальных данных, даже если она будет существенно противоречить результатам прогнозов поможет уточнению модели. Расхождения могут быть связаны как с изменением самих данных (архивные могут отличаться от текущих), так и с проблемой, описанной выше.В любом случае построенная модель тестируется на новом массиве данных и обогащается ими.Кроме того уточнение модели необходимо проводить силами бизнес-аналитиков, которые могут внести искусственные коррективы на основе знаний технологических и поведенческих процессов. Это позволит уменьшить необходимую выборку данных и увеличить точность прогноза.

Дальнейшее развитие

Можете быть уверены, что сам процесс внедрения машинного обучения в ваш бизнес принесёт ряд косвенных положительных изменений. Вы увидите, где данные терялись или искажались в процессе работы, какие не использовались. Бережное отношение к информации ваших сотрудников сделает их более ответственными, аналитики получат ряд гипотез для проверки. Руководство будет иметь возможность строить интерактивные онлайн BI дашборды на основе собранных данных и видеть актуальное состояние бизнеса.Однако даже после достижения изначально поставленных целей, аппетит только разыграется, руководители отделов увидят как ИИ позволяет быстрее и проще достигать KPI и снижает издержки. Это станет началом для дальнейшей оптимизации процессов с помощью машинного обучения, что приведёт к большему порядку в плане работы с данными на предприятии и в конечном счёте даст синергетический эффект для всех отделов.

Новая информация, поступающая в базы данных будет усиливать модели и улучшать прогнозы.

Машинное обучение (ML) — это мощный инструмент, который можно использовать для автоматизации сложных задач и оптимизации процессов. Он применяется во многих отраслях, от здравоохранения до розничной торговли, и компании все чаще используют его для прогнозирования, сегментации клиентов, выявления мошенничества, автоматизации маркетинга и многого другого. Рассказываем, что это такое и зачем он нужен современному бизнесу.

Что такое машинное обучение?

Машинное обучение — это разновидность искусственного интеллекта (ИИ), которое позволяет программным приложениям более точно предсказывать результаты без явного программирования. Впервые она была определена в 1950-х годах пионером ИИ Артуром Самуэлем как «область исследований, которая дает компьютерам возможность обучаться без явного программирования».

Существует четыре основных подхода:

• контролируемое обучение;
• неконтролируемое обучение;
• обучение с подкреплением;
• глубокое обучение.

Контролируемое машинное обучение использует наборы меченых данных для обучения алгоритмов классификации данных или точного предсказания результатов, в то время как неконтролируемое обучение не требует никаких меток на входных данных. Машинное обучение с подкреплением использует метод проб и ошибок для обучения на основе опыта. Глубокое обучение предполагает использование нейронных сетей, которые могут быть обучены на больших объемах данных.

Машинное обучение находит широкое применение — от прогнозирования поведения покупателей до создания операционной системы для самоуправляемых автомобилей, что делает его важным компонентом растущей области науки о данных.

«В современном мире бизнесу нужно адаптироваться и использовать эти системы. Именно в этом скрыт риск для консервативных предпринимателей, которые могут упустить новые возможности и от отстать от конкурентов, которые будут более инновационными. Основной плюс технологии даже не в уменьшении затрат, а в увеличении эффективности: быстрой скорости реакции, организации персонального подхода, лучшей координации подразделений, автоматического принятия мер и так далее» — отмечает директор по развитию ИТ-компании «Формат Кода» Александр Жуков.

Модели машинного научения в бизнесе

Чтобы начать использовать модели машинного обучения для бизнес-приложений, компании должны сначала спросить себя, подходящее ли сейчас время для внедрения ML, а затем упростить задачу, выбрав подходящий алгоритм, такой как регрессия или классификация, кластеризация, глубокое обучение или обучение с подкреплением. Кроме того, они должны учитывать такие факторы, как экономическая эффективность решений и потенциальные риски, связанные с внедрением ML в свою деятельность, прежде чем принимать какие-либо решения о его внедрении.

Предприятия могут использовать различные модели машинного обучения для решения сложных проблем и улучшения деятельности:

• Регрессионные модели предсказывают непрерывные выходные переменные на основе входных переменных.
• Модели классификации предсказывают категориальные переменные на основе входных данных.
• Модели кластеризации группируют похожие точки данных вместе.
• Модели рекомендаций предлагают продукты или услуги на основе моделей поведения в прошлом.
• Модели временных рядов анализируют тенденции в данных, зависящих от времени.
• Нейронные сети созданы по примеру устройства человеческого мозга и эффективно решают такие сложные задачи, как распознавание изображений, обработка речи и автономное вождение.

Как машинное обучение изменило бизнес?

Данная технология преобразует бизнес различными способами, от оптимизации рабочих процессов и агрегирования бизнес-данных до предоставления информации о взаимоотношениях с клиентами и помощи в управлении цепочками поставок. Машинное обучение также можно использовать в маркетинговых целях, например, для персонализации рекламы или создания автоматизированных ответов на электронные письма. Кроме того, приложения машинного обучения используются компаниями для снижения расхода топлива при перевозках и улучшения управления запасами.

Машинное обучение изменило методы работы предприятий, позволив им использовать данные для получения информации, автоматизации процессов и принятия лучших решений. Вот некоторые способы, с помощью которых машинное обучение преобразует бизнес:

• Улучшение качества обслуживания клиентов: Алгоритмы машинного обучения можно использовать для анализа данных и поведения клиентов, чтобы составить персонализированные рекомендации по продуктам, предсказать отток клиентов и выявить новые возможности для перекрестных продаж.
• Повышение операционной эффективности: Машинное обучение позволяет автоматизировать рутинные задачи, такие как ввод данных и обработка документов, освобождая сотрудников, чтобы они могли сосредоточиться на более важных задачах. Оно также может оптимизировать цепочки поставок, производственные процессы и управление запасами.
• Предиктивное обслуживание: Машинное обучение может использоваться для анализа данных датчиков и прогнозирования вероятности выхода оборудования из строя, что позволяет планировать техническое обслуживание с упреждением, сокращая время простоя и расходы.
• Обнаружение мошенничества: Машинное обучение может использоваться для анализа закономерностей в финансовых операциях и выявления потенциального мошенничества или отмывания денег.
• Улучшенное управление рисками: Машинное обучение может использоваться для анализа данных из различных источников с целью выявления потенциальных рисков и прогнозирования будущих результатов, например, уровня неплатежей и кредитного риска.
• Персонализированный маркетинг: Машинное обучение может помочь компаниям нацелить конкретные сегменты клиентов на релевантные и персонализированные маркетинговые сообщения, что приведет к повышению вовлеченности и конверсии клиентов.

Используя данные и алгоритмы машинного обучения, компании могут получить глубокие знания, автоматизировать процессы и улучшить качество обслуживания клиентов, что ведет к увеличению доходов и росту. С быстрым развитием технологий влияние машинного обучения на бизнес будет только расти, что приведет к новым и инновационным решениям сложных проблем.

«Следует учитывать, что модели машинного обучения могут содержать ошибки и дискриминационные аспекты, если данные, на которых они основаны, содержат несправедливые предубеждения. <…> Кроме того, модели машинного обучения не всегда могут учитывать контекстуальные факторы, которые могут повлиять на принятие решения <…>» — обращает внимание на слабые стороны технологии Дмитрий Резников, технический директор компании, работающей в сфере анализа больших данных и машинного обучения.

На форуме RAIF 2019, который состоялся в Сколково в рамках «Открытых Инноваций», я рассказывал о том, как происходит внедрение моделей машинного обучения. В связи с особенностями профессии я каждую неделю несколько дней провожу на производствах, занимаясь внедрением моделей машинного обучения, а остальное время – разработкой этих моделей. Этот пост — запись доклада, в котором я постарался обобщить свой опыт.

Начнем с описания процесса крупными мазками, постепенно вдаваясь в детали каждого этапа.
Рассчитываем ли мы на оптимизацию производства по результатам полноценного обследования (в идеале), или происходит просто сбор идей, «лоскутная оптимизация», — результатом так или иначе становится формирование списка инициатив. Необходимо понять, какие области производства мы будем оптимизировать. Этот процесс обычно занимает около двух месяцев.

Потом приступаем к этапу пилотирования, он займет три-четыре месяца – мы должны построить базовую модель и понять, применимо ли к ней машинной обучение, и какие выгоды для бизнеса она может принести.

Следующий этап, гораздо более протяженный во времени, на нем машинного обучения не очень много – это внедрение, когда нужно произвести интеграцию, строить текущие системы и начать получать ту самую прибыль, которую мы спрогнозировали на втором этапе. Внедрение обычно занимает от полугода до девяти месяцев.

Завершает процесс этап контроля. Одно дело: сделать модель и показать, а другое – поддерживать модель в течении некоторого времени. Производство меняется, заменяются станки. В этих условиях и модель приходится постоянно «докручивать» и искать новые возможности для оптимизации.

Теперь более подробно по порядку:

Ищем гипотезу

Откуда берется гипотеза? Кто ее выдвинет?

Обычно за гипотезами принято ходить в ИТ-отдел, но там работают люди, которые умеют настраивать системы, знают про интеграцию и ничего не знают про машинное обучение. Кроме того, они не так хорошо представляют себе производство. У них нет компетенции понять на практике, как работает машинное обучение.

Попытка номер два – отправиться за гипотезой на производство. Действительно, близкие к производству специалисты знают технические особенности процесса, но… не знают машинное обучение. Поэтому не могут сказать, где оно применимо, а где нет.

В таком случае, откуда можно взять гипотезу? Для этого придумали специальную должность – Chief Digital Transformation Officer. Это человек, который занимается цифровыми преобразованиями. Или Chief Datа Officer – человек, которые знает данные и как их можно применить. Если этих двух людей в компании нет, то гипотезы должны приходить от топ-менеджмента. То есть специалистов, которые вполне понимают бизнес и занимаются современными технологиями.

Если же на предприятии нет ни Chief Digital Transformation Officer, ни Chief Datа Officer, а топ-менеджмент не способен родить гипотезу, то на помощь придут… конкуренты. Если они что-то внедрили, у них этого не отнять. Но, компания-интегратор, подключенная к проекту, может подсказать, что и как можно оптимизировать.

Как выбрать идею?

Тут важны четыре фактора:

1. Оборот оптимизируемого процесса.
2. Существенные отклонения в процессе. Есть методология «шесть сигм», которая говорит о том, что все процессы должны отклоняться не более, чем на шесть стандартных отклонений от их результатов. Если у вас эти отклонения больше, то их нужно разобрать, и в этом поможет машинное обучение.
3. Доступность и наличие данных. Если, например, вы получаете данные с датчиков по работе оборудования через 12 месяцев, то машинное обучение вы не внедрите.
4. Сложность внедрения цифровизации в процесс. Стоимость внедрения вашей модели, в сравнении с стоимостью того, чего она может сэкономить.

Какие бывают данные?

По структуре данные бывают:

Структурированные: какие-нибудь таблицы, показания – все просто. Когда же мы хотим использовать данные из социальных сетей, или наборы фотографий, придется иметь дело с неструктурированными данными. Необходимо закладывать, что такие данные необходимо еще структурировать, превратив в числа, которые машинное обучение сможет воспринять. Третий тип данных – поточные. Если мы работаем с данными, которые меняются каждую миллисекунду, то нужно сразу подумать про балансировку нагрузки: сможет ли наша система выдержать скорость их получения?

По происхождению данные делятся на:

Автоматизированные – датчики генерируют какие-то цифры, мы им доверяем или нет. Но они примерно одинаковые. Введённые вручную – тут нужно понимать, что возможна ошибка, связанная с человеческим фактором. И модель должна быть устойчива к этому. Внешние данные – возможно, нас будут интересовать курсы валют, если внедрение связано с финансовыми операциями, или прогноз погоды, если мы прогнозируем температурные теплообмены. Статические данные – это всё то, что можно снова использовать.

Проблемы с данными

1. Полнота – момент, когда некоторые данные/месяцы могут быть пропущены.
2. Погрешность изменения – если, например, у вашего датчика погрешность 5 миллисекунд, то модель с точностью две миллисекунды – вы не сможете, так как входные данные начинают расходиться.
3. Доступность в режиме онлайн – если вы хотите делать прогноз «прямо сейчас», данные должны быть готовы.
4. Время хранения – если вы хотите использовать годовые тенденции, и вам нужно прогнозировать спрос, а данные хранятся только полгода – модель вы не построите.

Работа с данными

Слушать профессионалов, но верить только данным. Нужно ездить в цех, говорить с профессионалами, бывать на заводе, говорить с операторами, понимать их бизнес. Но верить только данным. Было очень много примеров, когда операторы говорят, что такого быть не может – мы показываем данные – оказывается, это действительно происходит. Интересный пример: как-то модель показала, что день недели влияет на производство. По понедельникам – один коэффициент, по пятницам – другой.

Эффект понятен только в бою – очень важно быстрое прототипирование. Самое главное – быстрее посмотреть, как модель работает в быту. В презентациях и на локальных ноутбуках проект может выглядеть совсем не так, как на самом деле: как правило, по факту совсем другие проблемы выходят на первое место.

Только интерпретируемая модель имеет шанс на улучшение. Всегда нужно четко понимать, почему модель решила так, а не иначе.

Работа с метрикой

Реально зависимость точности от прибыли может быть любой. Пока мы не поймем, как эта точность влияет на эффект – вопрос о точности абсолютно бессмысленный. Всегда нужно переводить в прибыль. На графиках ниже видно, что прибыль может по разному зависеть от точности модели. Первый график иллюстрирует, как сложно определить заранее в какой именно момент точности модели хватит для роста прибыли:

Более того, для некоторых случаев при недостаточной точности модели она будет просто приносить убыток:

Основные моменты про интеграцию:

• Интеграция занимает времени больше, чем разработка модели.
• Новые идеи. Иногда оказывается, что проект приносит пользу, там, где не ожидалось.
• Обучение. Люди адаптируются быстрее железа.

Еще один момент, о котором часто забывают датасайнтисты, это цель внедрения модели: прогноз или рекомендация. Обычно рекомендации основываются на прогнозной модели, но в этом случае прогнозную модель стоит строить особо, ведь искать минимум черного ящика довольно сложно с внезапными неприятными эффектами. Если говорить о метриках эффективности, то в зависимости от цели внедрения:

• Выдавать прогноз, — оценивать результат применения знаний;
• Выдавать рекомендации, — оценивать сравнение со старым процессом.

Важные нюансы этапа внедрения:

Внедрение/Обучение

• Статистическая грамотность, — внедрение проходит гораздо более успешно, когда сотрудники на местах начинают оперировать корректными статистическими терминами.
• Мотивация различных структурных подразделений, — все должны понимать, зачем это происходит, и не бояться перемен.
• Организационные изменения — как минимум один сотрудник посмотрит результат выдачи модели, а значит изменит свой подход к процессу. Очень часто оказывается, что люди к этому не готовы.

Поддержка

Не забываем, что условия меняются и модель приходится постоянно «докручивать» и искать новые возможности для оптимизации. Тут важны:

• Стратегии управления моделями и реакции на прогнозы — немного саморекламы: мы в «Инфосистемы Джет» как раз много думали об этом и разработали свою систему JET GALATEA.
• Человеческий фактор — основные проблемы модели часто связаны с ее использованием, или вмешательством человека, которое модель не могла предусмотреть.
• Регулярный разбор работы с профессионалами из области — вряд ли удастся все свести к одному числу, которое будет указывать, что нужно дорабатывать, нужно будет разбирать каждый сомнительный прогноз или рекомендацию. Будьте готовы освоить еще одну профессию, чтобы говорить на одном языке с технологами и операторами устройств на производстве.

Автор: Николай Князев, руководитель группы машинного обучения «Инфосистемы Джет»

Автор: Николай Князев

Источник