Не все функции бизнес метрик могут использоваться для оценки эффективности развития онлайн школы

Обновлено: 20.03.2023

Метрики, которые использует государство для оценки эффективности вузов:

  • средний балл ЕГЭ студентов очной формы обучения;
  • численность иностранных студентов;
  • численность обучающихся по программам магистратуры, аспирантуры, ординатуры, интернатуры, ассистентуры-стажировки;
  • темп прироста доходов от научно-исследовательских и опытно-конструкторских работ;
  • темп прироста поступлений из средств от приносящей доход деятельности;
  • число публикаций в системе Web of Science и количество их цитирований;
  • качество финансового менеджмента;
  • выполнение квоты по приему на работу людей с инвалидностью.

Edtech: какие метрики существуют и что они дают?

Особенность коммерческого ДПО (дополнительного профессионального образования) — это ориентация на конкретные ожидания людей от образования. Государственные метрики ориентированы на оценку вуза, а метрики в Edtech оценивают поведение студентов в экосистеме и то, как они учатся.

Метрики оценки эффективности онлайн-образования:

  • COR — процент людей, завершивших обучение

Кажется бесспорным: если человеку нравится учеба, то он стремится закончить её. Но ориентация только на количество людей, прошедших курс до конца, не дает возможности понять что-либо о самом курсе. Мы обращаем внимание на количество студентов, дошедших до третьего домашнего задания: это позволяет определить, каковы барьеры для прохождения и как их снизить.

  • MAU/WAU — активные пользователи внутри экосистемы

MAU/WAU — показатель, указывающий на количество активных пользователей внутри платформы. Если большое количество людей перестает выполнять домашнее задание, вывод следующий: либо программа сложна, либо сложность распределена неравномерно. WAU помогает увидеть правильность организации внутри образовательного процесса. Больше активных пользователей — больше людей, которые закончат.

Если студенты смотрят уроки и выполняют домашние задания — значит, курс правильно организован с точки зрения сложности. Это еще не означает, что у них есть полная мотивация дойти до конца — но есть некоторое намерение относительно окончания. Если последовательность по сложности соблюдается, то человек выполняет домашнее задание. Что для нас важно: мы понимаем — курс построен грамотно.

  • Скорость проверки домашнего задания для асинхронного формата

Важно дать скорый приток обратной связи студенту после просмотра урока и выполнения домашнего задания, чтобы не упустить любопытство с его стороны. Это очень важная метрика, поскольку позволяет сохранять нужный темп и интервальность обучения. В случае Skillbox 91,5% домашних заданий проверяются за 24 часа.

  • NPS — индекс лояльности пользователей

Эта метрика показывает, готовы ли пользователи рекомендовать вас. Это субъективный показатель, который работает только на большой статистике. Как правило, на оценку влияют четыре фактора: 1) как преподаватель преподносит материал; 2) насколько аудитории нравится преподаватель; 3) как компания выполнила свою работу: съемка, монтаж, дизайн; 4) как работает платформа обучения. Зная это, мы также можем анализировать и совершенствовать качество курсов экосистемы.

  • СSAT — показатель удовлетворенности пользователей

Инструмент используется для того, чтобы измерить степень удовлетворенности пользователей платформы от конкретных событий или от взаимодействия со всем продуктом. Удовлетворение — фактор, влияющий на то, чтобы студенты совершали какое-либо целевое действие и, как следствие, на продолжение обучения. Измеряется удовлетворение при помощи оценки скорости проверки домашнего задания и взаимодействия с преподавателем, содержания и качества видео и текстов, вопросов в тесте и их количества.

Большинство людей идут учиться в вузы или получать дополнительное образование, чтобы трудоустроиться — для этого необходимо обучиться компетенциям, применяемым в профессии. Edtech-компании во многом благодаря метрикам эффективности могут с большей вероятностью гарантировать трудоустройство выпускникам, поскольку у них есть представление о том, как образовательный продукт работает, как он усваивается. Метрики могут указать на ошибки и становятся средством постоянного совершенствования программ обучения. Именно от этого зависит результат образования, а именно: начнет ли человек работать?

Почему метрики — это место встречи государства и Edtech?

Наблюдая за тем, что происходит в образовательном процессе благодаря постоянной работе с метриками, мы понимаем, что они являются важнейшим фактором гибкости образования. Почему так происходит? Метрики в Edtech обладают рядом свойств, которые дают образованию возможность быстрой реакции и трансформации:

  • Промежуточность;
  • Наличие наблюдателя;
  • Гибкость самих метрик.

Что эти свойства дают образованию?

  • Промежуточные данные позволяют лучше понимать, что происходит с образовательным продуктом и быстрее трансформировать его с опорой на них.
  • Наличие наблюдателя делает образование гибким. Нередко данные противоречат здравому смыслу, и наблюдаемость этого может привести к новым гипотезам. Наблюдаем за собой — следовательно, меняемся. Не наблюдаем — как правило, не понимаем, как и в какую сторону меняться.
  • Метрики, не ориентированные на получение конечного результата, легче поддаются трансформации: в любой момент можно заметить, что метрика плохо работает и изменить ее.

Процесс измерения должен быть переосмыслен: с точки зрения промежуточности данных и гибкости самих метрик. Компаниям нужно ориентироваться не на простое получение результата для отчетности, а на способность быть более чувствительными к краткосрочным результатам. Стоит уделять особое внимание NPS, поскольку именно благодаря ему можно трансформировать продукт в соответствии с целями компании.

Как понять, что ваши онлайн-курсы приносят результат слушателям? Как узнать, развивается ли наша онлайн-школа или стагнирует? Без метрик эффективности никак.

KPI — это инструмент, который помогает анализировать эффективность деятельности и уровень достижения поставленных целей.

В образовательном проекте вы можете применять качественные и количественные метрики. Давайте поговорим о них чуть подробнее.

Как пользоваться KPI?

  • Регулярно проводите исследования и собирайте данные . Ни одна из метрик не даст вам нужной информации, если вы проводите исследования от случая к случаю, нерегулярно. Всегда важно отслеживать динамику, смотреть, как меняются показатели.
  • Любой KPI должен вести вас к увеличению дохода , прибыли или чему-то еще осязаемому. Связывайте любую метрику с потенциальными профитами, которые мы получим от ее роста в деньгах.

Качественные метрики

COR

COR (Completion Rate) — это процент студентов, успешно завершивших обучение. Чтобы посчитать этот показатель, мы берем число тех, кто успешно закончил обучение, и делим его на число тех, кто начал обучение. Получаем процент людей, которые прошли ваш курс до конца.

Почему мы можем считать эту метрику качественной? Потому что мы по умолчанию предполагаем, что чем качественнее обучение, тем больше людей доходят до конца. На мой взгляд, студенты бросают обучение, если не брать в расчет форс-мажоры, по 2 причинам:

  • учиться слишком сложно (не понимают материал, не справляются со слишком объемными домашними заданиями, чувствуют свою несостоятельность)
  • учиться слишком легко (материалы кажутся поверхностными и очевидными, слушатели не видят, как применять это на практике и не желают тратить на обучение время).

Соответственно, чем выше COR, тем больше, по нашему предположению, курс попадает в запрос аудитории.

NPS

Рост NPS, то есть увеличение числа людей, которые в восторге от вашего продукта, означает в будущем увеличение процента возвращаемости этих или других людей, которые получили информацию, что у вас отличный продукт.

CSI

CSI есть смысл подсчитывать после каждого взаимодействия с целевой аудиторией: после проведенного вебинара, завершенного модуля курса, даже после взаимодействия со службой продаж. Этот показатель позволяет отслеживать качество на маленьких этапах взаимодействия: если NPS подскажет вам, удался ли курс в целом, то с помощью SCI вы узнаете, какие элементы курса получились у вас лучше всего (а какие стоит доработать).

Дополнительные метрики

Мы рассмотрели общеизвестные метрики, но это не значит, что ими стоит ограничиться. Вы можете использовать дополнительные KPI, например:

Как качественные метрики могут вести нас к деньгам? Очень просто. Если студент глубоко погружается в теоретические материалы и с интересом посещает занятия (они интересны, качественны и соответствуют ожиданиям), если выполняет домашние задания и учебная нагрузка для него комфортна, если он оперативно получает от экспертов обратную связь, то его удовлетворенность этапами обучения (то есть SCI) выше. Если на протяжении всего курса студент всем доволен, то он дойдет до конца, и COR повысится. Чем больше студентов закончат обучение, тем выше будет NPS. Чем выше NPS, тем выше потенциал возврата инвестиций в качество продукта в будущем.

Количественные метрики

Здесь мы будем оперировать такими метриками, как выручка (количество покупок, умноженных на среднюю корзину), средний чек, количество покупок и другими. Эти метрики используют компании, работающие в любом направлении. Давайте посмотрим, как мы можем влиять на эти KPI в образовательном проекте.

Средний чек

Например, повысить средний чек можно за счет увеличения ценности предложения (например, наличия дополнительных опций, включенных в стоимость), за счет комплексного предложения.

Чем ограничивается средний чек на наши продукты? Прежде всего конкурентной средой: вы не можете назначать цены, которые будут выше, чем у ваших конкурентов на аналогичные продукты. Но вы можете сделать свое предложение более весомым, добавить ему ценности и тем самым обусловить разницу в цене.

Например, вы можете продавать пользователю учебные модули отдельно, шаг за шагом,а можете предложить ему целую образовательную траекторию. Вы можете предложить абонемент или подписку на курсы. Это работает: людям, как правило, проще отдать больше денег за решение образовательных потребностей, чем постоянно покупать понемногу, закрывая свои запросы.

Количество покупок

Увеличить этот показатель вам поможет практика апсейлов: если клиент купил курс, вы можете предложить ему дополнительный модуль по сниженной цене. Хорошо работают и рекомендательные системы — когда клиент получает скидку на продукт, если его друзья или знакомые совершают у вас покупки.

Количество новых пользователей

Новые пользователи обеспечивает конверсия из числа заявок, а заявки — это конверсия из трафика с вашего сайта и других каналов. Часто конверсия из трафика становится метрикой для продуктологов и отдела маркетинга, а конверсия в продажи — KPI для отдела продаж.

Реактивация старых пользователей

Если у вас есть база старых пользователей, вы можете сделать по ней временной срез и обнаружить, что те люди, которые не делают покупку сразу, с большой долей вероятности совершают ее через 6 месяцев после нахождения в базе. Также велика вероятность совершения покупки через 11-12 месяцев после нахождения в базе.

Что делать с этой информацией? Стоит проанализировать, какое количество касаний было с этой аудиторией в период от 1 до 6 месяцев и от 1 до 12 месяцев, и понять, почему реактивация происходит только после долгого чтения ваших рассылок и, возможно, блога.

Реактивация старых пользователей может стать хорошей KPI для контент-маркетологов, продуктологов или других отделов вашей онлайн-школы.

Итак, повысить эффективность ваших образовательных курсов вы можете за счет:

  • повышения качества образовательного продукта, максимально точно отвечающего на запрос аудитории
  • постоянного сбора обратной связи, мониторинга ситуации во время обучения. Когда в финале студенты скажут вам, что с курсом что-то не так, будет уже поздно что-то менять
  • одинаково тщательной работы и со старой, и с новой базой клиентов. Если у вас получится выстроить грамотную контент-стратегию, KPI реактивации старых пользователей будет выше.

Что еще почитать?

Искусство обучать: 7 советов, которые сделают ваши онлайн-курсы лучше

Как все успеть: тайм-менеджмент для онлайн-школ

Хотите попробовать учиться в EdMarket?

Тест-драйв — это возможность бесплатно получить доступ к нескольким урокам из платных курсов EdMarket. Так вы сможете принять решение о том, подходит ли вам этот курс и нравится ли профессия.

Куратор помогает ученикам пройти обучение, подбадривает их и помогает с домашними заданиями. Зарегистрируйтесь на тест-драйв и станьте на шаг ближе к этой профессии!

Зарегистрируйтесь, чтобы бесплатно посмотреть 3 видеоурока из курса, чтобы примерить на себя профессию методиста онлайн-курсов и принять осознанное решение о покупке курса

На этом курсе вы за 3,5 месяца запустите собственную онлайн-школу: определите нишу, создадите качественный курс, построите систему маркетинга. Начните бесплатно!

Зарегистрируйтесь и получите доступ к 3 видеоурокам из курса, чтобы примерить на себя профессию продюсера онлайн-курсов и принять осознанное решение о покупке курса

Зарегистрируйтесь, чтобы получить бесплатный доступ к 3 видеоурокам курса, примерить профессию методиста детских онлайн-проектов и принять решение о покупке курса

Как вы, возможно, уже знаете, существует множество метрик и ключевых показателей эффективности, которые обычно определяют для того, чтобы понять, насколько успешен наш бизнес. Тем не менее, мы очень часто теряемся и не можем понять, какие из них действительно важны, и, в итоге, уделяем много внимания совершенно бесполезным метрикам.

В SaaS-бизнесе существует несколько основных метрик, которым следует уделить основное внимание. Однако стоит отметить, что важность этих метрик меняется в процессе развития и роста вашего бизнеса. Если прошло только три месяца с тех пор, как у вас появились клиенты, которые приносят доход, то определение показателя LCV или показателя ценности жизненного цикла клиента (Lifetime Customer Value) будет не совсем уместным. Но на более поздних этапах развития показатель LCV становиться ключевой метрикой.

[ Стоит отметить, что понимание ключевых показателей вашего бизнеса на сегодняшний день является одним из главных условий привлечения инвестиций. Об этом мы говорили тут и тут. ]

Мы будем подробно обсуждать каждый из этих этапов развития, а также то, каким метрикам следует уделять основное внимание, и в процессе ознакомления с материалом вы поймете, что:

Работая с небольшим количеством ключевых метрик, вы сможете определить важнейшие проблемы, на которые следует обратить внимание и которые необходимо решить, чтобы поднять ваш бизнес на следующий уровень.

Любая информация будет бесполезной, если вы не учитываете ее при организации деятельности. Метрики, которым вы уделяете основное внимание, покажут, насколько эффективно работает ваша компания в данный момент, и подскажут, чем нужно заняться в первую очередь.

На каждой стадии развития вашего бизнеса есть две метрики, компенсирующие друг друга. Уделяя больше внимания именно этим показателям, вы избежите излишней оптимизации какой-то одной метрики и снижения эффективности бизнеса в будущем.

Этап 1: Действия до/сразу после выпуска нового продукта

И обеспечение соответствия продукта рынку

То, что ваша компания находится на первой стадии, можно определить по следующим признакам:

  • Вы только начинаете свой бизнес.
  • Вы по-прежнему ищите идеальную целевую аудиторию.
  • Пользователи/посетители сайта испытывают или используют ваш продукт впервые.

На данном этапе использование таких методов исследования, как A/B-тестирование, не поможет в определении эффективности вашей бизнес-модели, так как у вас еще нет (или не так много) клиентов, которые приносят доход и позволяют собрать нужную информацию. И лучший способ осуществить это — провести качественный анализ.

В ходе качественного анализа необходимо сделать следующее: проверить эффективность основных стратегий бизнеса в процессе общения с представителями вашей целевой аудитории. Если они делают заказы на вашу продукцию до того, как вы начали ее продажу, то вы на верном пути. [ Примеры подобного подхода мы приводили тут. ]

При этом как минимум 40% опрошенных должны сообщить, что они будут недовольны, если не смогут использовать ваш продукт.

Какие же метрики являются важными на данном этапе?

1. Качественная оценка

И хотя это совсем не метрика, это практически единственная информация, которую вы можете получить на данном этапе, ведь какое-то время заказов на продукцию у вас будет немного, если они вообще будут. Ваша цель сейчас — создать правильный продукт и предложить его на подходящем рынке.

И наиболее быстрый способ сделать это — начать диалог с потенциальными клиентами и другими покупателями.

Если у вас к этому моменту уже есть какое-то количество клиентов, вы можете поговорить с ними по Skype и затем проанализировать результаты опроса фокус-группы. Так вы сможете получить более полное представление о пожеланиях ваших покупателей и узнать, каким образом они бы решили проблемы, которые являются для вас актуальными.

После этого вы можете предложить свое решение, которое вы разрабатываете, и выяснить, считают ли они его правильным и эффективным.

Начните с опроса 10-20 человек по такой схеме:

  • Узнайте больше о рецензентах, собрав простейшие демографические данные.
  • Подробно обсудите с ними проблемы, которые они (как и вы) стремятся решить.
  • Когда вы предлагаете свое решение, не старайтесь продать продукт, а лишь попросите клиентов дать свою оценку.

2. Оценка соответствия продукта рынку

Бесспорно, оценка соответствия продукта рынку — это крайне сложный процесс, и здесь мы не строим иллюзий. Как узнать, что люди по-настоящему заинтересованы в вашем продукте? Станете ли вы сосредотачивать внимание на позитивных отзывах и не замечать негативные, потому что вы так уверены в успехе вашего бизнеса?

Эта проблема легко решается при помощи отличного вопроса, который вы можете задать своим клиентам:

Как вы отнесетесь к тому, что больше не сможете использовать наш продукт?

  • Будете очень недовольны
  • Будете слегка недовольны
  • Не будете переживать (продукт не слишком полезный)
  • Вопрос оставлен без ответа/Я уже не пользуюсь вашим продуктом

К примеру, если 50 человек используют ваш программный продукт (его бесплатную, ознакомительную или платную версию), то пришлите анкету тем из них, кто пользовался вашим сервисом, по крайней мере, дважды в течение двух недель. Это позволит количественно (и качественно) определить то, что ваш продукт обеспечит вам стабильное и существенное развитие бизнеса.

Если менее 40% опрошенных дали такой ответ, то очень вероятно, что вам будет трудно продвигать продукт на рынке, но, тем не менее, результаты опроса помогут правильно спланировать свою деятельность и подготовить ваш продукт таким образом, чтобы достичь большего соответствия продукта рынку.

Обеспечить высокое соответствие продукта рынку может быть нелегко, однако получение отзывов от первых пользователей в процессе личного общения с ними или работы с фокус-группой по Skype поспособствует развитию вашего бизнеса на ранних этапах, ведь ваши клиенты могут подсказать много полезных идей.

Этап 2: Ваш бизнес начал развиваться

И вот вы добились соответствия продукта рынку. Что делать теперь?

Ваш бизнес расширяется если:

  • Вы нашли один или несколько способов постоянного привлечения новых клиентов.
  • Высокий процент клиентов сохраняет подписку на вашем сайте, и эти пользователи заинтересованы продолжать оплату ваших услуг.
  • Ваш ежемесячный доход постоянно увеличивается
  • Постоянное увеличение ежемесячных поступлений и оптимизация коэффициента оттока клиентов.
  • Снижение ежемесячного коэффициента оттока клиентов до 2% (до 1%, если возможно). Если же коэффициент больше 5%, приложите все усилия и задействуйте все ресурсы для решения этой проблемы, чтобы в итоге он составлял не более 1%.

По определению, MRR — это общий доход за месяц от регулярных взносов пользователей. Отслеживая величину этого показателя, вы будете понимать степень успешности вашего бизнеса от месяца к месяцу.

График: вертикальная шакала — объем дохода; горизонтальная шкала — временные отрезки (вывод продукта на рынок, 1-й месяц, 2-й месяц и т.д.); условные обозначения: белый цвет столбиков — MRR, желтый цвет — дополнительный MRR в новом месяце, оранжевый цвет — увеличение объема дополнительного MRR в новом месяце.

Тем не менее, никто не говорит, что отслеживать показатель MRR просто. Для этого необходимо обеспечить следующее: очень важно отслеживать этот показатель именно на ежемесячной основе. Общий доход от пользователей за год необходимо распределить по месяцам, и учитывать нужно не только месяц, в котором клиенты оформляют подписку.

  • Ваш годовой тариф — 300$
  • Ежемесячный — 25$

Теперь рассмотрим случай, если в феврале новых подписчиков не появилось. Ваш доход за февраль составляет 125$, то есть 5×25$. Если вы сравните доход в течение двух месяцев, то можете подумать, что ваш доход в феврале снизился. Но на самом деле получается, что у вас — стабильный доход, так как количество ваших подписчиков, делающих взносы в эти месяцы, не изменилось.

Отслеживание повышения и понижения доходов может быть довольно утомительной работой. Если клиент решает добавить 10$ к ежемесячным взносам, вам необходимо прибавить 10$ к значению показателя MRR.

Объем планируемого дохода следует сократить, если клиент отказывается от пользования вашим сервисом.

4. Коэффициент оттока клиентов

Обратной стороной медали является отток клиентов. Он является, возможно, самым известным термином среди предпринимателей, описывающим наиболее нежелательное явление: отток клиентов означает, что ваши пользователи решают, что для них будет лучше больше не вести с вами дел.

Между тем, показатель оттока клиентов — довольно неоднозначная метрика. На первых этапах 10%-ный показатель ежемесячного оттока не покажется таким уж большим. 10% от 100 пользователей — это 10 человек, и если вы их потеряете, то у вас по-прежнему останется 90 постоянных клиентов. Ничего серьезного, скажете вы. Вы с легкостью найдете 10 новых клиентов.

Но давайте поднимем планку чуть выше и рассмотрим ситуацию, когда у вас уже 10 000 подписчиков. Не думаете же вы, что потеря 1000 клиентов за месяц не сильно повлияет на ваш бизнес? Сразу скажу, что даже для лидирующих компаний будет непросто сохранить свой бизнес при таком высоком показателе оттока клиентов.

Текст рисунка: «Оптимальное значение ежемесячного оттока клиентов: от 2 до 5%.

У наиболее успешных SaaS-компаний этот показатель равен 1,5 —3% в месяц. У них над этим работают настоящие ученые;

Старайтесь добиться показателя, не превышающего 5%, прежде, чем ваш бизнес будет готов к развитию (Марк МакЛеод) и 2% — прежде, чем ваша компания начнет быстрый рост (Дэвид Скок);

Пусть вас не сбивает с толку то, насколько получается легко и безболезненно управлять уровнем оттока клиентов на первых этапах, так как он может легко возрасти и выйти из-под контроля, если вы не будете его тщательно отслеживать. Вам необходимо жестко контролировать показатель оттока, чтобы таким образом сформировать надежную клиентскую базу, которая обеспечит стабильное развитие вашей компании в течение долгого времени.

Многие предприниматели совершают ошибку, сосредотачивая все усилия на том, чтобы поднять бизнес на новый уровень, найти хороших специалистов и вложить в него как можно больше средств, но при этом забывают или – хуже того – не придают значения оптимизации правильных метрик, которые необходимо отслеживать, чтобы знать, идет развитие вашего бизнеса или нет.

На данном этапе будет очень правильным проанализировать текущее состояние вашего бизнеса и сравнить его с состоянием других фирм из того же сегмента рынка или индустрии, таких же по величине и находящихся на той же стадии развития. Если вы можете провести подобный анализ, то это очень хорошо, однако главное условие для достижения настоящего успеха — это разработка подходов и стратегий, эффективных именно в случае вашего SaaS-бизнеса.

Какие показатели нужно отслеживать, чтобы измерить эффективность e-learning в компании? Разбираемся с отчетами в системе дистанционного обучения. Отчеты взяты из ЛМС ISpring — но аналогичные отчеты есть во всех мало-мальски продвинутых средах дистанционного обучения, в т.ч. в распространенной СДО Moodle.

Система дистанционного обучения (СДО) – один из основных инструментов в развитии e-learning. По сути, это виртуальный класс, в котором сотрудникам можно назначить учебный материал и в режиме реального времени следить за их успеваемостью. И неважно, где ученики находятся физически: на работе, дома или в отпуске.

Метрики, которые помогают повысить эффективность обучения

Сложно убедить руководство в том, что онлайн-обучение в компании эффективно, и оценить реальный прогресс, если у вас на руках нет конкретных цифр. Они приходят из статистики. Отслеживание действий пользователей играет ключевую роль в e-learning даже в случаях, когда обучение добровольное.

1. Прогресс пользователей

Прогресс пользователей — метрика, с которой стоит начать, потому что она показывает, как часто и насколько успешно пользователи изучают материал.

Какая польза от метрики: вы своевременно заметите низкую активность пользователей и примете меры.

12 метрик успешного онлайн-обучения

Если с начала курса прошло много времени, а пользователи все еще буксуют на старте – это проблема

Если этот показатель низкий, забудьте на время обо всех остальных метриках – нужно срочно исправлять ситуацию с вовлечением. Важно установить причину низкой активности. Вариантов чаще всего два:

  1. Сотрудники не знают, что вы запустили учебный портал и им нужно изучать какие-то курсы. Звучит странно, но встречается часто.
  2. Сотрудники не заинтересованы в обучении.

2. Статус курса

Эта метрика напрямую зависит от предыдущей, она показывает текущую ситуацию с курсом: начал ли пользователь его проходить и прошел ли до конца.

Какая польза от метрики: зная статус курса, вы с большей вероятностью обучите команду к нужному сроку.

12 метрик успешного онлайн-обучения

Николай Власов все еще не начал изучать курс, а дедлайн уже близок

Если вы увидите, что пользователи начинают отставать, закрутились или просто забыли, отправьте им короткое напоминание по электронной почте или в корпоративном мессенджере.

3. Результаты

Результаты – краеугольный камень любого обучения, поэтому это одна из самых важных метрик.

Какая польза от метрики: успеваемость дает общее представление об эффективности обучения.

12 метрик успешного онлайн-обучения

100 пользователей из 100 справились с тестом. У — успех

Проводить установочное тестирование стоит всегда, когда это возможно. Так вы сможете объективно оценить стартовый уровень пользователей, обнаружите пробелы в знаниях и впоследствии отследите динамику. Кроме того, зная, какие темы вызывают самые большие затруднения, вы сможете улучшить контент, более подробно осветив эти вопросы.

Ситуация, когда у многих пользователей низкие баллы за тест, должна вас насторожить. Причина может быть в том, что тест слишком сложный, тогда имеет смысл его переделать. А если уже на этапе предварительного тестирования пользователи набирают максимум баллов, возможно, вы ошиблись – сделали курс для новичков, а ваши ученики уже продвинутые.

12 метрик успешного онлайн-обучения

Не забудьте узнать мнение самих пользователей

Метрики, которые помогают делать хорошие курсы

Чем дольше мы работаем над обучающим материалом, тем сильнее замыливается глаз и тем выше риск закопаться в деталях. К счастью, для разработчиков контента есть целый набор отчетов, который поможет объективно оценить получившийся контент.

Какая польза от метрики: вы сможете проанализировать объективность оценок и понять, с чем имеете дело: с обычными ошибками отдельных учащихся или проблемой с контентом.

12 метрик успешного онлайн-обучения

Вопрос о типах вопросах оказался неожиданно каверзным

К примеру, вы можете обнаружить, что пользователи спотыкаются на одной и той же группе вопросов. Скажем, если вы пиццерия, то ваши сотрудники неплохо справляются с вопросами о тесте и начинке, а вот с выпеканием проблемы почти у всех.

Первым делом в такой ситуации необходимо удостовериться, что формулировка задания понятна, не допускает двоякой трактовки, а ответ на вопрос действительно присутствует в курсе. В случае с пиццерией выяснилось, что студентов обучали выпеканию на других моделях печей, поэтому они часто ошибались, отвечая на эту группу вопросов.

Если же с тестом все в порядке, перепроверьте контент — возможно, тема была плохо раскрыта в курсе и ее нужно доработать. Проще и быстрее всего будет вставить ссылки на дополнительные материалы по теме или предложить выполнить дополнительное домашнее задание. А если сроки позволяют, то стоит основательно переработать курс, сделав акцент на проблемных местах.

Сохраните на компьютер или распечатайте себе шпаргалку.

12 метрик успешного онлайн-обучения

Иногда распространенные ошибки пользователей не требуют от вас никаких действий

5. Популярные материалы

Какая польза от метрики: понимая, почему высок спрос на те или иные курсы, вы сможете предлагать пользователям актуальный контент.

12 метрик успешного онлайн-обучения

Налицо всплеск интереса к материалам о биткоине, блокчейне и криптовалютах

6. Средняя длительность просмотра

Этот отчет содержит информацию о времени, которое пользователь провел на конкретных слайдах курса. Считается, что чем дольше пользователи изучают материал, тем лучше. Чаще всего так и есть.

Какая польза от метрики: можно измерить вовлеченность пользователя во взаимодействие с контентом.

12 метрик успешного онлайн-обучения

Стоит узнать, чем шестой слайд так заинтересовал пользователей

Если вы создали интересный материал, пользователи прочитают его, не так ли? А чтение занимает время. Если среднее время, которое пользователи затрачивают на курс, — низкое, возможно, курс не такой уж увлекательный. Отыщите слайды или страницы, которые лучше всего удерживали внимание пользователей, поймите, что в них особенного, и используйте эту информацию, чтобы улучшить остальной контент.

В то же время не стоит принимать этот совет слишком буквально. Было бы несправедливо сравнивать текстовый слайд и страничку с одной-единственной картинкой. Но в целом, такой анализ позволит вам понять общие принципы привлекательного контента, что делает этот вид отчета очень ценным.

7. Обратная связь

СДО удобно использовать еще и для разнообразных опросов пользователей.

Какая польза от метрики: получите отзывы пользователей о пройденных курсах и сможете их улучшить.

12 метрик успешного онлайн-обучения

Пример опроса пользователей, завершивших курс

Гипотезы на основании статистики – это прекрасно. Однако не забывайте про общение с конечными пользователями. Вы собрали все метрики и поняли, какие курсы вызвали интерес, какие – нет. Следующий шаг – опрос сотрудников, прошедших это обучение. Что им понравилось? Почему какой-то слайд привлек их внимание? Что можно улучшить? Какие были сложности с изучением курса? Ответы на эти вопросы помогут обнаружить курсы с низким рейтингом, выяснить причины и устранить их. Иногда и вовсе имеет смысл заменить непопулярный контент на что-то более интересное.

Сбор обратной связи можно организовать через опросы непосредственно в СДО.

Метрики, которые помогают найти чемпионов в обучении и работе

Корпоративное обучение проводится не ради самого процесса, в его основе – различные запросы бизнеса. Чтобы их реализовать, нужна соответствующая квалификация сотрудников. Эти метрики укажут, кто из сотрудников наиболее лоялен и смотрит в одном направлении с компанией.

8. Рейтинг пользователей

Это суперполезная метрика, если вы заинтересованы не только в формальном обучении, но и в формировании кадрового резерва.

Какая польза от метрики: отчет о самых активных и успешных учащихся покажет, кто в вашей команде больше других стремится к совершенствованию навыков и профессиональному росту.

12 метрик успешного онлайн-обучения

Хорошая традиция — поощрять самых активных учащихся

Многие сотрудники стесняются напрямую заявить, что готовы к большей ответственности и более сложным задачам. Зато сведения о том, что сотрудник активно и по собственному желанию изучает материалы помимо курсов, относящихся к его непосредственным обязанностям, будут полезны при принятии решения о возможном повышении.

9. Действия пользователя или группы

В этом отчете содержится подробная информация о действиях выбранных пользователей или групп в любой интересующий вас промежуток времени.

Какая польза от метрики: узнаете об успехах отдельного пользователя или группы, убедитесь, что обучение начато в срок.

12 метрик успешного онлайн-обучения

Неудивительно, что пользователь завалил тест — он уделил изучению курса всего десять минут

10. Посещаемость

Этот критерий рассказывает о том, насколько востребованы те или иные занятия.

Какая польза от метрики: сможете контролировать не только изучение электронных курсов, но и отслеживать проведение вебинаров и занятий в классах.

12 метрик успешного онлайн-обучения

Отслеживать посещаемость нужно отнюдь не затем, чтобы покарать прогульщиков. Эта метрика сообщит и о других не менее любопытных фактах. К примеру, вы узнаете, какие занятия вызывают наибольший интерес и какие преподаватели нравятся сотрудникам.

Можно также обнаружить сотрудников, которые отказываются от обучения. Если причина не в их перегруженности – это тревожный знак. Возможно, им неинтересно то, чем они занимаются, или они считают свой текущий профессиональный уровень достаточным. В таком случае стоит разобраться в истинных причинах и решить, устраивает ли это работодателя.

Метрики, которые упрощают жизнь администратору

Некоторые метрики просто позволяют администраторам системы быстро вытягивать нужные данные и лучше справляться с рутинными задачами.

11. Учебная программа

Все чаще можно видеть, как большие комплексные курсы для удобства учащихся превращают в серию небольших уроков.

Какая польза от метрики: объединив курсы в программу, не придется вручную отслеживать данные по каждому курсу – вы будете видеть статистику об успехах в масштабе всей программы.

12 метрик успешного онлайн-обучения

С этим курсом пользователи наверняка справятся в срок

12. Отчет по продажам

С помощью СДО курсы можно продавать. Если это ваш случай, обратите внимание на метрики монетизации.

Какая польза от метрики: получите свежую информацию о статистике продаж курсов и доходе за выбранный промежуток времени.

12 метрик успешного онлайн-обучения

Курс о копирайтинге принес вам 70 000 рублей

Мы часто думаем, что измерить эффективность обучения очень сложно. Берем за основу результаты тестов и посещаемость, а все остальное оцениваем на глаз, опираясь на собственный опыт и интуицию. К счастью, с помощью современной СДО вы можете подкрепить практически любые предположения относительно обучения точными цифрами.

Читайте также:

      

  • Античная философия доклассический период кратко
  •   

  • Школьная система в баварии
  •   

  • Сценарий к юбилею некрасова в школе
  •   

  • Профилактика аутоагрессивного поведения в школе мероприятия
  •   

  • Информация и информационные процессы в начальной школе

#Руководства

  • 24 авг 2021

  • 0

Как оценить эффективность онлайн-курса

Рассказываем о важных метриках и частых ошибках, а также о том, для чего нужен методический аудит и как его провести.

Редакция «Образование» Skillbox Media

Онлайн-журнал для тех, кто работает или хочет работать в сфере образования. Рассказываем о трендах, теории и полезных практиках.

Директор по продукту, преподаватель и ментор в EdMarket. Ментор акселератора «Нетологии». Автор курса «eLearning: от стратегии внедрения до разработки контента и оценки эффективности», книги «Архитектура корпоративного онлайн-обучения» и Telegram-канала «PRO онлайн-обучение».

Разработчики онлайн-курсов стремятся к тому, чтобы обучение было полезным и увлекательным. Как понять, что желаемый результат достигнут? Это не всегда очевидно, и без конкретных метрик невозможно принять взвешенное решение, стоит ли оставить всё как есть, поработать над улучшением курса или вообще закрыть его и не тратить ресурсы понапрасну. Причём часто от ответа на этот вопрос зависит судьба не только одного курса, но и целой линейки продуктов.

Получается, что без оценки эффективности не обойтись. Расскажем, что она в себя включает, какие метрики можно оценить и каких ошибок следует избегать.

Для оценки эффективности необходимо провести несколько важных действий:

  • Оценить результаты обучения студентов (показатели до и после прохождения курса, результаты выполнения промежуточных и финальных заданий).
  • Подсчитать метрики конкретного набора (промежуточные и финальные CSI и COR, финальный NPS).
  • Собрать обратную связь по результатам обучения от учащихся, преподавателей, аудиторов, коллег-методистов.

В зависимости от того, что показали метрики, надо принять решение о дальнейшей судьбе курса (оставить как есть, убрать, поменять формат, содержание, периодичность наборов и так далее). Если решено доработать курс, то составить план изменений можно на основе собранной обратной связи.

Перед тем как говорить о метриках качества образовательного продукта, стоит определиться, с какой позиции мы смотрим на курс, потому что студент, методист и организатор обучения могут оценивать его успешность по-разному.

 С точки зрения студента курс полезен, когда позволяет достичь цели, ради которой он был приобретён. Обычно эта цель находится за границами обучения: например, получить повышение или сменить профессию.

 С точки зрения методиста курс успешен, когда после обучения произошли изменения установок и поведения человека, которые можно измерить. Например, после прохождения курса по программе Excel сотрудники стали тратить на операции с формулами на 30% меньше времени.

 С точки зрения организатора обучения образовательный продукт эффективен, когда ресурсы, которые вложены в его создание и сопровождение, соразмерны выгоде, полученной в результате.

Когда речь идёт о корпоративном обучении, желаемые результаты для методиста и организатора обучения совпадают: заказчик (например, руководитель компании) заинтересован в том, чтобы сотрудники после прохождения курса или тренинга стали работать эффективнее и чтобы затраты на обучение были экономически оправданы.

Допустим, мы определились, с чьей точки зрения будем измерять успешность образовательного продукта. Посмотрим, что можно измерить.

  • Достижение промежуточных и финальных учебных целей: студенты выполнили домашние задания, сдали тест, подготовили дипломную работу.
  • Динамика посещения занятий или просмотра вебинаров на онлайн-курсе.
  • Динамика и скорость выполнения домашних заданий — интенсивность, с которой учатся ваши студенты.
  • Скорость и качество проверки домашних заданий. Качество обратной связи.
  • Качество учебного контента — как основного, так и дополнительного. Для его оценки можно ориентироваться на лайки/дизлайки студентов (если ваша LMS поддерживает такую функцию), просить заполнить анкеты для обратной связи, ввести собственные стандарты качества.
  • Достижение финальной цели учащегося или заказчика, которая находится за границами обучения. Например, люди покупают курс, чтобы получить соответствующую профессию и в дальнейшем трудоустроиться. Значит, здесь нам нужно измерить процент трудоустроенных после завершения обучения студентов.

Фото: Monkey Business Images / Shutterstock
  • Удовлетворённость студентов (CSI) занятиями, контентом, сопровождением, преподавателями. Можно измерять удовлетворённость курсом в целом, но полезнее запрашивать оценку по отдельным компонентам: направлениям, преподавателям, теоретическому материалу и домашним заданиям, сопровождению обучения. CSI обычно оценивается по шкале от 1 до 6, иногда от 1 до 5 или от 1 до 10.
  • Вовлечённость и активность студентов (оценивается общение в чатах, обратная связь).
  • Лояльность выпускников (NPS). После завершения обучения нужно задать студентам вопрос, насколько они готовы рекомендовать курс — по шкале от 1 до 10 (иногда используется шкала от 0 до 10). Полезно также спросить, почему оценка именно такая.
  • Доходимость до финала обучения (COR). При измерении важно опираться на стандарты, принятые в вашей компании. Например, в EdMarket считается, что студент прошёл обучение, если он выполнил 70% домашних работ и дипломный проект.
  • Процент возвратов, то есть случаев, когда студентам курс не подошёл. Если он высокий, то это повод ещё раз проанализировать информацию о вашей целевой аудитории и подумать, почему человек попал на неподходящий курс, какие ещё факторы могли способствовать отказу от обучения, что можно сделать, чтобы улучшить ситуацию.
  • «Инсайтометр» — количество инсайтов, подтолкнувших студентов к действию. Мы у себя ещё не полностью продумали, каким образом измерить этот показатель. Однако в каждой дипломной работе мы предлагаем студентам поделиться своими выводами, впечатлениями от обучения, планами на будущее. Это помогает выпускнику построить дальнейшую образовательную траекторию, а нам — понять, с какими знаниями, навыками и стремлениями студенты завершают обучение на определённом курсе.

Отдельно стоит поговорить о метриках эффективности корпоративного обучения. Для этого рекомендуем использовать модель Киркпатрика — Филлипса:

  • Реакция. Как участники реагируют на обучающее мероприятие или другой образовательный продукт? Здесь снова оцениваются показатели CSI и NPS.
  • Знания и навыки. Получили ли участники желаемые знания и навыки? Тут используется метрика COR, а также оценки студентов за домашние и контрольные работы.
  • Изменение поведения. Применяют ли сотрудники полученные знания и навыки на рабочем месте? Это оценивается по KPI персонала, внутренним рейтингам и так далее.
  • Влияние на бизнес-результаты. Повлияло ли обучение на достижение целей компании? Анализируется KPI подразделения или бизнес-процесса.
  • Возврат от инвестиций в обучение — ROI, аббревиатура от английского термина Return on Investment. Измеряется окупаемость вложений в образовательное мероприятие или продукт.

Множество инструментов для сбора данных и анализа метрик входят в базовую функциональность LMS-платформ. Для оценки CSI, NPS и других показателей, которые требуют обратной связи, можно использовать «Google Формы», Mentimeter и другие анкетные сервисы, помогающие оценить впечатления от курса или отследить реакцию на тот или иной его элемент.

Есть два наиболее типичных упущения, на которых многие спотыкаются:

  • Обратную связь запрашивают только в конце обучения. Если вы не запросите обратную связь в начале и середине курса, то не узнаете реакцию тех людей, которые по каким-либо причинам сошли с дистанции. А это очень полезная информация: если вы поймёте, что именно в курсе не понравилось учащимся, то сможете это исправить.
  • Проверку домашних заданий поручают автору курса. Из-за занятости эксперта студентам порой приходится долго ждать обратной связи по домашним заданиям. В таком случае лучше поручить проверку куратору или тьютору — хотя бы частично. Полезно организовать чат, где студенты будут оперативно получать ответы на свои вопросы. Это позитивно скажется на показателе удовлетворённости обучающихся.

Существует очень много курсов, которые были разработаны без понимания специфики онлайн-обучения и знания методик педдизайна. Их создатели, разумеется, хотят улучшать показатели эффективности, но как это сделать — не всегда очевидно. Многие обращаются за услугой методического аудита. Это задача на стыке методологии, маркетинга и бизнеса, интересов студента и организатора обучения.

Фото: Stock-Asso / Shutterstock

Чтобы качественно провести аудит курса, методист должен обладать профессиональным опытом и насмотренностью, которую лучше всего развивать под руководством наставника. Также очень важно заранее прояснить вводные данные, иначе методист может сфокусироваться на теориях обучения и проектирования онлайн-курсов, тогда как заказчик мыслит совершенно в других категориях. Среди целей заказчика могут быть, например, такие:

  • повысить COR, CSI, NPS;
  • увеличить LTV (Lifetime Value) — общую прибыль, получаемую от клиента в ходе его взаимодействия с продуктом;
  • расширить линейку продуктов;
  • привлечь больше студентов;
  • получить больше положительных отзывов;
  • снизить количество негативных отзывов;
  • понять, почему люди не проходят курс до конца;
  • выяснить, почему в работе сотрудников нет видимых результатов после обучения на курсе.

Допустим, вы хотите самостоятельно провести аудит своего курса либо к вам обратились с такой просьбой в отношении чужого курса. Мы составили чек-лист из вопросов, которые помогут провести проверку, и конкретных данных, которые нужно собрать для оценки. Они структурированы по семи блокам — фактически по ним и проводят оценку курса.

1. Понимание целевой аудитории курса организаторами обучения.

Посмотрите анкеты участников курса, результаты кастдева, изучите собранную от выпускников обратную связь. Это покажет, насколько чётко курс ведёт к нужным результатам конкретную целевую аудиторию с определёнными знаниями, навыками и возможностями учиться.

2. Методическая концепция курса и логики обучения.

  • Описаны ли финальные и промежуточные цели обучения?
  • Как выстроена логика обучения и понятна ли она?
  • На какие темы и подтемы делится учебная программа и почему именно так?
  • Какой смысл заложен в заголовках и хорошо ли они сформулированы?
  • Какова общая длительность обучения и почему она именно такая?
  • Равномерно ли распределена учебная нагрузка, есть ли перерывы?

3. Образовательная среда курса.

  • Есть ли у учащегося возможность взаимодействовать с другими студентами, преподавателями?
  • Предусмотрено ли вводное занятие?
  • Даются ли учащимся рекомендации о том, как эффективно учиться и работать с внутренней мотивацией?
  • Ясно ли, кому и когда можно задавать вопросы?
  • Удобен ли интерфейс выбранной платформы, понятно ли структурирован курс со всеми его элементами и средствами коммуникаций, всё ли работает (например, видео, ссылки, интерактивные элементы)?
  • Понятно ли, как получать обучающий контент, выполнять и сдавать практические задания, куда приходит обратная связь от проверяющего?
  • Есть ли у самого студента возможность оставить обратную связь и как с ней работают организаторы обучения?
  • Можно ли упростить образовательную среду?
  • Доступно ли обучение на мобильных устройствах и удобно ли проходить курс в таком виде?

4. Качество образовательного контента.

  • Какой формат учебных материалов выбран и почему?
  • Насколько удобно воспринимать информацию? Тут оценивается шрифт, контрастность и так далее.
  • Используется ли общий стиль или шаблон для представления контента?
  • Каков объём основной теоретической части и дополнительных материалов, почему именно такой?
  • Есть ли у занятий единая структура и если да, то что она в себя включает?
  • Приводятся ли реальные кейсы?
  • Рекомендуется ли дополнительная литература?
  • Что мы знаем о реакции учащихся на контент курса?
  • Что мы знаем о реакции студентов на преподавателей и подачу материала?
  • Насколько качественно преподаватель доносит содержание курса в выбранном формате (оценивается речь, стиль общения, качество презентационного материала, звука и видео) и как взаимодействует с учащимися?
  • Можно ли сократить объём теории и самостоятельного обучения, чтобы при этом не пострадала практика?
  • Понятно ли студентам, какой материал надо изучить обязательно, а какой — по желанию?
  • Нет ли ошибок и опечаток в текстах курса?

5. Качество практических занятий.

  • Какие способы оценки полученных знаний выбраны (промежуточные и финальные)?
  • Какова интенсивность выполнения практических заданий и справляются ли с этим студенты?
  • Достаточно ли теоретического контента для выполнения заданий?
  • Как структурированы домашние задания и инструкции к выполнению практики?
  • Каков формат обратной связи?
  • Что мы знаем о реакции учащихся на практику?
  • Насколько практические задания соответствуют реальным задачам, с которыми затем столкнётся студент?
  • Понятна ли учащемуся система оценивания выполненных заданий?

6. Данные, полученные во время обучения предыдущих потоков.

  • выполнение промежуточных и финальных домашних заданий, спроектированных на основе учебных целей (хорошо, если аналитика данных LMS онлайн-платформы позволяет собрать подробную информацию);
  • скорость ответов на вопросы учащихся;
  • скорость проверки домашних заданий;
  • посещаемость вебинаров или просмотр другого учебного контента;
  • CSI — удовлетворённость процессом, содержанием, результатами обучения (оценивается с помощью обратной связи через анкеты и интервью);
  • NPS — лояльность студентов, готовность рекомендовать курс другим;
  • COR — доходимость курса до конца;
  • процент возвратов в случаях, когда студентам не подошёл сам курс, формат обучения или что-то ещё;
  • процент устроенных на стажировку студентов или трудоустроенных выпускников;
  • процент положительных отзывов.

7. Сопровождение обучения.

Как распределены роли в сопровождении курса и достаточно ли ресурсов для масштабирования — запуска новых потоков, одновременного обучения нескольких потоков студентов?

Методический аудит может обнаружить недостатки, устранить которые довольно просто, но может выявить и ошибки, на исправление которых нужно много времени и других ресурсов. После того как методист озвучит свои рекомендации, заказчик, как правило, принимает решение о судьбе курса. Если выбирается доработка образовательного продукта, заказчик может внести изменения самостоятельно либо снова привлечь методиста. Важно отметить, что работа над улучшением курса — отдельная задача, которую ни в коем случае не стоит смешивать с аудитом.


Научитесь: Профессия Методист с нуля до PRO
Узнать больше

Часто школы практикуют решение, когда ученик советует продукты знакомым и сам при этом получает скидку или бонус.

LTV (Lifetime Value) — прибыль от одного учащегося за время взаимодействия со школой.

Как считать LTV

Чем выше LTV ученика, тем выше его лояльность — именно такой клиент приносит больше прибыли. Поэтому школе, которая стремится к росту продаж, особенно важно работать на удержание лояльных учеников.

Средний чек — результат деления итоговой выручки на количество покупок. С одной стороны, этот показатель связан с конкуренцией и ценообразованием — не получится сильно отклониться от рынка без уникальных преимуществ. А с другой стороны, побуждает формировать более ценные или интересные предложения. Если аудитория получает продукт, который ей реально нужен, повышается спрос. А значит, растёт и средний чек.

Число новых клиентов за определённый период времени. Смотрим конверсию трафика в заявки и заявок в продажи. Плюс упомянутые выше рекомендации.

Число возвратных клиентов и реактивация. Повторное обращение клиента говорит о том, что у вас классный продукт, обучение ему понравилось, и он готов покупать снова.

Реактивация предполагает вовлечение клиентов из имеющейся базы, которые неактивны продолжительное время. Это та часть аудитории, которой нужны прогревы, утепляющие рассылки и наглядные кейсы, чтобы принять решение. Человек может купить курс и через полгода, и через год — здесь важно умение работать с разными сегментами целевой аудитории.

Разработка образовательного проекта требует тщательного подхода. Чтобы оценить его потенциальную или реальную пользу, необходимо полагаться на анализ метрик эффективности. Они позволяют понять, насколько востребована программа или курс, достигают ли студенты своих целей и как развивается онлайн-школа.

Руководитель отдела управления продуктами Нетологии Дарья Панфилова рассказала о главных метриках, которыми необходимо руководствоваться.


Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Доля студентов, которые с помощью обучения достигли поставленных перед собой целей. Это самая главная метрика для оценки эффективности образовательного проекта. Чтобы измерить пользу курса или программы, необходимо понять, насколько студенты приблизились к поставленной перед собой цели. Для этого нужно узнать о ней у слушателей в начале обучения, а потом измерить прогресс её достижения и актуальность.

Обычно студенты ставят перед собой следующие цели:

  • найти работу по новой профессии;
  • развиваться в текущей профессии;
  • найти новые проекты или попробовать фриланс;
  • получить возможность саморазвития;
  • создать или усилить портфолио.

Главная цель аудитории Нетологии — смена работы или карьерный рост. Если процент трудоустроенных выпускников высокий, значит, наши продукты эффективны и мы идём верным путём.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта COR (Completion Rate) — это процент студентов, которые успешно завершили обучение. Его измеряют в конце курса. Чтобы посчитать доходимость до финала, нужно взять число тех, кто получил диплом, и поделить его на количество студентов на старте.

Если не брать в расчёт форс-мажоры, студенты бросают обучение по двум причинам: учиться слишком сложно или учиться слишком легко. Сложности возникают, когда учащиеся не понимают материал, не справляются со слишком объёмными домашними заданиями и чувствуют свою несостоятельность. Лёгкость обучения становится препятствием, когда материалы кажутся поверхностными и очевидными, слушатели не понимают, как применять их на практике, и не хотят тратить на обучение время.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта CSAT (Customer Satisfaction) — индекс удовлетворённости пользователей. Его можно измерять в общем, но эффективнее отслеживать качество на маленьких этапах взаимодействия и по конкретным направлениям. CSAT позволяет узнать, какие элементы курса получились лучше всего, а какие стоит доработать.

Так, индекс удовлетворённости поможет узнать, насколько высоко студенты оценивают форматы теоретических и практических занятий, а также домашних заданий, качество образовательного контента и работу экспертов, сопровождение кураторами и тьюторами.

CSAT представляет собой оценку любого взаимодействия пользователя с сервисом, товаром или услугой. Шкала может быть разной: от 1 до 10 или ответ в формате «да/нет». В Нетологии используется оценка с помощью эмоджи. Перед студентом есть плашка с пятью лицами, выражающими разные эмоции. Он должен выбрать ту, которая лучше отражает его ощущения.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта

Система оценки в личном кабинете студентов Нетологии

CSAT есть смысл собирать после каждого взаимодействия со студентом: проведённого вебинара, завершённого модуля курса, общения со службой продаж.

Не стоит ограничиваться только общими метриками. Для лучшего понимания эффективности программы или курса советуем использовать следующие дополнительные, но важные.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Возврат денег за курс. Если курс не соответствует ожиданиям студента настолько, что он оформляет возврат денег, стоит ещё раз проанализировать целевую аудиторию и причины, по которым человек попал на неподходящий ему курс. Нужно подумать, что могло повлиять на решение отказаться от обучения — и что следует учесть, чтобы сократить возвраты в будущем. Особое внимание этой метрике стоит уделить, если показатель высокий или растёт.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Отток студентов. Студенты могут бросить обучение в самом начале, на экваторе или ближе к концу. Эта метрика позволяет отследить, на каком этапе студенты сталкиваются со сложностями — и проанализировать причины. Стоить обратить внимание на «тихие возвраты» — в отличие от обычных возвратов, эти студенты не скажут, что не так, они просто перестают учиться.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Нагрузка в процессе обучения. Метрика отражает, насколько тяжело студентам может быть в процессе обучения. Этот показатель измеряется тем, какая у курса плановая нагрузка, сколько времени студенты тратят на обучение фактически и есть ли разница между фактом и планом.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Скорость выполнения практических заданий. Помогает выяснить, на какие задачи студент тратит день-два, а на какие — неделю-две, и скорректировать перепады нагрузки.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Скорость обратной связи от экспертов и оценка их качества. Для измерения смотрим, как быстро эксперт проверяет домашние задания и отвечает на вопросы студентов, насколько студентам понравился ответ эксперта.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Скорость обратной связи от техподдержки. То, на что студенты всегда обращают внимание. Это может повлиять на отношение к конкретному курсу и школе в целом.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта NPS (Net Promoter Score) — индекс лояльности пользователей. Он позволяет оценить, насколько пользователь готов порекомендовать нас своим друзьям и знакомым.

Для подсчёта NPS необходимо попросить выпускников оценить по шкале от 1 до 10, с какой вероятностью они порекомендует сервис, товар или услугу друзьям или знакомым. Метрика рассчитывается как разница между долей сторонников и критиков: от количества сторонников — тех, кто выбрал цифры от 9 до 10, — отнимаем количество критиков — выбравших цифры от 1 до 6. Нейтрально настроенных к обучению выпускников, которые отметили 7‒8, в расчёт не берём.

Его измеряют примерно на середине обучения.

  • Научитесь с нуля запускать востребованные онлайн-курсы
  • Отработаете реальные задачи руководителя онлайн-проекта
  • Сможете продюсировать проекты уже через 3,5 месяца обучения

У студентов и продюсеров с методистами свои критерии эффективности. Но важно учитывать ещё и бизнес-показатели. Средний чек, количество покупок, количество новых пользователей, количество людей, пришедших по рекомендациям, и количество людей, которые нас порекомендовали, — этими метриками пользуются компании самых разных направлений. Разберём, как можно влиять на них в образовательном проекте.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Средний чек. Повысить средний чек можно, например, за счёт увеличения ценности предложения — дополнительных опций, включённых в стоимость, или за счёт комплексного предложения, или за счёт гибких тарифов. Например, сжатый формат интенсива или факультативные занятия с ментором.

Добавив ценности, можно обусловить разницу в цене по отношению к конкурентам.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта LTV (Lifetime Value) — количество покупок на пользователя. Увеличить этот показатель поможет практика допродаж — при покупке курса можно предложить студенту дополнительный модуль по сниженной цене. Хорошо работают и рекомендательные системы, когда клиент получает скидку на продукт, если его друзья или знакомые совершают покупки в той же компании.

В образовательном проекте рост количества покупок — долгий процесс. Новый клиент не всегда готов покупать много и сразу. Часто требуется постепенный прогрев аудитории полезным контентом: потенциальный студент знакомится с брендом, читает email-рассылки, интересуется отзывами и лишь потом совершает покупку.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Количество новых пользователей. Новые пользователи появляются благодаря конверсии из числа заявок, а заявки — это конверсия из трафика с сайта и других каналов. То есть улучшить этот показатель можно, обеспечив бóльшую конверсию из трафика в заявки. В этом поможет усиленная работа отдела продаж, дополнительные скидки, промокоды и акции.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Количество людей, пришедших по рекомендациям и количество людей, которые вас порекомендовали. Эта метрика показывает, насколько в целом студент удовлетворён продуктом, насколько ему понравилось обучение.Тут важно смотреть не на желание порекомендовать, а на реальные рекомендации — и на каком этапе обучения они возникли.

На количество людей, пришедших по рекомендациям, влияют и брендовые активности: кто-то от кого-то где-то слышал, что Нетология — супер. Также тут хорошо может сработать реферальная программа — когда человек может получить скидку на оплату курса, перейдя по специальной ссылке от нынешнего студента или выпускника школы.

При работе с метриками необходимо соблюдать три главных правила:

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Собирайте данные регулярно. Ни одна из метрик не даст нужной информации, если проводить исследования от случая к случаю. Важно отслеживать динамику и смотреть, как меняются показатели. Постоянный сбор обратной связи и своевременный мониторинг ситуации во время обучения помогут избежать случаев, когда студенты в финале обучения сообщают, что с курсом что-то не так. К тому моменту менять что-то будет уже поздно.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Учитывайте, что любая метрика должна вести к увеличению прибыли. Или чему-то осязаемому. Рекомендуем в деньгах измерять каждую метрику в связке с потенциальными выгодами. Важна одинаково тщательная работа и со старой, и с новой базой клиентов, в частности, с помощью дополнительной монетизации продукта, реферальной программы, новых бизнес-моделей. Например, можно предложить тем, кто сейчас учится, занятия с менторами, дополнительные домашние задания по какой-то теме или какие-то бонусы за рекомендации.

Чем измерить эффективность онлайн-курса: ключевые метрики образовательного проекта Используйте данные для решения судьбы программы или курса. Исследование обратной связи и метрик должно помочь с решением о том, убрать курс, оставить его в неизменном виде или поменять его формат, части его компонентов и промежуток между наборами.


Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.

Телеграм Нетологии

Время на прочтение
9 мин

Количество просмотров 21K

Как вы, возможно, уже знаете, существует множество метрик и ключевых показателей эффективности, которые обычно определяют для того, чтобы понять, насколько успешен наш бизнес. Тем не менее, мы очень часто теряемся и не можем понять, какие из них действительно важны, и, в итоге, уделяем много внимания совершенно бесполезным метрикам.

В SaaS-бизнесе существует несколько основных метрик, которым следует уделить основное внимание. Однако стоит отметить, что важность этих метрик меняется в процессе развития и роста вашего бизнеса. Если прошло только три месяца с тех пор, как у вас появились клиенты, которые приносят доход, то определение показателя LCV или показателя ценности жизненного цикла клиента (Lifetime Customer Value) будет не совсем уместным. Но на более поздних этапах развития показатель LCV становиться ключевой метрикой.

[ Стоит отметить, что понимание ключевых показателей вашего бизнеса на сегодняшний день является одним из главных условий привлечения инвестиций. Об этом мы говорили тут и тут. ]

Мы будем подробно обсуждать каждый из этих этапов развития, а также то, каким метрикам следует уделять основное внимание, и в процессе ознакомления с материалом вы поймете, что:

Работая с небольшим количеством ключевых метрик, вы сможете определить важнейшие проблемы, на которые следует обратить внимание и которые необходимо решить, чтобы поднять ваш бизнес на следующий уровень.

Любая информация будет бесполезной, если вы не учитываете ее при организации деятельности. Метрики, которым вы уделяете основное внимание, покажут, насколько эффективно работает ваша компания в данный момент, и подскажут, чем нужно заняться в первую очередь.

На каждой стадии развития вашего бизнеса есть две метрики, компенсирующие друг друга. Уделяя больше внимания именно этим показателям, вы избежите излишней оптимизации какой-то одной метрики и снижения эффективности бизнеса в будущем.

Этап 1: Действия до/сразу после выпуска нового продукта

И обеспечение соответствия продукта рынку

Итак, вы решили развивать свой стартап и планируете покорить мировой рынок. Но прежде, чем начинать строительство своей «Звезды смерти», вам необходимо убедиться, что вы правильно выбрали свой продукт, и он максимально подходит для соответствующего рынка.

При запуске в продажу нового продукта вполне может возникнуть противоречие между тем, что вы предлагаете, и ситуацией на рынке, и ваш продукт не будет пользоваться большим спросом. В этом случае вы либо меняете продукт, либо ищите другую целевую аудиторию. До тех пор, пока вы не создадите оптимальную ситуацию, когда товар будет востребован на целевом рынке, вам необходимо добиваться того, что мы называем «соответствием продукта рынку» (эта тема подробно разобрана Шоном Эллисом в данной статье).

Рисунок: Название схемы — «Рост компании начинается с выбора правильного продукта»; ступени пирамиды снизу вверх: «Стадия соответствия продукта рынку», «Переходный этап», «Стадия роста».

То, что ваша компания находится на первой стадии, можно определить по следующим признакам:

  • Вы только начинаете свой бизнес.
  • Вы по-прежнему ищите идеальную целевую аудиторию.
  • Пользователи/посетители сайта испытывают или используют ваш продукт впервые.

Это трудности, которые необходимо преодолеть в первую очередь. Но если у вас нет необходимой информации, то, как вы сможете определить успешность своей деятельности на этой стадии?

На данном этапе использование таких методов исследования, как A/B-тестирование, не поможет в определении эффективности вашей бизнес-модели, так как у вас еще нет (или не так много) клиентов, которые приносят доход и позволяют собрать нужную информацию. И лучший способ осуществить это — провести качественный анализ.

В ходе качественного анализа необходимо сделать следующее: проверить эффективность основных стратегий бизнеса в процессе общения с представителями вашей целевой аудитории. Если они делают заказы на вашу продукцию до того, как вы начали ее продажу, то вы на верном пути. [ Примеры подобного подхода мы приводили тут. ]

При этом как минимум 40% опрошенных должны сообщить, что они будут недовольны, если не смогут использовать ваш продукт.

Какие же метрики являются важными на данном этапе?

1. Качественная оценка

И хотя это совсем не метрика, это практически единственная информация, которую вы можете получить на данном этапе, ведь какое-то время заказов на продукцию у вас будет немного, если они вообще будут. Ваша цель сейчас — создать правильный продукт и предложить его на подходящем рынке.

И наиболее быстрый способ сделать это — начать диалог с потенциальными клиентами и другими покупателями.

Если у вас к этому моменту уже есть какое-то количество клиентов, вы можете поговорить с ними по Skype и затем проанализировать результаты опроса фокус-группы. Так вы сможете получить более полное представление о пожеланиях ваших покупателей и узнать, каким образом они бы решили проблемы, которые являются для вас актуальными.

После этого вы можете предложить свое решение, которое вы разрабатываете, и выяснить, считают ли они его правильным и эффективным.

Начните с опроса 10-20 человек по такой схеме:

  • Узнайте больше о рецензентах, собрав простейшие демографические данные.
  • Подробно обсудите с ними проблемы, которые они (как и вы) стремятся решить.
  • Когда вы предлагаете свое решение, не старайтесь продать продукт, а лишь попросите клиентов дать свою оценку.

Если же на данном этапе у вас нет клиентов (неважно, приносят они доход или нет), то вы можете поговорить с людьми, которые предположительно могли бы заинтересоваться вашим продуктом. Так вы сможете проанализировать различные целевые рынки. В конце концов, легче провести десять интервью по Skype, чем заново создавать бренд или продукт.

2. Оценка соответствия продукта рынку

Давайте вернемся к нашей установке номер 2: «Как минимум 40% опрошенных должны сообщить, что они будут недовольны, если не смогут использовать ваш продукт».

Бесспорно, оценка соответствия продукта рынку — это крайне сложный процесс, и здесь мы не строим иллюзий. Как узнать, что люди по-настоящему заинтересованы в вашем продукте? Станете ли вы сосредотачивать внимание на позитивных отзывах и не замечать негативные, потому что вы так уверены в успехе вашего бизнеса?

Эта проблема легко решается при помощи отличного вопроса, который вы можете задать своим клиентам:

Как вы отнесетесь к тому, что больше не сможете использовать наш продукт?

  • Будете очень недовольны
  • Будете слегка недовольны
  • Не будете переживать (продукт не слишком полезный)
  • Вопрос оставлен без ответа/Я уже не пользуюсь вашим продуктом

Рисунок: «Мы задали вопрос нашим покупателям: «Как вы отнесетесь к тому, что больше не сможете использовать наш продукт?» 588 из 1200 сообщили, что будут очень недовольны, если потеряют возможность использовать Groove, что составило 49% покупателей».

К примеру, если 50 человек используют ваш программный продукт (его бесплатную, ознакомительную или платную версию), то пришлите анкету тем из них, кто пользовался вашим сервисом, по крайней мере, дважды в течение двух недель. Это позволит количественно (и качественно) определить то, что ваш продукт обеспечит вам стабильное и существенное развитие бизнеса.

Если менее 40% опрошенных дали такой ответ, то очень вероятно, что вам будет трудно продвигать продукт на рынке, но, тем не менее, результаты опроса помогут правильно спланировать свою деятельность и подготовить ваш продукт таким образом, чтобы достичь большего соответствия продукта рынку.

Обеспечить высокое соответствие продукта рынку может быть нелегко, однако получение отзывов от первых пользователей в процессе личного общения с ними или работы с фокус-группой по Skype поспособствует развитию вашего бизнеса на ранних этапах, ведь ваши клиенты могут подсказать много полезных идей.

Этап 2: Ваш бизнес начал развиваться

И вот вы добились соответствия продукта рынку. Что делать теперь?

На данном этапе вы уже получаете доход, и ваша клиентская база увеличивается, поэтому пришло время обратить внимание на цифры. Теперь, когда ваш продукт пользуется спросом на соответствующем рынке, вы можете оценить свой прогресс, используя две метрики, которые позволят направить свою деятельность в нужную сторону.

Ваш бизнес расширяется если:

  • Вы нашли один или несколько способов постоянного привлечения новых клиентов.
  • Высокий процент клиентов сохраняет подписку на вашем сайте, и эти пользователи заинтересованы продолжать оплату ваших услуг.
  • Ваш ежемесячный доход постоянно увеличивается

На этом этапе вашими основными целями являются:

  • Постоянное увеличение ежемесячных поступлений и оптимизация коэффициента оттока клиентов.
  • Снижение ежемесячного коэффициента оттока клиентов до 2% (до 1%, если возможно). Если же коэффициент больше 5%, приложите все усилия и задействуйте все ресурсы для решения этой проблемы, чтобы в итоге он составлял не более 1%.

3. Ежемесячные поступления (Monthly Recurring Revenue, MRR)

Для многих фирм, занимающихся бизнесом в сфере SaaS, показатель ежемесячных поступлений является более важной метрикой, чем традиционный показатель дохода. Будучи своего рода «Священным Граалем» среди всех метрик для многих предпринимателей, показатель MRR определяет эффективность вашего SaaS-бизнеса.

По определению, MRR — это общий доход за месяц от регулярных взносов пользователей. Отслеживая величину этого показателя, вы будете понимать степень успешности вашего бизнеса от месяца к месяцу.

График: вертикальная шакала — объем дохода; горизонтальная шкала — временные отрезки (вывод продукта на рынок, 1-й месяц, 2-й месяц и т.д.); условные обозначения: белый цвет столбиков — MRR, желтый цвет — дополнительный MRR в новом месяце, оранжевый цвет — увеличение объема дополнительного MRR в новом месяце.

Тем не менее, никто не говорит, что отслеживать показатель MRR просто. Для этого необходимо обеспечить следующее: очень важно отслеживать этот показатель именно на ежемесячной основе. Общий доход от пользователей за год необходимо распределить по месяцам, и учитывать нужно не только месяц, в котором клиенты оформляют подписку.

Например:

  • Ваш годовой тариф — 300$
  • Ежемесячный — 25$

Если по плану 5 человек в январе подписываются на пользование вашим сервисом в течение года, и при этом 5 пользователей подписываются на месяц, то ваш доход за январь составит $1625.

Теперь рассмотрим случай, если в феврале новых подписчиков не появилось. Ваш доход за февраль составляет 125$, то есть 5×25$. Если вы сравните доход в течение двух месяцев, то можете подумать, что ваш доход в феврале снизился. Но на самом деле получается, что у вас — стабильный доход, так как количество ваших подписчиков, делающих взносы в эти месяцы, не изменилось.

Отслеживание повышения и понижения доходов может быть довольно утомительной работой. Если клиент решает добавить 10$ к ежемесячным взносам, вам необходимо прибавить 10$ к значению показателя MRR.

Объем планируемого дохода следует сократить, если клиент отказывается от пользования вашим сервисом.

4. Коэффициент оттока клиентов

Обратной стороной медали является отток клиентов. Он является, возможно, самым известным термином среди предпринимателей, описывающим наиболее нежелательное явление: отток клиентов означает, что ваши пользователи решают, что для них будет лучше больше не вести с вами дел.

Если пользователи начинают отменять свои подписки, то совсем скоро ваш показатель MRR перестанет повышаться, и, соответственно, ваш бизнес прекратит развитие. Как сказал серийный предприниматель Эш Маурья: «Неудивительно, что те, кто занимается SaaS-бизнесом, так одержимы оптимизацией уровня оттока клиентов».

Между тем, показатель оттока клиентов — довольно неоднозначная метрика. На первых этапах 10%-ный показатель ежемесячного оттока не покажется таким уж большим. 10% от 100 пользователей — это 10 человек, и если вы их потеряете, то у вас по-прежнему останется 90 постоянных клиентов. Ничего серьезного, скажете вы. Вы с легкостью найдете 10 новых клиентов.

Но давайте поднимем планку чуть выше и рассмотрим ситуацию, когда у вас уже 10 000 подписчиков. Не думаете же вы, что потеря 1000 клиентов за месяц не сильно повлияет на ваш бизнес? Сразу скажу, что даже для лидирующих компаний будет непросто сохранить свой бизнес при таком высоком показателе оттока клиентов.

Текст рисунка: «Оптимальное значение ежемесячного оттока клиентов: от 2 до 5%.

У наиболее успешных SaaS-компаний этот показатель равен 1,5 —3% в месяц. У них над этим работают настоящие ученые;

Старайтесь добиться показателя, не превышающего 5%, прежде, чем ваш бизнес будет готов к развитию (Марк МакЛеод) и 2% — прежде, чем ваша компания начнет быстрый рост (Дэвид Скок);

Повторный вопрос о подтверждении прекращения подписки может сильно влиять на уровень оттока клиентов. К примеру, на Facebook появляющиеся сообщения при удалении аккаунта помогают сократить показатель оттока на 7%.

Пусть вас не сбивает с толку то, насколько получается легко и безболезненно управлять уровнем оттока клиентов на первых этапах, так как он может легко возрасти и выйти из-под контроля, если вы не будете его тщательно отслеживать. Вам необходимо жестко контролировать показатель оттока, чтобы таким образом сформировать надежную клиентскую базу, которая обеспечит стабильное развитие вашей компании в течение долгого времени.

По словам Марка Састера: «В идеале, необходимо проводить опрос среди ваших клиентов и выяснять, по какой причине они отказываются от подписки». Если пообщаться с клиентами и узнать, почему они решили больше не сотрудничать с вами, то у вас появится ценная информация, которую вы сможете использовать для того, чтобы улучшить ваш продукт и обслуживание клиентов.

Эти две метрики, по сути, составляют лишь вершину айсберга, и есть еще несколько показателей, на которых вам следует сосредоточить внимание в процессе развития бизнеса. Следует помнить, насколько важно отводить достаточное количество времени анализу состояния вашего бизнеса, иначе вы будете впустую тратить время на бесполезные сообщения по электронной почте и составление отчетов о деятельности компании.

Многие предприниматели совершают ошибку, сосредотачивая все усилия на том, чтобы поднять бизнес на новый уровень, найти хороших специалистов и вложить в него как можно больше средств, но при этом забывают или – хуже того – не придают значения оптимизации правильных метрик, которые необходимо отслеживать, чтобы знать, идет развитие вашего бизнеса или нет.

На данном этапе будет очень правильным проанализировать текущее состояние вашего бизнеса и сравнить его с состоянием других фирм из того же сегмента рынка или индустрии, таких же по величине и находящихся на той же стадии развития. Если вы можете провести подобный анализ, то это очень хорошо, однако главное условие для достижения настоящего успеха — это разработка подходов и стратегий, эффективных именно в случае вашего SaaS-бизнеса.

P.S. Дополнительно о значимых метриках и структурировании информации о вашем бизнесе в шаблоне для презентации, подготовленном экспертами ФРИИ [ Slideshare, Keynote, PPT ]:

Многие организации не измеряют результативность обучений, которые проводят. А ведь на это сливается немалое количество денег и времени: создание обучающей программы, поиск тренеров, запись лекций, роликов — всё имеет свою цену. Но не измеряют результативность не потому, что не хотят, а потому что считают, что это невозможно и даже бессмысленно.

Если честно, мы с такой точкой зрения не согласны и, напротив, считаем, что измерять результативность курса можно и даже нужно. Особенно, если вы внедряете какие-то новые методики. Например, внедрили СДО и хотите узнать, какую пользу это принесло.

Даже проводя обычные опросы и анкетирования, можно выявить ошибки, чтобы провести над ними качественную работу. Это 100% лучше, чем тратить средства на то, что возможно и без нововведений прекрасно работает.

Если вы разделяете нашу точку зрения, ниже вас ждет подборка показателей, которые помогут измерить результативность ваших курсов и эффективность бизнеса в целом. Для оценки вы можете использовать качественные и количественные метрики. Давайте разберем их подробнее.

Качественные метрики

COR

COR (англ. Completion Rate) или «доходимость курса до конца». Измерить его просто: берем число тех, кто завершил обучение, и делим на число тех, кто его только начал. Результат умножаем на 100%. Получаем процент людей, которые прошли обучающий курс до конца.

Метрику можно считать качественной, потому что мы заранее предполагаем, что чем лучше построен процесс обучения и чем ценнее в нем информация, тем больше людей захотят пройти его до конца.

Ученики бросают обучение в основном по 3 причинам:

  • учиться слишком сложно: материал не усваивают, задания пропускаются;
  • учиться слишком легко: контент кажется слишком очевидным и ученики не желают тратить на него время;
  • учиться неинтересно: материал ценен, но выбран неудачный формат + отсутствуют инструменты вовлечения.

Соответственно, чем выше COR, тем больше, курс попадает в запрос аудитории.

NPS

NPS (англ. Net Promoter Score) или индекс лояльности пользователей. Чтобы рассчитать этот показатель, нужно всего лишь попросить выпускников оценить от 1 до 10 вероятность того, что они порекомендуют ваш курс друзьям или знакомым.

Те, кто поставил 9-10 баллов – сторонники, 7-8 баллов — нейтралы и те, кто поставил 0-6 баллов — критики. Для расчета индекса используют следующую формулу:

NPS = % «промоутеров» – % «критиков».

Рост NPS, то есть увеличение числа людей, которым нравится ваш курс, означает, что он действительно получился качественным и принес людям пользу.

CSI

CSI (англ. Customer Satisfaction Index) — индекс удовлетворенности пользователей. CSI & NPS лучше использовать в паре, чтобы лучше понять, приводит ли высокая удовлетворенность клиентов к формированию их лояльности и долгосрочных отношений.

Чтобы рассчитать CSI, вам нужно всего лишь попросить выпускников оценить любое взаимодействие с вашим курсом. При этом шкала может быть любая: от 1 до 10 или просто ответ в формате «да/нет» и «лайк/дизлайк». Обычно эту метрику используют сразу после взаимодействия с целевой аудиторией: после завершенной темы курса, после проведенного тренинга и т.д.

Модель Киркпатрика

Чтобы измерить эффективность обучения, вы можете использовать модель, разработанную американским профессором Дональдом Киркпатриком.

Состоит она из четырех уровней:

Первый уровень — «Реакция участников»

Нужен для того, чтобы выяснить, понравился ли участникам курс. Для анализа используются анкеты и обычные опросники. Этот этап, как лакмусовая бумажка, выявляет слабые стороны, которые нужно исправить. Тут сразу ясно: если результаты плохие, то и от обучения хороших показателей можно не ждать.

Второй уровень — «Обученность» или «Усвоение»

Показывает, как изменились знания учеников после курса и изменились ли они вообще. Тут уже используются специальные тесты и задания, которые четко оценят прогресс в компетенции и мотивации участников.

Третий уровень — «Поведение»

На этом этапе мы оцениваем, как ученики применяют полученные знания и навыки на рабочем месте. Есть ли реальные изменения в их эффективности или скорости работы?

Например, если у вас курс по продажам, можно сравнить количество жалоб или число заключенных сделок до и после обучения.

Четвертый уровень — «Результаты»

Нужен для выявления динамики в бизнес-показателях организации после обучения.

В своей системе Киркпатрик делит результаты на несколько категорий:

  • Снижение издержек;
  • Повышение качества сервиса;
  • Экономия времени.

Количественные метрики

LTV

LTV (Lifetime Value) — это прибыль, которую приносит вам ученик за всё время работы с ним. Чтобы наиболее точно рассчитать эту метрику, вам нужно еще два показателя.

Lifetime — показывает, в течение какого времени человек остается активным пользователем курса (период от первого до последнего запуска образовательной платформы).

ARPU — средняя прибыль от одного клиента за период. Для его расчета нужно разделить ваш регулярный доход за определенный период на количество пользователей за тот же период.Теперь остается перемножить эти два показателя.

Например, вы хотите рассчитать коэффициент LTV для курса тренировок с ежемесячной подпиской. Обычно ее покупают на 3 месяца. Стоимость месяца — 1500 рублей. Получается LTV = 1500*3= 4500 рублей.

Ученики с самым большим коэффициентом LTV = лояльные клиенты. Как правило, именно они приносят большее количество прибыли, поэтому им нужно уделять особое внимание и работать над их удержанием.

Средний чек

Расчет тут максимально простой: итоговую выручку делим на количество покупок.

Повысить средний чек можно за счет увеличения пользы, которую вы предлагаете клиенту. Например, можно добавить модули или предложить дополнительные услуги.

Средний чек, как правило, ограничивается конкурентной средой. Просто так сделать цену выше, чем у конкурентов вы не можете. На это действие у вас должна быть веская причина. Если вы поставили перед собой цель увеличить прибыль, подумайте, как сделать ваше предложение более весомым.

Количество покупок

Положительно повлиять на этот показатель вам помогут апсейлы.

Например, если ученик приобрел курс, вы можете предложить ему консультацию по сниженной цене. Отлично тут работают и рекомендации, когда пользователь получает скидку, если приводит к вам на курс друзей.

Конечно, это далеко не все метрики. Чтобы увидеть ситуацию более четко, можно рассчитать количество пользователей, которые вернулись к вам спустя какое-то время, количество новых пользователей и т.д.

Еще советуем вам обратить внимание на Яндекс.Метрику. Она позволит вам отследить статистику посещаемости, глубину просмотра, количество отказов и другие показатели, которые вы можете использовать для того, чтобы сделать курс лучше.

Сервисы, которые сделают все за вас

Несмотря на то, что у нас в России аналитика данных не особо развита, особенно в специализированных сферах бизнеса, мы все же нашли для вас пару сервисов, которые избавят вас от самостоятельных расчетов.

Курсометр — аналитический сервис, который собирает цифровой след учащихся, автоматизирует отчетность и указывает на сложные зоны в онлайн курсе. Выявляет эффективные и неэффективные форматы для обучения вашей целевой аудитории. Отслеживает атипичного поведения учеников, которое может указывать на то, что кто-то использует готовые ответы на тесты.

IntelliBoard — работает с несколькими LMS: Blackboard Learn, Canvas, Desire2Learn, Moodle & Totara Learn. Через платформу IntelliBoard можно собирать и анализировать статистические данные, визуализируя их в виде графиков, таблиц и отчетов, которые доступны для скачивания и печати.

IntelliBoard позволяет вам отследить:

  • Вовлеченность пользователей;
  • Результаты окончания обучения;
  • Просроченные задания;
  • Сравнение учащихся по средней оценке;
  • Сведения об активности;
  • Прогресс каждого ученика и многое другое.

А чтобы вы смогли собрать первичную информацию для анализа результативности обучения в вашей онлайн-школе, мы подготовили специальную анкету из 26 вопросов для ваших студентов, просто переходите по ссылке и скачивайте.

Спасибо, что остаетесь с нами. Желаем, чтобы ваши обучения всегда несли только пользу!

P.S. А какие метрики для оценки результативности курса используете вы?

Содержание

  • Ключевые метрики
    • Что такое бизнес-метрики
    • Зачем анализировать бизнес-метрики
    • Польза от бизнес-метрик
  • CPO 
  • CAC
  • ROI, ROMI, ROAS 
  • ARPU 
  • AOV
  • LTV 
  • Как отслеживать бизнес-метрики в Roistat

CPO, CAC, ROI, ARPU, AOV и LTV — важные для компаний бизнес-метрики. Объясняем значение аббревиатур и рассказываем, какие финансовые метрики необходимо отслеживать бизнесу при долгосрочном маркетинговом планировании.

Ключевые метрики

Что такое бизнес-метрики

Бизнес-метрики — это маркетинговые показатели эффективности: числа, значения, проценты. Без них невозможно понять, сколько денег зарабатывает компания, есть у бизнеса финансовые проблемы или наоборот — можно увеличить бюджет на развитие.

Зачем анализировать бизнес-метрики

Чтобы оценивать бизнес-процессы: какая реклама принесла продажи и выручку, как лучше распределить бюджет, какая реклама оказалась убыточной и от неё стоит отказаться.

Хотите освоить сквозную аналитику?

Посетите регулярный мастер-класс по аналитике от Roistat.

Подключиться

Метрики измеряют во время рекламной кампании и после её завершения. С их помощью можно определить, сколько компания тратит на привлечение клиента, какой процент покупателей совершает повторные покупки, насколько лояльна аудитория к бренду.

Польза от бизнес-метрик

  1. Отдел маркетинга видит, сколько заявок и продаж получает компания, какова конверсия на каждом этапе воронке продаж.
  2. Бизнес может вовремя реагировать на негативные изменения — можно заметить падение выручки по сравнению с предыдущим периодом, определить причину и исправить ошибки.
  3. Компания может отслеживать сезонность — метрики покажут, как меняется спрос на продукт в разное время года.

CPO 

Метрика СРО («cost per order», стоимость привлечения одной продажи) показывает, сколько в среднем денег потратила компания на привлечение одного покупателя. Понимание CPO по каждому рекламному каналу или объявлению поможет правильно планировать затраты на рекламу в будущих периодах. А также находить и отключать каналы трафика, которые приносят больше расходов, чем выручки.

CPO = затраченный бюджет на рекламу / количество продаж.

Пример: на рекламу наушников в поиске Яндекса магазин техники потратил 30 000 ₽ и получил 12 покупателей. Показатель CPO = 30 000 ₽ / 12 = 2 500 ₽.

Больше информации о том, что такое CPO в маркетинге, вы можете найти в нашем блоге. 

CAC

CAC («customer acquisition cost», стоимость «приобретения» клиента) — сумма, которую компания платит для привлечения нового клиента за определённый период времени.

CAC = общая сумма затрат на каналы трафика и продажи за конкретный период времени / общее количество привлеченных клиентов.

Пример: за месяц бизнес потратил на рекламу и продажи 500 000 ₽. За это время продукт компании купили 52 новых клиента. Следовательно, CAC = 9 615 ₽.

Проблема расчёта метрики в том, что невозможно точно подсчитать все расходы, которые понесла компания в процессе привлечения новых клиентов. Например, SEO-канал может участвовать в привлечении клиентов бизнеса, большая часть которых в итоге купит товар после просмотра рекламы.

ROI, ROMI, ROAS 

Метрики ROI («return on investment», окупаемость инвестиций), ROMI («return on marketing investment», рентабельность маркетинговых инвестиций) и ROAS («return on advertising spend, «окупаемость расходов на рекламу») показывают процент окупаемости инвестиций компании.

В чем разница?

ROI помогает рассчитать рентабельность проекта в целом, с учетом всех затрат, в том числе расходов на логистику, заработную плату сотрудников и других.

ROI = (доход, полученный с проекта — расходы на этот проект) / расходы на этот проект * 100%.

Если показатель ROI выше нуля, значит проект компании приносит прибыль. Ниже нуля — бизнес работает в убыток. А если ROI = 0, значит компания достигла точки безубыточности.

Обычно подсчет возврата инвестиций упрощают и считают только расходы маркетинг, не учитывая, например, затраты на аренду офиса или работу курьера.

Подробнее о том, как высчитывать ROI, рассказали в нашем материале. 

ROMI учитывает только инвестиции, которые компания вложила в маркетинг. То есть не только затраты на оплату рекламных площадок, но и расходы на оплату работы маркетолога.

ROMI = (доход с рекламы — расходы на маркетинг в целом) / расходы на маркетинг в целом * 100%.

При расчёте ROAS учитываются только затраты на рекламу. То есть в метрике не учитывается, например, зарплата маркетолога, который настраивает рекламу.

ROAS = доход с рекламы / расходы на рекламу.

В отличие от метрики ROI, показатель ROAS не учитывает маржинальность, поэтому отражает искаженную картину эффективности рекламы.

Считать окупаемость инвестиций можно вручную, например, с помощью Excel-таблиц. Но в таком случае команде маркетологов придётся постоянно актуализировать данные при каждом изменении. Рассказываем в ролике, как неэффективная реклама и ручной труд в компании ProCanvas привели к созданию сервиса сквозной аналитики Roistat.

ARPU 

Метрика ARPU («average revenue per user», средний доход с пользователя) показывает выручку, которую компания в среднем получает с одного пользователя продукта за конкретный период времени. Например, один подписчик сервиса музыки в среднем платит 140 ₽ в месяц. Метрика ARPU помогает сравнить среднюю выручку с одного пользователя за разные периоды времени и измерить реакцию клиентов на изменение цены на продукт.

ARPU (за период) = общая выручка со всех продаж за этот период / количество пользователей продукта за этот период.

Пример: за октябрь IT-компания, предлагающая CRM-системы, заработала 2 млн ₽. Всего у компании 250 клиентов, то есть в среднем каждый из них заплатил 8 000 ₽.

Важно смотреть на выручку в разных разрезах: с каждого канала трафика и каждого объявления, за разные периоды. Это помогает компании находить «слабые места», определять, какая реклама впустую тратит бюджет или в каком месяце продажи ежегодно «проседают».

AOV

Метрика AOV («average order value», средняя стоимость заказа) — средняя стоимость заказа. Проще говоря, это средний чек — сумма, которую компания в среднем зарабатывает с одной покупки за конкретный период времени. Зная средний чек, компания может прогнозировать выручку, которую приводят разные каналы трафика.

Показатель AOV можно увеличивать за счет продажи сопутствующих товаров. Например, при продаже крупногабаритной техники предлагать клиентам купить страховку, при продаже масляных красок — кисточки.

AOV = общий доход с продаж / количество продаж.

Пример: реклама ВКонтакте привела 5 покупателей: Витю, Сашу, Олю, Таню и Лёню. Витя и Лёня потратили на покупки по 5 000 ₽, Оля заплатила больше всех — 7 500 ₽, а Таня и Саша потратили 4 500 ₽ и 5 500 ₽ соответственно. Всего компания получила выручку на сумму 27 500 ₽, в среднем один покупатель потратил 5 500 ₽ на покупку товаров.

Стимулировать рост среднего чека для компании может быть выгоднее, чем привлекать новых клиентов. Готовому к покупке клиенту не нужно еще раз знакомиться с компанией, заново читать отзывы других покупателей или гуглить преимущества товара этого бренда.

LTV 

LTV («lifetime value») — пожизненная стоимость клиента. Метрика отражает прибыль от одного пользователя за время, пока он клиент компании. LTV важный показатель, поскольку напрямую влияет на прибыль. Доход (revenue) = LTV * количество активных пользователей.

Отслеживание LTV помогает:

  • управлять затратами на привлечение клиентов;
  • отслеживать, из какого канала трафика приходит аудитория, которая будет долго пользоваться товарами и услугами бизнеса;
  • качественно сегментировать пользователей по принципу финансовой выгоды от работы с ними;
  • планировать прибыль в долгосрочной перспективе.

Подробно о том, зачем нужен показатель LTV в интернет-маркетинге, рассказали в нашем материале.

LTV = средний чек * на количество покупок товара или услуги.

Пример: один клиент приносит фитнес-центру 1 200 ₽ в месяц. Если клиент будет заниматься спортом в этом клубе 3 года, он принесет бизнесу 43 200 ₽ за все время. При условии, что стоимость абонемента не будет меняться.

LTV должен быть выше CAC — стоимости привлечения клиента. Если компания тратит больше на поиск покупателя, чем получает от него денег, она работает в убыток.

Увеличить показатель LTV можно с помощью повышения удовлетворённости клиентов: если клиенту нравится пользоваться сервисом, он будет снова и снова его оплачивать.

Как учет LTV может поднять прибыль компании в 2 раза, рассказали в нашем блоге.

Как отслеживать бизнес-метрики в Roistat

Для отслеживания бизнес-метрик в Roistat есть инструмент «Аналитика». Он помогает считать количество посещений сайта, конверсии в заявки и продажи по каждому источнику трафика, анализировать результаты маркетинговых кампаний. Также вы можете рассчитывать показатели бизнес-метрик ROI, CAC, ARPU, LTV, CPO и AOV и других. Всего пользователи сервиса могут отслеживать аналитику в разрезе 66 бизнес-метрик.

О том, что такое источник трафика, рассказали в нашем блоге.

Чтобы добавить нужный показатель в отчет, нужно нажать на «+» рядом с правым столбиком.

Бизнес-метрики: как добавить метрику в отчёт Roistat

Как добавить метрику в отчёт Roistat

Каналы трафика можно отсортировать по каждому из показателей: от большего значения к меньшему и наоборот. Система сквозной аналитики подчёркивает зелёным самый высокий показатель метрики среди каналов трафика, красным — самый низкий. На примере видно, что у рекламы Google Ads самые высокие показатели ROI и LTV и самый низкий показатель CAC. Худший показатель ROI у трафика с Avito, а показатель LTV — у рекламы ВКонтакте.

Roistat автоматически обновляет данные отчёта по интегрированным с сервисом каналам. Если канал не подключен к системе, расходы по нему нужно вводить вручную.

Пример: для написания SEO-статей интернет-магазин нанял копирайтера, за свою работу специалист получил 30 000 ₽. Также компания купила рекламу у Instagram-блогера* за 20 500 ₽ и потратила на отправку рассылки через Unisender 10 900 ₽. Маркетолог магазина внёс расходы по каждому из этих каналов трафика, чтобы рассчитать по ним финансовые метрики, выручку и прибыль.

Бизнес-метрики: пример записи расходов в Roistat по рекламным каналам

Пример записи расходов в Roistat по рекламным каналам

Хотите освоить сквозную аналитику?

Посетите регулярный мастер-класс по аналитике от Roistat.

Подключиться

Больше обучающих материалов по маркетингу у нас в Telegram-канале. Подписывайтесь, чтобы не пропустить!

*Meta и продукты компании — Instagram, Facebook — признаны экстремистскими организациями на территории РФ.

Понравилась статья? Поделить с друзьями:

Другие крутые статьи на нашем сайте:

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest

0 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии