На пути к единой системе: на какие метрики смотрят лидеры edtech-рынка

Оценка качества онлайн-курсов — один из основных вопросов для edtech-рынка сегодня. Единых стандартов не существует: каждая школа выбирает метрики самостоятельно. Агентство Smart Ranking совместно с мессенджером «Пачка» провело исследование и опросило игроков edtech-рынка, чтобы узнать, какие показатели они измеряют и как потом используют полученные данные. Оказалось, что компании детского сегмента считают самым значимым LTV (Lifetime Value), а взрослого — индекс удовлетворенности клиента.

Главная задача рынка 

Edtech-рынок наращивает объем: в 2023 году он превысил 120 млрд рублей. Вопрос об измерении качества продуктов встает все острее, так как онлайн-школы становятся полноправными участниками сферы образования. Edtech-компании создают ассоциации для проработки образовательных стандартов, а государство выдвигает свои инициативы по регулированию инфобизнеса и онлайн-образования.

Так, Российская ассоциация цифровых инноваций в образовании (РАЦИО) поставила цель — внедрить единую систему качества онлайн-курсов. Предполагается, что без этой системы не получится выстроить долгосрочные отношения с клиентами, регулятором и общественными институтами.

«Эта система должна стать основной в отрасли и быть принятой не только участниками рынка, но и регуляторами. Основной фокус — на выработке общего стандарта, согласовании его на уровне ведущих компаний, представлении рынку и общественности, сборе обратной связи», — отмечает Людмила Кевдина, директор департамента внешних коммуникаций MAXIMUM Education, член Совета РАЦИО, руководитель направления «Качество отрасли и образовательных продуктов».

Целью на год в ассоциации называют выработку единого прозрачного формата оценки. По словам Людмилы Кевдиной, РАЦИО активно взаимодействует с Комитетом Госдумы по информационной политике, информационным технологиям и связи и Советом Федерации для проработки совместных инициатив.

Свою модель оценки качества образовательных продуктов анонсировал и Skillbox — лидер рынка начал разработку единого стандарта совместно с НИУ ВШЭ. Планируется оценивать образовательные программы комплексно: учитывать и экономические показатели компании, и результаты студентов. Модель будет состоять из четырех основных блоков: организация бизнес-процессов, разработка продукта, реализация продукта и его рыночная позиция.

Как опрашивали

Пока общая для рынка система оценки качества еще не разработана, мы изучили опыт каждой отдельной компании в этом вопросе. Аналитическое агентство Smart Ranking предложило 12 edtech-компаниям список метрик для оценки качества и эффективности обучения. Среди них были показатели удовлетворенности клиентов, маркетинговые и бизнес-метрики, так как они все влияют на продукт. Школам предложили перечислить и другие метрики, которые они используют. Опрошенные присваивали оценку значимости показателю по шкале от 0 до 5, где 0 — бесполезная метрика, которая не используется в компании, а 5 — самая значимая или одна из наиболее значимых. В результате мы посмотрели средний балл каждой метрики. Итоги исследования мы разделили по сегментам — отдельно для детских и взрослых онлайн-школ. В опросе участвовали MAXIMUM Education, Easycode, «Фоксфорд», «Умскул», «ИнтернетУрок», Rebotica, Skillbox, «Яндекс Практикум», EDPRO, Бауманский учебный центр «Специалист», Ultimate Education, «Зерокодер».

Детский сегмент

Метрики удержания: LTV и Retention

По результатам опроса, при оценке своего продукта детские онлайн-школы больше всего обращают внимание на пожизненную ценность клиента (LTV) — сколько прибыли он принес в течение всего сотрудничества. Значимость показателя LTV в среднем оценили на 4,3. Некоторые компании отметили, что метрика преимущественно относится к маркетинговым и указывает на качество обучения лишь косвенно.

Высокая оценка этого показателя связана со спецификой детского edtech: онлайн-продукты для детей часто работают по подписке или предполагают многолетнее обучение (например, хоумскулинг). Поэтому школам важно обеспечить повторные продажи.

«Когда ученики хотят продолжить у нас обучение, эффект на общий оборот компании более чем значим. Около 50% продаж в Rebotica — вторые и третьи покупки», — прокомментировал важность LTV Александр Киселев, СЕО и основатель Rebotica.

По тем же причинам половина опрошенных школ назвала одной из самых значимых метрик retention коэффициент удержания. Этот показатель определяет, сколько пользователей совершают повторные покупки в течение определенного периода времени.

«Согласно статистике, чем лучше мы удерживаем учеников, тем выше вероятность, что они останутся с нами в следующем году и увеличат свой средний чек. А значит, мы будем расти как финансово, так и в количестве активных пользователей», — рассказала Дарья Кравченко, руководитель группы управления качеством обучения в академическом департаменте онлайн-школы «Фоксфорд».

В «Умскуле» измеряют отдельно retention для новых пользователей и тех, кто уже пользовался платформой. Оценка показателя среди новичков отражает, насколько ученику комфортно вливаться в образовательную программу, пользоваться платформой и насколько обучение соответствует ожиданиям.

Так, онлайн-школы из детского сегмента в наибольшей степени судят о качестве своего продукта по показателям удержания учеников: по прибыли, которую они приносят за все время обучения, и доле клиентов, совершающих повторные покупки. 

NPS

Средняя оценка уровня лояльности клиентов (NPS) составила 4. От NPS зависит, как в отношении школы будет работать сарафанное радио: если показатель низкий, значит, школу не готовы рекомендовать. Эта метрика отражает, сколько у компании «промоутеров» — то есть тех, кто удовлетворен услугами на 9–10 по 10-балльной шкале.

COR

В среднем этот показатель оценили на 3,6. Метрика показывает, сколько учеников дошли до конца обучения.

Доходимость в компаниях считают по-разному. Базово COR рассчитывается как отношение числа завершивших обучение к числу начавших, умноженное на 100. Однако кого можно считать завершившим обучение, каждая школа решает сама. В «Фоксфорде», например, считают, что ученик завершил обучение, если он освоил 70% программы.

Несмотря на высокую оценку значимости, COR не всегда отражает качество продукта и зависит от многих факторов. Один из них — изначальная образовательная цель. В «Умскуле» поделились, что на курсы подготовки к ЕГЭ и ОГЭ некоторые дети приходят с разными задачами: например, изучить конкретную тему или подготовиться на определенный балл. В таких случаях ученикам не обязательно доходить до конца курса.

В онлайн-школах рассказали, как работают над улучшением COR. В MAXIMUM Education стремятся к доходимости 93–95% и используют системный подход для достижения такого показателя. В частности, в систему включены нацеленность преподавателя на прогресс ученика, технологии, которые персонализируют обучение и увеличивают вовлеченность, управление процессом преподавания и сопровождение учеников и клиентов. В «Фоксфорде» работают с гипотезами роста метрик, тестируют продуктовые изменения и собирают курсы с учетом образовательного потенциала детей.

Rebotica разработала тест, результат которого определяет по коэффициенту совместимости пару «студент — наставник». Так улучшается доходимость до конца курса студентом и проводится профилактика выгорания у преподавателя.

Взрослый сегмент

CSI

CSI — индекс удовлетворенности клиентов, который компании сегмента ДПО в среднем оценили на 4,1. Метрика показывает, доволен ли студент тем или иным аспектом обучения, и позволяет понять, какой контент нравится ученикам. Измерение CSI дает возможность определить конкретные области для улучшения: от теории до практики, отметили в Ultimate Education.

NPS и Success Rate

Оценку 4 получили NPS и Success Rate. Success Rate показывает, достиг ли студент своих целей. В компании Zerocoder, например, назвали Success Rate самым важным показателем. «Мы ориентируемся на процент людей, которые смогли использовать полученные знания в процессе обучения и заработать на этом деньги», — сообщила Дарина Ктоян, CPO «Зерокодера».

LTV, COR, трудоустройство

Сразу три показателя получили оценку 3,6: LTV, COR и трудоустройство. Высокая оценка LTV согласуется с мировым трендом на life-long learning: студенты все чаще обновляют навыки, покупая короткие курсы или осваивая целые профессии. Edtech-компаниям важно сопровождать студента на всем карьерном пути.

Даже если игроки рынка не отмечали LTV как самую значимую метрику, то сообщали, что все равно работают над улучшением этого показателя. Например, в «Яндекс Практикуме», где LTV оценивают по значимости на 4 из 5, улучшают эту метрику, чтобы сопровождать пользователя на образовательном пути как можно дольше. «Мы развиваем продукт, который помогает на всем периоде карьерного развития человека: от получения первой профессии до последующего постоянного развития навыков и возможной смены направления. Планируем, что большее число пользователей будет использовать платформу для решения разных задач на протяжении всего карьерного пути», — рассказала Мария Ковалева, руководитель Лаборатории образовательных технологий «Яндекс Практикума». 

Как и в детском сегменте, каждая школа ДПО считает доходимость по-своему: например, в EDPRO смотрят на отношение количества сданных итоговых работ к числу студентов, зачисленных на обучение. В некоторых компаниях считают разные виды COR: например, смотрят на доходимость за определенный отрезок времени.

Компании отметили разброс доходимости в диапазоне 50–100%. Лучше всего доучиваются до конца студенты коротких курсов длительностью до 40 часов, сообщили в Бауманском учебном центре «Специалист». Среди длинных программ сразу две школы отметили наиболее высокие результаты на курсах по психологии: 89% студентов доходят до конца таких курсов в EDPRO и около 90% — в «Психодемии». 

Так как в онлайн-школах в основном учатся те, кто стремится изменить карьерный трек, одна из самых значимых метрик — трудоустройство. В некоторых компаниях сообщали, что для них важно, нашел ли студент работу после обучения, но использовать показатель трудоустройства они не могут. Диджитал-профессии часто подразумевают фриланс, а не полноценную занятость, поэтому считать метрику трудно. Несмотря на сложности подсчета, половина опрошенных компаний взрослого сегмента, Skillbox, «Яндекс Практикум» и «Зерокодер», оценили эту метрику на максимальный балл по значимости.

Возвраты

Среди значимых метрик компании называли также и возвраты. В Ultimate Education отметили, что возвраты указывают на те аспекты продукта, которые необходимо доработать, — в первую очередь несоответствие ожиданиям студента. В Eduson сообщили, что считают рефанды основным показателем.

«Мы фокусируемся на рефандах. Они низкие — 0,8–1,3%. Я не считаю, что соцветие из десяти метрик лучше, чем одна грамотно выбранная “полярная звезда”», — прокомментировала Елена Масолова, СЕО компании.

О работе над метрикой рассказали и в Easycode: там концентрируются на том, чтобы сократить число возвратов до и после начала обучения. В первом случае планируется улучшить включение в продукт: онбординг на платформе, предоставление исчерпывающей информации о курсе. Во втором — работать с мотивацией и вовлеченностью ученика через геймификацию и проведение мероприятий.
 

Другие метрики: сопровождение и сообщества

Исследование корпоративного мессенджера «Пачка» показало, что сопровождение напрямую влияет на ключевые для компаний показатели: COR, NPS, CSAT. Поэтому edtech стремится организовать качественное взаимодействие со студентами. 

Каждая школа измеряет качество сопровождения по-своему: как правило, с помощью CSI или LX index (learning experience index). В Ultimate Education замеряют SLA — показатель скорости и качества коммуникации со студентами. «В клиентском бизнесе важно быстро и качественно реагировать на запросы студентов. Практика должна проверяться в срок, и помощь по другим вопросам должна предоставляться максимально оперативно и качественно», — отметил Павел Мосейкин, CEO образовательного холдинга.

Некоторые компании специальным образом взаимодействие не замеряют, но обращают внимание на активность студентов в чатах. Об этом рассказали в «Фоксфорде» и «Умскуле». Есть и те, кто только планирует вводить аналитику на основе переписок студентов и преподавателей. «Недавно ввели чаты на платформе, будем смотреть на проверку домашних заданий и время ответа на вопросы ученика», — рассказали Светлана Фаретдинова, CPO Easycode, и Дудкин Денис, директор компании. 

Data-driven-подход к оценке качества сопровождения — зарождающийся тренд в edtech. «Так, уже сейчас компании получают качественные и количественные данные из всех групповых чатов (с помощью них можно рассчитать нагрузку и скорость ответа каждого сотрудника или, например, активность студента/группы), а также количественные данные из личных переписок. Последнее, по словам самих онлайн-школ, крайне актуально: с учетом общего акцента на персонализацию в онлайн-образовании общение в личных переписках — явление очень распространенное», — прокомментировали рост спроса на аналитику данных из мессенджеров и чатов в «Пачке».

Edtech-компании также запускают свои комьюнити, чтобы создать условия для взаимодействия студентов и преподавателей.

«Школы Ultimate Education целенаправленно развивают индустриальные сообщества и формируют уникальную образовательную среду. Мы создаем среду для диалога между студентами и школой, а также между школой и индустрией. Для нас важно выстраивать эффективный диалог и интегрировать индустрию в образовательный процесс», — рассказал Павел Мосейкин.
 

Учебная активность

От того, насколько активно студент выполняет домашние задания и смотрит вебинары, зависит множество метрик: доходимость, LTV, retention, будущее трудоустройство. Поэтому компании обращают внимание на учебную активность. В «Фоксфорде» смотрят на решаемость (долю выполненных домашних работ) и посещаемость (долю занятий, на которых ученик присутствовал). В Skillbox анализируют учебную активность с помощью ряда метрик. По словам Дмитрия Крутова, основателя и генерального директора образовательного холдинга Skillbox, анализ процесса обучения студента включает: 

• активность;

• конверсию в первое домашнее задание; 

• COR 1/2/3;

• активность с точки зрения прогресса;

• количество заходов на платформу;

• время сессии;

• количество просмотренных уроков и пройденных уроков одним студентом;

• количество отправленных домашних заданий и итерации на домашние задания. 

Summary

Перед edtech стоит сложная задача обобщить лучшие практики оценки качества, которые используют компании. Трудности создает специфика сегментов: как показал опрос, то, что является наиболее важным для взрослых школ, оказывается не таким важным или вообще неприменимым для детских.

Дополнительным барьером становится неоднозначность некоторых метрик. Встает вопрос о возможности унифицировать учет доходимости, трудоустройства и взаимодействия со студентами.