Smart Ranking


На пути к единой системе: на какие метрики смотрят лидеры edtech-рынка

На пути к единой системе: на какие метрики смотрят лидеры edtech-рынка

Оценка качества онлайн-курсов — один из основных вопросов для edtech-рынка сегодня. Единых стандартов не существует: каждая школа выбирает метрики самостоятельно. Агентство Smart Ranking совместно с мессенджером «Пачка» провело исследование и опросило игроков edtech-рынка, чтобы узнать, какие показатели они измеряют и как потом используют полученные данные. Оказалось, что компании детского сегмента считают самым значимым LTV (Lifetime Value), а взрослого — индекс удовлетворенности клиента.

Главная задача рынка 

Edtech-рынок наращивает объем: в 2023 году он превысил 120 млрд рублей. Вопрос об измерении качества продуктов встает все острее, так как онлайн-школы становятся полноправными участниками сферы образования. Edtech-компании создают ассоциации для проработки образовательных стандартов, а государство выдвигает свои инициативы по регулированию инфобизнеса и онлайн-образования.

Так, Российская ассоциация цифровых инноваций в образовании (РАЦИО) поставила цель — внедрить единую систему качества онлайн-курсов. Предполагается, что без этой системы не получится выстроить долгосрочные отношения с клиентами, регулятором и общественными институтами.

«Эта система должна стать основной в отрасли и быть принятой не только участниками рынка, но и регуляторами. Основной фокус — на выработке общего стандарта, согласовании его на уровне ведущих компаний, представлении рынку и общественности, сборе обратной связи», — отмечает Людмила Кевдина, директор департамента внешних коммуникаций MAXIMUM Education, член Совета РАЦИО, руководитель направления «Качество отрасли и образовательных продуктов».

Целью на год в ассоциации называют выработку единого прозрачного формата оценки. По словам Людмилы Кевдиной, РАЦИО активно взаимодействует с Комитетом Госдумы по информационной политике, информационным технологиям и связи и Советом Федерации для проработки совместных инициатив.

Свою модель оценки качества образовательных продуктов анонсировал и Skillbox — лидер рынка начал разработку единого стандарта совместно с НИУ ВШЭ. Планируется оценивать образовательные программы комплексно: учитывать и экономические показатели компании, и результаты студентов. Модель будет состоять из четырех основных блоков: организация бизнес-процессов, разработка продукта, реализация продукта и его рыночная позиция.

Как опрашивали

Пока общая для рынка система оценки качества еще не разработана, мы изучили опыт каждой отдельной компании в этом вопросе. Аналитическое агентство Smart Ranking предложило 12 edtech-компаниям список метрик для оценки качества и эффективности обучения. Среди них были показатели удовлетворенности клиентов, маркетинговые и бизнес-метрики, так как они все влияют на продукт. Школам предложили перечислить и другие метрики, которые они используют. Опрошенные присваивали оценку значимости показателю по шкале от 0 до 5, где 0 — бесполезная метрика, которая не используется в компании, а 5 — самая значимая или одна из наиболее значимых. В результате мы посмотрели средний балл каждой метрики. Итоги исследования мы разделили по сегментам — отдельно для детских и взрослых онлайн-школ. В опросе участвовали MAXIMUM Education, Easycode, «Фоксфорд», «Умскул», «ИнтернетУрок», Rebotica, Skillbox, «Яндекс Практикум», EDPRO, Бауманский учебный центр «Специалист», Ultimate Education, «Зерокодер».

Детский сегмент

Метрики удержания: LTV и Retention

По результатам опроса, при оценке своего продукта детские онлайн-школы больше всего обращают внимание на пожизненную ценность клиента (LTV) — сколько прибыли он принес в течение всего сотрудничества. Значимость показателя LTV в среднем оценили на 4,3. Некоторые компании отметили, что метрика преимущественно относится к маркетинговым и указывает на качество обучения лишь косвенно.

Высокая оценка этого показателя связана со спецификой детского edtech: онлайн-продукты для детей часто работают по подписке или предполагают многолетнее обучение (например, хоумскулинг). Поэтому школам важно обеспечить повторные продажи.

«Когда ученики хотят продолжить у нас обучение, эффект на общий оборот компании более чем значим. Около 50% продаж в Rebotica — вторые и третьи покупки», — прокомментировал важность LTV Александр Киселев, СЕО и основатель Rebotica.

По тем же причинам половина опрошенных школ назвала одной из самых значимых метрик retention коэффициент удержания. Этот показатель определяет, сколько пользователей совершают повторные покупки в течение определенного периода времени.

«Согласно статистике, чем лучше мы удерживаем учеников, тем выше вероятность, что они останутся с нами в следующем году и увеличат свой средний чек. А значит, мы будем расти как финансово, так и в количестве активных пользователей», — рассказала Дарья Кравченко, руководитель группы управления качеством обучения в академическом департаменте онлайн-школы «Фоксфорд».

В «Умскуле» измеряют отдельно retention для новых пользователей и тех, кто уже пользовался платформой. Оценка показателя среди новичков отражает, насколько ученику комфортно вливаться в образовательную программу, пользоваться платформой и насколько обучение соответствует ожиданиям.

Так, онлайн-школы из детского сегмента в наибольшей степени судят о качестве своего продукта по показателям удержания учеников: по прибыли, которую они приносят за все время обучения, и доле клиентов, совершающих повторные покупки. 

NPS

Средняя оценка уровня лояльности клиентов (NPS) составила 4. От NPS зависит, как в отношении школы будет работать сарафанное радио: если показатель низкий, значит, школу не готовы рекомендовать. Эта метрика отражает, сколько у компании «промоутеров» — то есть тех, кто удовлетворен услугами на 9–10 по 10-балльной шкале.

COR

В среднем этот показатель оценили на 3,6. Метрика показывает, сколько учеников дошли до конца обучения.

Доходимость в компаниях считают по-разному. Базово COR рассчитывается как отношение числа завершивших обучение к числу начавших, умноженное на 100. Однако кого можно считать завершившим обучение, каждая школа решает сама. В «Фоксфорде», например, считают, что ученик завершил обучение, если он освоил 70% программы.

Несмотря на высокую оценку значимости, COR не всегда отражает качество продукта и зависит от многих факторов. Один из них — изначальная образовательная цель. В «Умскуле» поделились, что на курсы подготовки к ЕГЭ и ОГЭ некоторые дети приходят с разными задачами: например, изучить конкретную тему или подготовиться на определенный балл. В таких случаях ученикам не обязательно доходить до конца курса.

В онлайн-школах рассказали, как работают над улучшением COR. В MAXIMUM Education стремятся к доходимости 93–95% и используют системный подход для достижения такого показателя. В частности, в систему включены нацеленность преподавателя на прогресс ученика, технологии, которые персонализируют обучение и увеличивают вовлеченность, управление процессом преподавания и сопровождение учеников и клиентов. В «Фоксфорде» работают с гипотезами роста метрик, тестируют продуктовые изменения и собирают курсы с учетом образовательного потенциала детей.

Rebotica разработала тест, результат которого определяет по коэффициенту совместимости пару «студент — наставник». Так улучшается доходимость до конца курса студентом и проводится профилактика выгорания у преподавателя.

Взрослый сегмент

CSI

CSI — индекс удовлетворенности клиентов, который компании сегмента ДПО в среднем оценили на 4,1. Метрика показывает, доволен ли студент тем или иным аспектом обучения, и позволяет понять, какой контент нравится ученикам. Измерение CSI дает возможность определить конкретные области для улучшения: от теории до практики, отметили в Ultimate Education.

NPS и Success Rate

Оценку 4 получили NPS и Success Rate. Success Rate показывает, достиг ли студент своих целей. В компании Zerocoder, например, назвали Success Rate самым важным показателем. «Мы ориентируемся на процент людей, которые смогли использовать полученные знания в процессе обучения и заработать на этом деньги», — сообщила Дарина Ктоян, CPO «Зерокодера».

LTV, COR, трудоустройство

Сразу три показателя получили оценку 3,6: LTV, COR и трудоустройство. Высокая оценка LTV согласуется с мировым трендом на life-long learning: студенты все чаще обновляют навыки, покупая короткие курсы или осваивая целые профессии. Edtech-компаниям важно сопровождать студента на всем карьерном пути.

Даже если игроки рынка не отмечали LTV как самую значимую метрику, то сообщали, что все равно работают над улучшением этого показателя. Например, в «Яндекс Практикуме», где LTV оценивают по значимости на 4 из 5, улучшают эту метрику, чтобы сопровождать пользователя на образовательном пути как можно дольше. «Мы развиваем продукт, который помогает на всем периоде карьерного развития человека: от получения первой профессии до последующего постоянного развития навыков и возможной смены направления. Планируем, что большее число пользователей будет использовать платформу для решения разных задач на протяжении всего карьерного пути», — рассказала Мария Ковалева, руководитель Лаборатории образовательных технологий «Яндекс Практикума»

Как и в детском сегменте, каждая школа ДПО считает доходимость по-своему: например, в EDPRO смотрят на отношение количества сданных итоговых работ к числу студентов, зачисленных на обучение. В некоторых компаниях считают разные виды COR: например, смотрят на доходимость за определенный отрезок времени.

Компании отметили разброс доходимости в диапазоне 50–100%. Лучше всего доучиваются до конца студенты коротких курсов длительностью до 40 часов, сообщили в Бауманском учебном центре «Специалист». Среди длинных программ сразу две школы отметили наиболее высокие результаты на курсах по психологии: 89% студентов доходят до конца таких курсов в EDPRO и около 90% — в «Психодемии». 

Так как в онлайн-школах в основном учатся те, кто стремится изменить карьерный трек, одна из самых значимых метрик — трудоустройство. В некоторых компаниях сообщали, что для них важно, нашел ли студент работу после обучения, но использовать показатель трудоустройства они не могут. Диджитал-профессии часто подразумевают фриланс, а не полноценную занятость, поэтому считать метрику трудно. Несмотря на сложности подсчета, половина опрошенных компаний взрослого сегмента, Skillbox, «Яндекс Практикум» и «Зерокодер», оценили эту метрику на максимальный балл по значимости.

Возвраты

Среди значимых метрик компании называли также и возвраты. В Ultimate Education отметили, что возвраты указывают на те аспекты продукта, которые необходимо доработать, — в первую очередь несоответствие ожиданиям студента. В Eduson сообщили, что считают рефанды основным показателем.

«Мы фокусируемся на рефандах. Они низкие — 0,8–1,3%. Я не считаю, что соцветие из десяти метрик лучше, чем одна грамотно выбранная “полярная звезда”», — прокомментировала Елена Масолова, СЕО компании.

О работе над метрикой рассказали и в Easycode: там концентрируются на том, чтобы сократить число возвратов до и после начала обучения. В первом случае планируется улучшить включение в продукт: онбординг на платформе, предоставление исчерпывающей информации о курсе. Во втором — работать с мотивацией и вовлеченностью ученика через геймификацию и проведение мероприятий.

Другие метрики: сопровождение и сообщества

Исследование корпоративного мессенджера «Пачка» показало, что сопровождение напрямую влияет на ключевые для компаний показатели: COR, NPS, CSAT. Поэтому edtech стремится организовать качественное взаимодействие со студентами. 

Каждая школа измеряет качество сопровождения по-своему: как правило, с помощью CSI или LX index (learning experience index). В Ultimate Education замеряют SLA — показатель скорости и качества коммуникации со студентами. «В клиентском бизнесе важно быстро и качественно реагировать на запросы студентов. Практика должна проверяться в срок, и помощь по другим вопросам должна предоставляться максимально оперативно и качественно», — отметил Павел Мосейкин, CEO образовательного холдинга.

Некоторые компании специальным образом взаимодействие не замеряют, но обращают внимание на активность студентов в чатах. Об этом рассказали в «Фоксфорде» и «Умскуле». Есть и те, кто только планирует вводить аналитику на основе переписок студентов и преподавателей. «Недавно ввели чаты на платформе, будем смотреть на проверку домашних заданий и время ответа на вопросы ученика», — рассказали Светлана Фаретдинова, CPO Easycode, и Дудкин Денис, директор компании

Data-driven-подход к оценке качества сопровождения — зарождающийся тренд в edtech. «Так, уже сейчас компании получают качественные и количественные данные из всех групповых чатов (с помощью них можно рассчитать нагрузку и скорость ответа каждого сотрудника или, например, активность студента/группы), а также количественные данные из личных переписок. Последнее, по словам самих онлайн-школ, крайне актуально: с учетом общего акцента на персонализацию в онлайн-образовании общение в личных переписках — явление очень распространенное», — прокомментировали рост спроса на аналитику данных из мессенджеров и чатов в «Пачке».

Edtech-компании также запускают свои комьюнити, чтобы создать условия для взаимодействия студентов и преподавателей.

«Школы Ultimate Education целенаправленно развивают индустриальные сообщества и формируют уникальную образовательную среду. Мы создаем среду для диалога между студентами и школой, а также между школой и индустрией. Для нас важно выстраивать эффективный диалог и интегрировать индустрию в образовательный процесс», — рассказал Павел Мосейкин.

Учебная активность

От того, насколько активно студент выполняет домашние задания и смотрит вебинары, зависит множество метрик: доходимость, LTV, retention, будущее трудоустройство. Поэтому компании обращают внимание на учебную активность. В «Фоксфорде» смотрят на решаемость (долю выполненных домашних работ) и посещаемость (долю занятий, на которых ученик присутствовал). В Skillbox анализируют учебную активность с помощью ряда метрик. По словам Дмитрия Крутова, основателя и генерального директора образовательного холдинга Skillbox, анализ процесса обучения студента включает: 

  • активность;

  • конверсию в первое домашнее задание; 

  • COR 1/2/3;

  • активность с точки зрения прогресса;

  • количество заходов на платформу;

  • время сессии;

  • количество просмотренных уроков и пройденных уроков одним студентом;

  • количество отправленных домашних заданий и итерации на домашние задания. 


Summary

Перед edtech стоит сложная задача обобщить лучшие практики оценки качества, которые используют компании. Трудности создает специфика сегментов: как показал опрос, то, что является наиболее важным для взрослых школ, оказывается не таким важным или вообще неприменимым для детских.

Дополнительным барьером становится неоднозначность некоторых метрик. Встает вопрос о возможности унифицировать учет доходимости, трудоустройства и взаимодействия со студентами.

Дата публикации: 16 Май 2024


Аналитика и интервью
«Ключевая проблема AI — он не может заставлять учиться» и другие мысли Андрея Анищенко
«Ключевая проблема AI — он не может заставлять учиться» и другие мысли Андрея Анищенко

Живущий в Лондоне один из видных edtech-экспертов, сооснователь Skillbox Андрей Анищенко дал двухчасовое интервью Елизавете Осетинской. Кратко пересказываем его основные мысли о мировом рынке онлайн-образования и личном опыте развития онлайн-школы EBAC в Бразилии.

Интервью10 Июнь 2024
Топ растущих edtech-компаний по итогам I квартала 2024 года
Топ растущих edtech-компаний по итогам I квартала 2024 года

В I квартале 2024 года активный рост показали edtech-игроки из детского сегмента и образовательные платформы. Рассказываем, за счет чего развиваются быстрорастущие компании, и делимся фрагментом нового отчета от Smart Ranking.

Аналитика07 Июнь 2024
Алексей Корольков: В нынешних условиях сохранять кадры — это значит сохранять миллиарды

Разработчики и платформы демонстрируют самый высокий рост среди всех сегментов edtech. Одна из причин — уход зарубежных вендоров. О том, как будет расти конкуренция, какие возможности открывает кадровый голод и спрос на какие инструменты будет расти активнее всего, в интервью SmR рассказал CEO Websoft Алексей Корольков.

Интервью05 Июнь 2024

Трафик — главная боль рынка. Посещаемость сайтов edtech-игроков упала на 20%

Edtech-компаниям труднее привлекать клиентов: посещаемость сайтов падает, увеличивается стоимость лида. По оценке Smart Ranking, снижение трафика участников рынка в I квартале составило 20% по отношению к прошлому году. Компании сталкиваются с потерей каналов для продвижения и рекламными ограничениями со стороны государства. Рассказываем о том, что происходит с трафиком и как бороться с его снижением.

Аналитика23 Май 2024

На пути к единой системе: на какие метрики смотрят лидеры edtech-рынка

Оценка качества онлайн-курсов — один из основных вопросов для edtech-рынка сегодня. Единых стандартов не существует: каждая школа выбирает метрики самостоятельно. Агентство Smart Ranking совместно с мессенджером «Пачка» провело исследование и опросило игроков edtech-рынка, чтобы узнать, какие показатели они измеряют и как потом используют полученные данные. Оказалось, что компании детского сегмента считают самым значимым LTV (Lifetime Value), а взрослого — индекс удовлетворенности клиента.

Аналитика16 Май 2024

Единорог от младшего Блэра, бумажные журналы в румынских школах и стартапы Латвии: особенности европейского edtech

Edtech-рынок Европы развивался медленно во многом из-за большого разнообразия национальных образовательных систем и крайне неравномерного развития стран. Тем не менее технологии проникают даже на небольшие локальные рынки. Европейский EdTech Alliance выпустил отчет о роли государств во внедрении edtech-технологий и развитии экосистем. Пересказываем обзор по некоторым европейским государствам.

Аналитика02 Май 2024

Soft skills для детей, модель по подписке и разработка в B2G: новички рейтинга edtechs

Аналитическое агентство Smart Ranking регулярно расширяет рейтинг крупнейших edtech-компаний России. Знакомим вас с проектами, которые добавили в топ за I квартал 2024 года, и рассказываем об их драйверах роста.

Аналитика02 Май 2024

Edtech-рынок в начале 2024 года вырос на 22,5%, до 33 млрд рублей

Агентство Smart Ranking обновило Рейтинг крупнейших компаний на edtech-рынке России по итогам I квартала 2024 года. Общая динамика вернулась к показателям начала 2023 года и составила +22,5% (Y2Y). Лидером роста стала разработка образовательного ПО, прибавив больше 70%. Впервые за долгое время фактически сравнялась динамика двух основных сегментов — ДПО и детского образования.

Аналитика26 Апрель 2024

Рынок хоумскулинга вырос на 70%

Суммарная выручка рынка дистанционного образования школьников увеличилась на 70% в 2023 году по сравнению с годом ранее и составила почти 5 млрд рублей. Большая часть выручки приходится на трех ключевых игроков: «Фоксфорд», «ИнтернетУрок» и «Онлайн-школу №1». Smart Ranking пообщался с компаниями сегмента и узнал перспективы рынка, его тренды, драйверы и барьеры.

Аналитика25 Апрель 2024

Корпобучение привлекает инвесторов. Softline вложится в edtech-стартапы по обучению сотрудников

Академия Softline в партнерстве с Softline Venture Partners запустила инвестиционную программу: небольшие edtech-компании и стартапы получат миллиард рублей на развитие своих проектов. Преимущество будет на стороне тех компаний, которые ориентируются на B2B, — Академия Softline включит их решения в свой портфель. Так, сегмент корпоративного обучения может стать самой привлекательной нишей для инвесторов в 2024 году.

Аналитика24 Апрель 2024

Все статьи ->
«Ключевая проблема AI — он не может заставлять учиться» и другие мысли Андрея Анищенко
«Ключевая проблема AI — он не может заставлять учиться» и другие мысли Андрея Анищенко

Живущий в Лондоне один из видных edtech-экспертов, сооснователь Skillbox Андрей Анищенко дал двухчасовое интервью Елизавете Осетинской. Кратко пересказываем его основные мысли о мировом рынке онлайн-образования и личном опыте развития онлайн-школы EBAC в Бразилии.

Интервью10 Июнь 2024
Топ растущих edtech-компаний по итогам I квартала 2024 года
Топ растущих edtech-компаний по итогам I квартала 2024 года

В I квартале 2024 года активный рост показали edtech-игроки из детского сегмента и образовательные платформы. Рассказываем, за счет чего развиваются быстрорастущие компании, и делимся фрагментом нового отчета от Smart Ranking.

Аналитика07 Июнь 2024
Алексей Корольков: В нынешних условиях сохранять кадры — это значит сохранять миллиарды
Алексей Корольков: В нынешних условиях сохранять кадры — это значит сохранять миллиарды

Разработчики и платформы демонстрируют самый высокий рост среди всех сегментов edtech. Одна из причин — уход зарубежных вендоров. О том, как будет расти конкуренция, какие возможности открывает кадровый голод и спрос на какие инструменты будет расти активнее всего, в интервью SmR рассказал CEO Websoft Алексей Корольков.

Интервью05 Июнь 2024
Трафик — главная боль рынка. Посещаемость сайтов edtech-игроков упала на 20%
Трафик — главная боль рынка. Посещаемость сайтов edtech-игроков упала на 20%

Edtech-компаниям труднее привлекать клиентов: посещаемость сайтов падает, увеличивается стоимость лида. По оценке Smart Ranking, снижение трафика участников рынка в I квартале составило 20% по отношению к прошлому году. Компании сталкиваются с потерей каналов для продвижения и рекламными ограничениями со стороны государства. Рассказываем о том, что происходит с трафиком и как бороться с его снижением.

Аналитика23 Май 2024
На пути к единой системе: на какие метрики смотрят лидеры edtech-рынка
На пути к единой системе: на какие метрики смотрят лидеры edtech-рынка

Оценка качества онлайн-курсов — один из основных вопросов для edtech-рынка сегодня. Единых стандартов не существует: каждая школа выбирает метрики самостоятельно. Агентство Smart Ranking совместно с мессенджером «Пачка» провело исследование и опросило игроков edtech-рынка, чтобы узнать, какие показатели они измеряют и как потом используют полученные данные. Оказалось, что компании детского сегмента считают самым значимым LTV (Lifetime Value), а взрослого — индекс удовлетворенности клиента.

Аналитика16 Май 2024
Единорог от младшего Блэра, бумажные журналы в румынских школах и стартапы Латвии: особенности европейского edtech
Единорог от младшего Блэра, бумажные журналы в румынских школах и стартапы Латвии: особенности европейского edtech

Edtech-рынок Европы развивался медленно во многом из-за большого разнообразия национальных образовательных систем и крайне неравномерного развития стран. Тем не менее технологии проникают даже на небольшие локальные рынки. Европейский EdTech Alliance выпустил отчет о роли государств во внедрении edtech-технологий и развитии экосистем. Пересказываем обзор по некоторым европейским государствам.

Аналитика02 Май 2024
Soft skills для детей, модель по подписке и разработка в B2G: новички рейтинга edtechs
Soft skills для детей, модель по подписке и разработка в B2G: новички рейтинга edtechs

Аналитическое агентство Smart Ranking регулярно расширяет рейтинг крупнейших edtech-компаний России. Знакомим вас с проектами, которые добавили в топ за I квартал 2024 года, и рассказываем об их драйверах роста.

Аналитика02 Май 2024
Edtech-рынок в начале 2024 года вырос на 22,5%, до 33 млрд рублей
Edtech-рынок в начале 2024 года вырос на 22,5%, до 33 млрд рублей

Агентство Smart Ranking обновило Рейтинг крупнейших компаний на edtech-рынке России по итогам I квартала 2024 года. Общая динамика вернулась к показателям начала 2023 года и составила +22,5% (Y2Y). Лидером роста стала разработка образовательного ПО, прибавив больше 70%. Впервые за долгое время фактически сравнялась динамика двух основных сегментов — ДПО и детского образования.

Аналитика26 Апрель 2024
Рынок хоумскулинга вырос на 70%
Рынок хоумскулинга вырос на 70%

Суммарная выручка рынка дистанционного образования школьников увеличилась на 70% в 2023 году по сравнению с годом ранее и составила почти 5 млрд рублей. Большая часть выручки приходится на трех ключевых игроков: «Фоксфорд», «ИнтернетУрок» и «Онлайн-школу №1». Smart Ranking пообщался с компаниями сегмента и узнал перспективы рынка, его тренды, драйверы и барьеры.

Аналитика25 Апрель 2024
Корпобучение привлекает инвесторов. Softline вложится в edtech-стартапы по обучению сотрудников
Корпобучение привлекает инвесторов. Softline вложится в edtech-стартапы по обучению сотрудников

Академия Softline в партнерстве с Softline Venture Partners запустила инвестиционную программу: небольшие edtech-компании и стартапы получат миллиард рублей на развитие своих проектов. Преимущество будет на стороне тех компаний, которые ориентируются на B2B, — Академия Softline включит их решения в свой портфель. Так, сегмент корпоративного обучения может стать самой привлекательной нишей для инвесторов в 2024 году.

Аналитика24 Апрель 2024

Партнеры проекта

Информационные партнеры
Участники рейтинга, онлайн-школы и платформы
Сервисы для edtech-рынка