Образовательные проекты собирают множество данных, чтобы оценить качество своих курсов: посещаемость, активность студентов, отзывы, результаты экзаменов. Однако исследование «М-Чекап» Дмитрия Аббакумова показало: не все edtech-проекты используют эти данные эффективно. Компании часто полагаются на субъективные метрики, не проверяют достоверность данных и не привлекают специальных сотрудников для их анализа.
Что такое «М-Чекап»
«М-Чекап» — некоммерческий проект, который помогает российским образовательным компаниям эффективнее работать с данными и повышать качество продуктов.
Разработал «М-Чекап» Дмитрий Аббакумов, доктор наук об образовании и автор книги «Психометрика в EdTech: первые шаги».
В рамках исследования он предложил edtech-компаниям пройти опрос, чтобы выяснить:
-
Какие данные о студентах собирают образовательные проекты и как проверяют их достоверность.
-
Какие метрики они используют для оценки качества обучения.
-
Какие специалисты работают с данными и какими компетенциями они обладают.
В исследовании участвовали 47 образовательных проектов из разных сегментов: дополнительное профессиональное образование, детское обучение, подготовка к экзаменам, высшее и среднее образование.
Как оценивали результаты
Дмитрий сравнил ответы школ с международными бенчмарками — стандартами работы с данными и метриками, принятыми в мировом EdTech. Они основаны на научных исследованиях из ключевых журналов (Computers in Education и др.), рекомендациях профильных сообществ (Society for Learning Analytics Research) и опыте зарубежных компаний.
Бенчмарки делятся на два уровня:
-
Достаточный — необходимый минимум для контроля качества;
-
Перспективный — продвинутый уровень для устойчивого развития, тестирования новых гипотез и более глубоких и продуманных решений.
Ключевые выводы исследования
Данные: что собирают школы
Бенчмарки. В рамках «М-Чекапа» у образовательных проектов спросили, какие данные о процессе обучения они собирают. По международным бенчмаркам, на базовом уровне школы должны фиксировать начало и завершение взаимодействия с учебным контентом. На продвинутом — регистрировать более сложные характеристики: сколько времени студент тратит на урок, делает ли паузы, возвращается ли к сложным темам.
Такие данные важно собирать: они помогают понять, как студент осваивает материал, и предсказать его успеваемость. Например, можно заранее выявить студентов, которым нужна поддержка, и вовремя предложить помощь.
Результат. Оказалось, что 11 проектов из 47 не фиксируют процессные данные вовсе: они не отслеживают, просмотрел ли студент урок и взаимодействовал ли он с ним. Детальную активность отслеживают 8 проектов из 47. При этом не все проверяют качество собранных данных. Это значит, что цифры могут быть неточными и вводить в заблуждение при интерпретации.
Рекомендации. Внедрить международные стандарты логирования данных (записи действий пользователей в системе), например, xAPI, — это позволит проверить достоверность собранных данных.
Метрики: субъективные vs объективные
Бенчмарки. В международной практике основной упор при оценке качества делается на объективные показатели: метрики активности (например, CRR, COR) и психометрические показатели (результаты экзаменов, прогресс студентов).
Результат. В основном российские онлайн-школы опираются на обратную связь от студентов и используют такие метрики, как CSI и NPS — 37 ответов из 47. Так, выходит, что онлайн-школы в качестве главного инструмента оценки используют субъективный показатель. NPS и CSI показывают лишь отношение студентов к курсу, но не говорят о том, насколько он действительно полезен. К примеру, студенты могут быть довольны легкостью курса, но не получить реальных знаний.
Рекомендации. Использовать сочетание поведенческих и психометрических данных.
Кадры: нехватка психометриков
Бенчмарки. Международная практика предполагает, что в школе работает специалист, отвечающий за работу с образовательными данными и разработку инструментов оценивания. Это может быть:
-
Аналитик образовательных данных — собирает и интерпретирует данные о студентах.
-
Data scientist — строит прогнозные модели, анализирует поведение пользователей.
-
Психометрик — разрабатывает и валидирует инструменты оценки знаний, проверяет их надежность.
Для базового уровня достаточно аналитика. Для перспективного развития необходимы data scientist и психометрик.
Результат. В 24 проектах нет специалистов по работе с образовательными данными. В 25 проектах с образовательными данными работает аналитик — и это соответствует базовой международной бенчмарке. В 4 проектах работают data scientist и в 5 — психометрик — это соответствует перспективной международной бенчмарке. Таким образом, обеспечение хотя бы аналитика для работы с образовательными данными стоит усилить.
Рекомендации. Для работы с кадрами есть много стратегий. Вот некоторые из них:
-
Подготовить штатного психометрика — для этого его можно обучить, например, в магистратуре «Образование и оценивание как наука» НИУ ВШЭ.
-
Прокачать экспертизу имеющегося аналитика: в этом поможет книга «Психометрика в EdTech: первые шаги».
Выводы
Итак, российские образовательные проекты активно используют данные, но в основном на базовом уровне. Половина участников не проверяет достоверность собираемых данных, а главными метриками качества остаются субъективные показатели (NPS, CSI). Нехватка специалистов и компетенций по образовательным данным и психометрике ограничивают развитие аналитики. Чтобы изменить ситуацию, компаниям рекомендуется внедрить международные стандарты сбора, проверки и анализа данных.
Если вам интересно узнать, как ваш образовательный проект соотносится с международными бенчмарками в области аналитической и психометрической культуры, — участвуйте в третьей волне «М-Чекапа». Заполнить анкету нужно до 27 марта.
