Результаты «М-Чекапа»: edtech-проектам есть куда расти в работе с образовательными данными

Образовательные проекты собирают множество данных, чтобы оценить качество своих курсов: посещаемость, активность студентов, отзывы, результаты экзаменов. Однако исследование «М-Чекап» Дмитрия Аббакумова показало: не все edtech-проекты используют эти данные эффективно. Компании часто полагаются на субъективные метрики, не проверяют достоверность данных и не привлекают специальных сотрудников для их анализа.

Что такое «М-Чекап»

«М-Чекап» — некоммерческий проект, который помогает российским образовательным компаниям эффективнее работать с данными и повышать качество продуктов. 

Разработал «М-Чекап» Дмитрий Аббакумов, доктор наук об образовании и автор книги «Психометрика в EdTech: первые шаги».

В рамках исследования он предложил edtech-компаниям пройти опрос, чтобы выяснить: 

• Какие данные о студентах собирают образовательные проекты и как проверяют их достоверность.

• Какие метрики они используют для оценки качества обучения.

• Какие специалисты работают с данными и какими компетенциями они обладают.

В исследовании участвовали 47 образовательных проектов из разных сегментов: дополнительное профессиональное образование, детское обучение, подготовка к экзаменам, высшее и среднее образование. 

Как оценивали результаты 

Дмитрий сравнил ответы школ с международными бенчмарками — стандартами работы с данными и метриками, принятыми в мировом EdTech. Они основаны на научных исследованиях из ключевых журналов (Computers in Education и др.), рекомендациях профильных сообществ (Society for Learning Analytics Research) и опыте зарубежных компаний.

Бенчмарки делятся на два уровня: 

• Достаточный — необходимый минимум для контроля качества;

• Перспективный — продвинутый уровень для устойчивого развития, тестирования новых гипотез и более глубоких и продуманных решений. 

Ключевые выводы исследования

Данные: что собирают школы

Бенчмарки. В рамках «М-Чекапа» у образовательных проектов спросили, какие данные о процессе обучения они собирают. По международным бенчмаркам, на базовом уровне школы должны фиксировать начало и завершение взаимодействия с учебным контентом. На продвинутом — регистрировать более сложные характеристики: сколько времени студент тратит на урок, делает ли паузы, возвращается ли к сложным темам.

Такие данные важно собирать: они помогают понять, как студент осваивает материал, и предсказать его успеваемость. Например, можно заранее выявить студентов, которым нужна поддержка, и вовремя предложить помощь.

Результат. Оказалось, что 11 проектов из 47 не фиксируют процессные данные вовсе: они не отслеживают, просмотрел ли студент урок и взаимодействовал ли он с ним. Детальную активность отслеживают 8 проектов из 47. При этом не все проверяют качество собранных данных. Это значит, что цифры могут быть неточными и вводить в заблуждение при интерпретации. 

Рекомендации. Внедрить международные стандарты логирования данных (записи действий пользователей в системе), например, xAPI, — это позволит проверить достоверность собранных данных.

Метрики: субъективные vs объективные

Бенчмарки. В международной практике основной упор при оценке качества делается на объективные показатели: метрики активности (например, CRR, COR) и психометрические показатели (результаты экзаменов, прогресс студентов). 

Результат. В основном российские онлайн-школы опираются на обратную связь от студентов и используют такие метрики, как CSI и NPS — 37 ответов из 47. Так, выходит, что онлайн-школы в качестве главного инструмента оценки используют субъективный показатель. NPS и CSI показывают лишь отношение студентов к курсу, но не говорят о том, насколько он действительно полезен. К примеру, студенты могут быть довольны легкостью курса, но не получить реальных знаний. 

Рекомендации. Использовать сочетание поведенческих и психометрических данных.

Кадры: нехватка психометриков 

Бенчмарки. Международная практика предполагает, что в школе работает специалист, отвечающий за работу с образовательными данными и разработку инструментов оценивания. Это может быть:

• Аналитик образовательных данных — собирает и интерпретирует данные о студентах.

• Data scientist — строит прогнозные модели, анализирует поведение пользователей.

• Психометрик — разрабатывает и валидирует инструменты оценки знаний, проверяет их надежность.

Для базового уровня достаточно аналитика. Для перспективного развития необходимы data scientist и психометрик.

Результат. В 24 проектах нет специалистов по работе с образовательными данными. В 25 проектах с образовательными данными работает аналитик — и это соответствует базовой международной бенчмарке. В 4 проектах работают data scientist и в 5 — психометрик — это соответствует перспективной международной бенчмарке. Таким образом, обеспечение хотя бы аналитика для работы с образовательными данными стоит усилить.

Рекомендации. Для работы с кадрами есть много стратегий. Вот некоторые из них: 

1. Подготовить штатного психометрика — для этого его можно обучить, например, в магистратуре «Образование и оценивание как наука» НИУ ВШЭ.

2. Прокачать экспертизу имеющегося аналитика: в этом поможет книга «Психометрика в EdTech: первые шаги». 

Выводы 

Итак, российские образовательные проекты активно используют данные, но в основном на базовом уровне. Половина участников не проверяет достоверность собираемых данных, а главными метриками качества остаются субъективные показатели (NPS, CSI). Нехватка специалистов и компетенций по образовательным данным и психометрике ограничивают развитие аналитики. Чтобы изменить ситуацию, компаниям рекомендуется внедрить международные стандарты сбора, проверки и анализа данных.

Если вам интересно узнать, как ваш образовательный проект соотносится с международными бенчмарками в области аналитической и психометрической культуры, — участвуйте в третьей волне «М-Чекапа». Заполнить анкету нужно до 27 марта.