Проблема
Ежегодно Корпоративный университет гидроэнергетики «РусГидро» проводит отраслевую олимпиаду по физике для школьников 7-11 классов «Энергия образования». Призеры и финалисты этого испытания автоматически проходят в финал всероссийской олимпиады по физике «Надежда энергетики».В олимпиаде «Энергия образования» принимают участие от 100 до 700 человек. До учебного года 2017/2018 задания олимпиады рассылались по почте, а на проверку результатов уходило 2-3 месяца вне зависимости от количества участников. Чтобы сократить время проверки работ, сотрудники Корпоративного университета гидроэнергетики решили применить онлайн формат испытания, а задания представить в тестовой форме. Оргкомитет «Надежды энергетики», который определяет и регламент «Энергии образования», потребовал применить также процедуру контроля, чтобы подтвердить достоверность результатов такого онлайн теста.
Решение
Компания «ProctorEdu» предложила Корпоративному университету гидроэнергетики подключить прокторинг. В декабре 2018 года олимпиада впервые прошла в форме онлайн теста, и в ней приняло участие 100 человек. Проверка результатов тестирования заняла одну неделю.Татьяна Глушкова, ведущий эксперт Центра программ ранней профессионализации Корпоративного университета гидроэнергетики, подробно рассказала о причинах смены формата олимпиады и о том, каких результатов удалось достичь благодаря онлайн тесту с прокторингом.
— Почему возникла необходимость в прокторинге как в процессе контроля онлайн олимпиады?
— Чтобы сократить время проверки работ, мы хотели перейти с варианта письменного экзамена с задачами на формат онлайн теста. Но реализация олимпиады возможна благодаря тому, что у нас есть соглашение о сотрудничестве с оргкомитетом «Надежды энергетики», и принимать самостоятельное решение о том, что мы хотим так и только так, без их экспертного согласия, мы просто не можем.
И в связи с этим, когда возник вопрос, в какой форме делать олимпиаду, было озвучено требование от наших коллег о том, что, если мы упрощаем уровень задач, переводим их в тестовую форму, то мы тогда должны понимать, кто решает задания, школьник с учителем, пять школьников или все-таки это сам ребенок. Потому что следующий этап, если школьник проходит дальше во всероссийскую олимпиаду, будет очный, в любом случае.
— Как проходило применение системы прокторинга?
— Пробный запуск интегрированной системы онлайн тестирования и прокторинга был в сентябре, мы запускали такой формат с ребятами из разных городов. Около 50 школьников прошли пробный тур, для него разрабатывались отдельные задания, которые точно также прошли экспертную оценку в оргкомитете олимпиады «Надежда энергетики», чтобы они котировались.
Ссылка генерировалась индивидуально для каждого школьника, они заходили в систему прокторинга, и там уже была сразу встроена система тестирования.
— На какой платформе проходило пробное испытание?
— Испытание проходило на интегрированных платформах ProctorEdu и StartExam. Когда участник олимпиады находился внутри системы, он одновременно был сразу на двух платформах, на каждой из платформ оценивалась разная сторона выполнения тестирования. На платформе ProctorEdu в процентах определялось соответствие требованиям достоверности, в StartExam – правильность решения задач в баллах.
Результат олимпиады – сумма баллов от StartExam и экспертов Московского энергетического института (МЭИ), прокторинг мог при несоблюдении требований привести к отклонению балльных результатов. Важно отметить, что школьник при ответе на тестовые вопросы должен был не выбрать один из четырех вариантов, а решить задачи и в качестве ответа ввести численное значение.
Это было пробное испытание, а в январе у нас уже прошла сама олимпиада, технически все проходило по такой же схеме.
— Сколько человек приняло участие в олимпиаде?
— В олимпиаде приняло участие порядка 100 человек.
— Какой был процент тех, кто отсеялся из-за того, что их результаты по достоверности были недостаточны для вас?
— Результаты подводили в параллелях: седьмой – одиннадцатый классы. Мы не наблюдали более четырех нарушений в каждой из параллели, где-то их вообще не было. Мы выставили шкалу, и если оценка доверия была ниже 50%, то эти участники отклонялись.
— Как вы в целом оцениваете новый формат тестирования?
— Первым преимуществом онлайн тестирования с прокторингом является то, что мы гарантировано видим, что школьник решает задачу сам. Первый плюс.
Второй плюс - это, конечно, в обработке результатов, их проверке. Если в этом году у нас там было 100 с небольшим участников, то когда мы говорим о большем количестве участников, то, конечно, если просматривать все это очно, это достаточно продолжительное время. В этом плане большое преимущество, что такой онлайн формат сокращает время проверки.
Кроме того, благодаря онлайн тесту возникает меньше вопросов по результатам. В этом году у нас не было ни одной апелляции, поскольку сложно спорить с тем, что ввели не то число.
— Сколько времени заняла обработка результатов олимпиады, которая прошла в форме онлайн теста?
— Количество участников из года в год меняется, как правило, принимает участие от 200 до 700 человек. Но время, выделяемое на проверку работ, остается таким же. Если в олимпиаде принимает большее количество участников, Московский энергетический институт, который отвечает за проверку результатов, видимо, выделяет под эту задачу больше экспертов.
В предыдущие года для экспертов был установлен срок в 2-3 месяца, обычно они за этот период и выполняли проверку. В этом году мы установили для них срок в месяц, а они справились за неделю.
