Как ProctorEdu помог университету «РусГидро» сократить время на проверку работ с 2-3 месяцев до 1 недели

Решение

ProctorEdu предложил Корпоративному университету гидроэнергетики подключить прокторинг. В декабре 2018 года олимпиада впервые прошла в форме онлайн теста, и в ней приняло участие 100 человек

Результат

Проверка результатов тестирования заняла одну неделю
Татьяна Глушкова, ведущий эксперт Центра программ ранней профессионализации Корпоративного университета гидроэнергетики, подробно рассказала о причинах смены формата олимпиады и о том, каких результатов удалось достичь благодаря онлайн тесту с прокторингом.

- Почему возникла необходимость в прокторинге как в процессе контроля онлайн олимпиады ?

- Чтобы сократить время проверки работ, мы хотели перейти с варианта письменного экзамена с задачами на формат онлайн теста. Но реализация олимпиады возможна благодаря тому, что у нас есть соглашение о сотрудничестве с оргкомитетом «Надежды энергетики», и принимать самостоятельное решение о том, что мы хотим так и только так, без их экспертного согласия, мы просто не можем.

И в связи с этим, когда возник вопрос, в какой форме делать олимпиаду, было озвучено требование от наших коллег о том, что, если мы упрощаем уровень задач, переводим их в тестовую форму, то мы тогда должны понимать, кто решает задания, школьник с учителем, пять школьников или все-таки это сам ребенок. Потому что следующий этап, если школьник проходит дальше во всероссийскую олимпиаду, будет очный, в любом случае.

- Как проходило применение системы прокторинга?

- Пробный запуск интегрированной системы онлайн тестирования и прокторинга был в сентябре, мы запускали такой формат с ребятами из разных городов. Около 50 школьников прошли пробный тур, для него разрабатывались отдельные задания, которые точно также прошли экспертную оценку в оргкомитете олимпиады «Надежда энергетики», чтобы они котировались.

Ссылка генерировалась индивидуально для каждого школьника, они заходили в систему прокторинга, и там уже была сразу встроена система тестирования.

- На какой платформе проходило пробное испытание?

- Испытание проходило на интегрированных платформах ProctorEdu и StartExam. Когда участник олимпиады находился внутри системы, он одновременно был сразу на двух платформах, на каждой из платформ оценивалась разная сторона выполнения тестирования. На платформе ProctorEdu в процентах определялось соответствие требованиям достоверности, в StartExam – правильность решения задач в баллах.

Результат олимпиады – сумма баллов от StartExam и экспертов Московского энергетического института (МЭИ), прокторинг мог при несоблюдении требований привести к отклонению балльных результатов. Важно отметить, что школьник при ответе на тестовые вопросы должен был не выбрать один из четырех вариантов, а решить задачи и в качестве ответа ввести численное значение.

Это было пробное испытание, а в январе у нас уже прошла сама олимпиада, технически все проходило по такой же схеме.

- Сколько человек приняло участие в олимпиаде?

- В олимпиаде приняло участие порядка 100 человек.

- Какой был процент тех, кто отсеялся из-за того, что их результаты по достоверности были недостаточны для вас?

- Результаты подводили в параллелях: седьмой – одиннадцатый классы. Мы не наблюдали более четырех нарушений в каждой из параллели, где-то их вообще не было. Мы выставили шкалу, и если оценка доверия была ниже 50%, то эти участники отклонялись.

- Как вы в целом оцениваете новый формат тестирования?

- Первым преимуществом онлайн тестирования с прокторингом является то, что мы гарантировано видим, что школьник решает задачу сам. Первый плюс.

Второй плюс - это, конечно, в обработке результатов, их проверке. Если в этом году у нас там было 100 с небольшим участников, то когда мы говорим о большем количестве участников, то, конечно, если просматривать все это очно, это достаточно продолжительное время. В этом плане большое преимущество, что такой онлайн формат сокращает время проверки.

Кроме того, благодаря онлайн тесту возникает меньше вопросов по результатам. В этом году у нас не было ни одной апелляции, поскольку сложно спорить с тем, что ввели не то число.

- Сколько времени заняла обработка результатов олимпиады, которая прошла в форме онлайн теста?

- Количество участников из года в год меняется, как правило, принимает участие от 200 до 700 человек. Но время, выделяемое на проверку работ, остается таким же. Если в олимпиаде принимает большее количество участников, Московский энергетический институт, который отвечает за проверку результатов, видимо, выделяет под эту задачу больше экспертов.

В предыдущие года для экспертов был установлен срок в 2-3 месяца, обычно они за этот период и выполняли проверку. В этом году мы установили для них срок в месяц, а они справились за неделю.

С Татьяной беседовала Дарья Щербакова

15.05.2018