ОПЫТ ОРГАНИЗАЦИИ ВИУТРИВУЗОВСКОЙ ОЦЕНКИ КАЧЕСТВА ЗНАНИЙ С ИСПОЛЬЗОВАНИЕМ ИНСТРУМЕНТОВ E-LENING

 

В данной статье предполагается осветить опыт работы Вятского социально-экономического института (ВСЭИ) по организации внутривузовской оценки качества знаний с использованием инструментов e-leaning.

В начале 2005 года педагогическим коллективом ВСЭИ была вынесена на обсуждение Ученого Совета и принята за основу всей последующей работы новая концепция внутривузовской оценки качества знаний.

Принципиальной новизной модели разработанной во ВСЭИ, явилось полное отделение процесса обучения от оценки качества знаний учащихся.

Не секрет, что за предыдущие десятилетия во многих вузах, сложилась практика, когда тот же самый преподаватель, который в течение семестра ведет у студентов занятия, впоследствии принимает у них зачет или экзамен. Порочность этой практики оценки качества знаний сложившейся в России очевидна. Перечислим лишь ряд моментов, характеризующих ее с отрицательной стороны:

1)  субъективизм преподавателя в оценке уровня знаний студентов;

2)  субъективное отношение преподавателя к личности студента, сложившееся у него за время общения во время проведения занятий;

3)  большая дифференциация в качестве освоения дидактических единиц курса учащимися, вследствие субъективного представления преподавателя о том какая информация в изучаемом курсе является наиболее важной, а какая нет;

4)  личные научные интересы преподавателя и его компетенция оказывают влияние на глубину и широту изучаемого курса;

5)  потенциальная возможность для коррупционных действий;

6) возможность применения морального давления или угроз физической расправы с преподавателем, которые могут осуществляться со стороны учащихся.

Чтобы избежать проблемы преподавательского субъективизма крупные вузы, где, как правило, работают несколько преподавателей ведущих одну и ту же дисциплину, иногда пытаются проводить аттестационные мероприятия не теми преподавателями, что вели у студентов занятия. Однако говорить о том, что это существенно влияет на объективность и тем более на полноту оценки знаний - затруднительно. Субъективизм в оценке уровня знаний студента сохраняется. «Пятерка» полученная студентом юридического факультета МГУ и студентом юридического факультета какого-нибудь провинциального вуза вовсе не будут свидетельствовать об одинаковом уровне знаний этих студентов. Требования к уровню знаний различаются не только в каждом вузе, но даже у разных преподавателей одного вуза. Влияние человеческого фактора неизбежно.

Проблема дифференциации качества освоения дидактических единиц курса учащимися, так же не решается. Даже если стороннему экзаменатору и удастся понять, какие знания у всех учащихся в группе являются поверхностными, т.е. вследствие субъективного представления преподавателя, осуществлявшего процесс обучения, о том какая информация в изучаемом курсе является наиболее важной - это не означает, что будут приняты некие меры по устранению имеющегося системного недостатка. Во-первых, экзаменатору может быть совершенно безразлично, что существует системный «пробел в знаниях». Во-вторых, экзаменатор, может счесть, что вскрытие этого недостатка может испортить его личные отношения с преподавателем, который вел занятия. В-третьих, такое отношение к роли тех или иных дидактических единиц курса может являться следствием точки зрения некоей «научной школы» данного вуза, а экзаменатор и преподаватель могут придерживаться единой точки зрения, по данному вопросу и т.п.

Возможность дачи или вымогательства взятки в случае, когда экзаменатором является не тот преподаватель, который преподавал дисциплину, так же присутствует. Так же как и фактор угроз и давления на экзаменатора.

Преодолевается лишь проблема субъективного отношения к личности студента и то отчасти, поскольку то или иное отношение к человеку возникает уже в момент их первой встречи. Например, неприятие стиля одежды экзаменуемого, или его манеры держаться, говорить, сам тембр голоса, может оказывать (и как показывает практика - оказывает!) определенное влияние на экзаменатора и ту оценку, которой оценивается качество знаний учащегося. Студенты прекрасно знают об этом эффекте и непременно им пользуются, приходя к одним экзаменаторам в строгих деловых костюмах и очках при минимуме макияжа, а к другим в мини-юбках и глубоко декольтированных или просвечивающих блузах.

Регулярно сталкиваясь с перечисленными выше проблемами и желая найти такой механизм, который был бы способен их решить полностью или по большей части, руководство Вятского социально-экономического института приняло решение о внедрении концепции полного отделения процесса преподавания от оценки качества знаний учащихся.

Предложение осуществлять контроль качества знаний, привлекая преподавателей других вузов, было сразу отклонено, поскольку оно не решало проблемы субъективизма и «человеческого фактора». Однако к этому времени при Федеральной службе по надзору в сфере образования, появились две структуры, призванные осуществлять внешний контроль над качеством образования в вузах. Это Независимый Центр тестирования качества обучения (АСТ-центр) и Национальное аккредитационное агентство в сфере образования, которое реализовало идею проведения Федерального Интернет-экзамена. Собственно это и есть идея независимой оценки качества обучения в вузах со стороны федерального центра в лице Рособрнадзора. В обоих случаях в качестве педагогических измерительных материалов использовались тестовые задания, получаемые вузами дистанционно в электронной форме через Интернет.

Как известно сегодня педагогическое сообщество в России очень неоднозначно относится к возможности широкого использования тестовых измерительных материалов для оценки качества знаний учащихся. Такое настороженное отношение к тестам, поначалу было и у сотрудников ВСЭИ. Поэтому, имея опыт по широкому внедрению тестирования в повседневную вузовскую практику, мы остановимся на нем более подробно и попытаемся дать предельно взвешенную оценку использования тестовой системе оценки знаний.

Сотрудниками вуза были внимательно изучены обе тестовые системы указанные выше, но в связи с большей доступностью в качестве базовой среды, была выбрана система ACT[36]. Ряд сотрудников вуза прошли обучение по работе в этой системе.

АСТ-система обеспечивает объективность, надежность, технологичность, массовость контроля качества знаний студентов. Она может использоваться как для самостоятельного контроля студентами своего уровня знаний и умений, так и для текущих и промежуточных проверок уровня знаний студентов (экзамены и зачеты). Преимущества данной системы в том, что результат оценивается мгновенно, автоматически фиксируется, сохраняется длительное время, отсутствуют бумажные носители теста и листы ответов, можно оценить как общий уровень знаний студента по дисциплине, так и по ее дидактическим единицам (разделам, темам), время тестирования может быть жестко заданным.

Проведенные во ВСЭИ пробные проверки уровня знаний студентов с помощью собственных тестов в среде системы ACT, привели к выводу о том, что тестирование дает результаты ничуть не хуже чем устные или письменные срезы знаний. По мнению ряда экспертов, применение тестирования для оценки качества знаний, способно давать даже лучшие результаты, чем устные экзамены. Главное условие для этого - наличие большой тестовой базы и грамотно составленных тестовых заданий. Основное же заключалось в том, что только разработанная система тестов позволяет отделить процесс оценки качества знаний учащихся от личности преподавателя и его взаимоотношений с экзаменуемым.

Для того чтобы максимизировать объективность оценки качества знаний учащихся, во ВСЭИ создан отдел качества знаний, являющийся независимым от других учебных подразделений и подчиняющийся напрямую проректору по учебной работе. Именно в отделе качества знаний проводится обработка данных всех тестируемых и принимается решение об оценке, которая затем вносится в экзаменационные ведомости и зачетные книжки студента. Для проведения внутривузовской оценки качества знаний выделены 3 компьютерных класса. Для предварительного тренировочного тестирования используются демоверсии экзаменационных тестов, доступ к которым имеется во всех компьютерных классах и в медиатеке вуза.

Преподаватель постепенно был отстранен от оценки знаний учащихся и перестал иметь возможность оказывать влияние на итоговую оценку[37]. Однако преподаватель наделен правом допуска учащегося к экзамену или зачету. Он самостоятельно принимает решение о том, готов ли студент для прохождения независимой аттестации знаний. После того как преподаватель подписал учащемуся допуск до сдачи экзамена или зачета, то уже не только студент, но и он сам несет полную ответственность за результаты, полученные учащимся при аттестации его знаний.

Такой подход дает возможность не только провести независимую оценку знаний учащихся, но и осуществлять постоянный контроль над уровнем преподавания, повышать ответственность каждого преподавателя вуза за результаты своей деятельности. Если процент учащихся, не допущенных к экзаменационным мероприятиям, превышает установленный порог, администрация кафедры или вуза, также делает определенные выводы и принимает соответствующие организационные меры к таким преподавателям.

В условиях регулярного и независимого контроля над результатами педагогической деятельности, преподаватели начинают по иному относиться к проведению своих занятий, предъявляют повышенные требования к учащимся и проявляют большую активность в проведении промежуточных контрольных мероприятий. Преподаватель не предоставлен самому себе и не имеет право на волюнтаристский подход к преподаванию своего предмета. В этой ситуации преподаватель и студент более не являются антагонистами, но напротив, заинтересованы друг в друге.

Приведем ряд как положительных, так и отрицательных аспектов, выделенных нами в процессе использования внутривузовской системы оценки качества знаний с использованием тестовых измерительных материалов.

Положительные аспекты.

1)  Существенная экономия времени, т.к. за 1 астрономический час, в течение которого обычно продолжается тестирование, один тестолог может оценить знания группы из 20-25 учащихся. Одновременно экзамен могут сдавать столько групп, сколько компьютерных классов и компьютеров в них имеют доступ к тестовой базе. В режиме «обычного» экзамена на проверку знаний учащихся обычно уходит от 6 до 10 астрономических часов на группу.

2)  Экономия на использовании учебных площадей, поскольку в одном специально оборудованном классе за один рабочий день экзаменационное тестирование могут пройти до 8 групп учащихся, для чего в обычном режиме потребовалось бы 8 учебных аудиторий.

3)  Экономия на оплате труда высококвалифицированных (и, следовательно, высокооплачиваемых) преподавателей - доцентов или профессоров, поскольку оценка знаний экзаменующемуся выставляется программой автоматически.

4)  Экзамены и зачеты могут приниматься дистанционно, например, у учащихся филиалов или в территориально удаленных учебных корпусах, что не требует дополнительных финансовых и временных расходов по проезду преподавателей.

5)  Тестовая система позволяет провести срезы «остаточных» знаний студентов в любое время, так же без привлечения преподавателей и оценить эффективность обучения с точки зрения его фундаментальности.

6)  Исчезает возможность для проявления любых форм коррупции, давления или угроз во взаимоотношениях между преподавателем и студентом.

7)  Повышается ответственность самого учащегося и его усилий над овладением новых знаний.

8)  Существенно снижается фактор преподавательского волюнтаризма и личных научных пристрастий преподавателя.

 

9)  Тестовая система позволяет администрации вуза оперативно контролировать прохождение учебного процесса и повышает ответственность преподавателей за результаты своей деятельности.

10)  Делается бесполезным использование учащимися «шпаргалок» или устройств дистанционной радиосвязи во время сдачи экзамена, поскольку их эффективность снижается в разы.

11)  Тестовая система позволяет оценить полноту имеющихся у учащегося знаний (а не их «отрывочность» при схеме устного ответа по билетам - «повезло - не повезло»),

12)  У учащихся появляется дополнительный стимул усваивать учебный материал точно, знания детализируются.

13)  Стимулируется самообразование учащихся, повышается роль их самостоятельности в обучении.

14)  Актуализируется процесс обучения и восприятия знаний.

15)  Тренируются основные познавательные психические процессы учащихся, такие как внимание, память, мышление.

16)  Стимулируется чтение базовой учебной литературы.

17)  Снижается эмоциональная напряженность, экзаменуемый испытывает меньший стресс, чем при устном ответе.

Отрицательные аспекты (без учета того, что многие из них могут быть компенсированы по-другому, в частности за счет совершенствования самих тестов).

1)  Студент не имеет возможности на экзамене излагать свои мысли развернуто, законченными фразами.

2)  Тестовая система проверки знаний не стимулирует учащегося мыслить комплексно, связывать различные аспекты усвоенных знаний.

3)  Тестовая система плохо систематизирует знания и не стимулирует отделять главное от второстепенного.

4)  Пассивность проверки знаний, у учащихся отсутствует возможность творческого подхода к изложению усвоенного материала.

5)  Отсутствует обратная связь с преподавателем.

6)  Имеется техническая возможность переписывания правильных ответов и распространения их в студенческой среде. Потенциальная угроза «взлома» базы тестов.

7)  Потенциально возможно несанкционированное распространение тестовой базы недобросовестными сотрудниками соответствующего отдела вуза.

8)  Имеется потенциальная возможность дачи взятки тестологу для изменения результатов теста или для «подмены» личности тестируемого во время проведения экзамена.

9)  Тесты не исключают неправильную информацию, то есть, возможны фактологические ошибки.

10)  Есть возможность допуска испытуемым случайных ошибок или ошибок по невнимательности, которые снизят его показатели качества знаний, даже если он впоследствии вспомнил о них.

11)  Имеющийся опыт в прохождении тестов дает экзаменующемуся больше шансов на успех, чем экзаменующемуся без подобного опыта, при одинаковом в реальности уровне знаний.

12)  Успешное прохождение тестов не свидетельствует об уровне практических навыков и умений учащегося (но об этом могут свидетельствовать специальные тренажеры-симуляторы).

13)  Результаты выполнения тестов зависят от многих побочных факторов (самочувствие, мотивация на результат и т.д.).

14)  Ограничение во времени, присущая большинству тестов, вызывает нервозность и не позволяет некоторым учащимся сконцентрироваться на правильном ответе, даже если они его знают.

В настоящее время ВСЭИ продолжает развивать и совершенствовать систему внутренней оценки качества знаний на основе компьютерного тестирования. На тестирование в первую очередь выносятся дисциплины федерального компонента 1, 2, 3 циклов учебных планов (ГСЭ, ЕН, ОПД) высшего профессионального образования. Тестовая база разработана более чем по 120 дисциплинам, прежде всего федерального компонента ГОС и продолжает наращиваться.

Важное место в оценке качества знаний играет правильная настройка пороговых значений, т.е. тех «критических» баллов при наборе (или не наборе) которых выставляется та или иная оценка.

Проблема пороговых значений связана, прежде всего, с существующей до настоящего времени в России пятибалльной шкалой оценки качества знаний учащихся. Большая часть педагогов прекрасно понимают, что эта шкала не может учесть всех вариаций, которые встречаются при проведении экзаменов в реальной жизни. Нередки случаи, когда один и тот же балл (предположим «удовлетворительно» или «три») получает тот учащийся, который чуть-чуть не дотянул до «четверки» и учащийся едва знающий предмет выше «двойки». Стобальная шкала, применяемая в компьютерном тестировании, максимально учитывает подлинный уровень знаний и позволяет составлять объективный рейтинг успешности учащихся по той или иной дисциплине. Однако пока вуз вынужден переводить результаты тестов в прежнюю пятибалльную шкалу.

Другая проблема, с которой сталкиваются те, кто внедряют тестовые системы - это сопоставимость пороговых значений тестов разработанных по различным дисциплинам. В практике использования тестов часто приходится сталкиваться с тем, что для разных тестов приводятся различные пороговые значения (не говоря уж о проблеме «настройки» самих этих порогов). Вследствие этого невозможно сопоставить результаты различных тестов и, допустим, составить рейтинг качества знаний учащихся, включающий в себя все изученные ими предметы.

Однако все указанные проблемы носят не системный характер и вполне устранимы в ходе дальнейшего совершенствования внутривузовских систем оценки качества знаний с использованием компьютерных тестов. Главное, как уже подчеркивалось, эта система позволяет отделить процесс обучения от процесса контроля качества знаний и дает администрации учебных заведений реальные управленческие инструменты контроля и управления обоими этими процессами.

Автор:

Сизов Владимир Сергеевич, ректор Вятского социально-экономического института, доктор экономических наук, профессор.

Адрес:

610002, Россия, г.Киров, ул. Большевиков 91.

Тел/факс +7 8332 67 02 35 E-mail: rector@vsei.ru