Министерство образования и науки Пензенской области

Государственное автономное образовательное учреждение

среднего профессионального образования Пензенской области

«Белинский многопрофильный колледж»

Научно-исследовательская работа

Внедрение инновационных форм контрольно-оценочных процедур

в процесс изучения дисциплин естественно-математического цикла

Выполнил:

Частухин Александр Вячеславович,

студент 5 курса

Специальность 050201 «Математика»

Научные руководители:

Резяпкина Светлана Геннадьевна

Суркова Марина Валерьевна

Белинский, 2012

СОДЕРЖАНИЕ

ВВЕДЕНИЕ        

ОСНОВНАЯ ЧАСТЬ        

1. Теоретические основы использования тестовых компьютерных систем в процессе обучения        

2. Технология проектирования компьютерных тестов        

3. Экспериментальная часть.        

ЗАКЛЮЧЕНИЕ        2

ЛИТЕРАТУРА        3

ПРИЛОЖЕНИЕ        4

ВВЕДЕНИЕ

Актуальность и инновационность темы исследования. В любой образовательной системе особое место занимает контроль – отслеживание усвоения знаний и мониторинг качества обучения. Внедрение новых образовательных и информационных технологий в учебный процесс усиливает потребность в автоматизированных системах, позволяющих объективно, быстро и надежно оценивать знания учащихся.

На сегодняшний день тестирование как одна из наиболее технологичных и объективных форм контроля повсеместно используется во многих странах мира, в области подготовки и сертификации специалистов, а также в системе мониторинга и оценки качества образования.

Контроль результатов обучения, предполагая определенную свободу в методах и средствах достижения, во главу угла ставит требование, чтобы в результате обучения студент обладал теми знаниями, умениями, навыками и иными качествами, которые востребованы обществом и которые соответствуют Государственному образовательному стандарту. Проблема контроля результатов обучения чрезвычайно сложна в силу ряда причин, в частности, отсутствия строгого определения структуры знаний, единиц измерения и сопоставимых эталонов. Классические формы контрольных мероприятий имеют ряд недостатков, из которых наиболее серьезными являются отсутствие единого стандарта, низкая степень надежности, связанная с возможной необъективностью и эффектами внешнего и психологического воздействия, выборочность контролируемого материала и низкая технологичность.

Несмотря на очевидные недостатки тестирования, связанные с неизбежной формализацией взаимоотношений испытуемый – экзаменатор, оно получило широкое распространение в учебном процессе, в задачах определения уровня профессиональной подготовки и профессиональной пригодности, а также при конкурсном отборе. К преимуществам оценки знаний методами компьютерного тестирования следует отнести объективность результата, высокую степень устойчивости к внешнему воздействию, в том числе, психологического характера, оперативность и высокую технологичность обработки и анализа результатов.

Цель исследования – создание тестовой оболочки, предназначенной для проведения автоматизированного контроля знаний и предоставляющей возможность повышения эффективности контрольно-оценочных мероприятий.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

1. Проанализирована психолого-педагогическая и научно-методическая литература по проблеме исследования.

2. Проведено исследование задач и методов оценки уровня знаний.

3. Спроектирована база данных тестовых заданий, тем, предметов.

4. Разработаны и реализованы алгоритмы формирования последовательности и содержания вопросов в тематических блоках.

5. Выделен перечень общих и специальных элементов интерфейса.

6. Проведены тестирование и отладка ПС.

7. Обоснована экономическая эффективность.

Объект исследования - контрольно-оценочная деятельность студентов Белинского многопрофильного колледжа.

Предмет исследования – эффективность автоматизированного контроля за уровнем знаний студентов.

Идея работы заключается в реализации немедленного реагирования на индивидуальные особенности подготовки тестируемых при предъявлении заданий по средствам компьютерного адаптивного тестирования, позволяющего идентифицировать уровень знаний в процессе контрольно-оценочной деятельности.

Методы исследования. Для решения поставленных задач были применены следующие основные методы исследования: теоретические (изучение существующих методов оценки знаний и популярных на данный момент времени тестовых оболочек), эмпирические (анализ качества разработанных тестовой оболочки и редактора, методы построения пользовательского интерфейса, выбор средств разработки), статистические (анализ используемых программных и аппаратных платформ).

Гипотеза исследования. Разработанные тестовые оболочки, предназначенные для автоматизации процесса оценки знаний, позволят проводить более объективный, качественный контроль знаний в сжатые сроки, за счет уменьшения количества времени на обработку результатов.

Базой исследования стало Государственное автономное образовательное учреждение среднего профессионального образования Пензенской области «Белинский многопрофильный колледж».

Научная новизна состоит в том, что на основе теории автоматического управления предложен новый подход к проведению тестирования, позволяющий

–  реализовать принцип индивидуализации контрольно-оценочных процедур;

–  конструировать тест с надёжностью, заданной априорно;

–  сократить количество предъявляемых при опросе заданий, не снижая качества получаемой оценки.

Практическая значимость обусловлена разработкой  системы,  включающей в себя компьютерное тестирование на различных этапах изучения дисциплины, регистрацию и анализ результатов тестирования, верификацию и коррекцию комплексов тестовых заданий, формирование рекомендаций по модернизации и усовершенствованию учебного процесса.

Предложенная тестовая оболочка будет полезна для любого учебного заведения, а так же промышленных организаций, которые хотят ввести автоматизированный контроль знаний.

Внедрение результатов. Компьютерные методы тестирования и оценки знаний учащихся внедрены в учебный процесс Белинского многопрофильного колледжа, МОУ СОШ №1, №2 города Белинского.

ОСНОВНАЯ ЧАСТЬ

1. Теоретические основы использования тестовых компьютерных систем в процессе обучения

Обучение - многогранный процесс, и контроль знаний - лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование занимает ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля - устные и письменные экзамены и собеседования.

По-видимому, многие преподаватели уже прошли через некоторую эйфорию при создании тестов и поняли, что это - весьма непростое дело. Оказывается, что для создания адекватного и эффективного теста надо затратить много труда. Компьютер может оказать в этом деле немалую помощь.

Журнал «Информатика и образование» [3] не раз обращался к теме автоматизированного контроля знаний. При этом для большинства статей характерным является замечание о том, что при компьютерном тестировании открытая форма заданий трудно реализуется, поэтому чаще используют тесты закрытого типа.

На сегодняшний день выборочный тип ответа наиболее часто используют при автоматизированном контроле, поскольку его легче реализовать по сравнению с другими типами. Такой ответ легко ввести в контролирующее устройство и оценить его правильность.

Выборочная форма заданий начала использоваться в педагогических неавтоматизированных тестах еще с начала 20-х гг. такие задания получили название закрытых.

Считается, что использование средств автоматизации может не только не повышать качество контроля, а, наоборот, приводит к его ухудшению. В частности, по утверждению известного российского ученого Н.Ф.Талызиной, необоснованное использование выборочного типа ответов привело к резкому падению качества контроля знаний: вместо контроля приемов мыслительной деятельности нередко контролировалась механическая память; вместо контроля метода решения задачи проверялся результат случайного угадывания.

С другой стороны, авторы популярного учебного пособия «Информатика» [5] для студентов педвузов А.В. Могилев, Н.И. Пак, Е.К.Хеннер отмечают, что различные варианты автоматизированных  обучающих систем вобрали в себя лучшие достижения компьютерных технологий и стали широко популярными не только в учебных заведениях, но и при подготовке персонала в промышленности, различных социальных сферах военном деле и.т.д.

Вывод. Тестовая система компьютерного контроля – это область, вокруг которой проходит много дискуссий. Многие педагоги и психологи пытаются аргументировано ответить на вопрос: может ли «бездушная» машина оценить знания учащихся? Однако, на практике общепризнано, что использование компьютера помогает преподавателю сократить рутинную, малоинтересную работу по проверке тестов, контрольных работ, что позволяет проводить контроль чаще и снизит фактор субъективности.

Анализируя вышеизложенную литературу, мы выяснили, что проблема использования тестовых компьютерных систем с целью повышение эффективности контрольно-оценочной деятельности ранее исследовалась частично. Необходимо выявить преимущества  автоматизированного контроля перед его традиционными формами.

2. Технология проектирования компьютерных тестов

Для создания тестов по предметной области разработаны и разрабатываются специальные инструментальные программы-оболочки, позволяющие создавать компьютерные тесты путем формирования базы данных из набора тестовых заданий.

Инструментальные программы, позволяющие разрабатывать компьютерные тесты, можно разделить на два класса: универсальные и специализированные. Универсальные программы содержат тестовую оболочку как составную часть. Среди них «Адонис» (Москва), «Linkway» (Microsoft), «Фея» (Томск), «Радуга» (Москва) и т.п. Специализированные тестовые оболочки предназначены лишь для формирования тестов. Это - «Аист» (Москва), «I_now» (Иркутск), «Тест» (Красноярск) и др.

Для реализации своих тестов я использовал доступные большинству преподавателей и студентов нашего колледжа программы: язык программирования Паскаль, табличный процессор Microsoft Excel,  язык HTML, Macromedia Dreamweaver.

 Для того чтобы разработать компьютерный вариант теста с помощью одной из названных выше программ, необходимо соблюдать требования, предъявляемые к тестовым системам:

1. Тестовые вопросы и варианты ответов на них должны быть четкими и понятными по содержанию.

2. Компьютерный тест должен быть простым в использовании, на экране желательно иметь минимум управляющих кнопок, инструкции-подсказки по действиям обучающегося должны появляться только в нужное время в нужном месте, а не присутствовать на экране постоянно, загромождая его.              

 3. В тестовую систему должна быть включена оценка степени правильности ответа на каждый заданный обучающемуся вопрос.                                        

 4. Тестовых вопросов должно быть настолько много, чтобы совокупность этих вопросов охватывала весь материал, который обучающийся должен усвоить.    

5. Вопросы должны подаваться испытуемому в случайном порядке, чтобы исключить возможность механического запоминания их последовательности; вопросы не должны начинаться с номера или какого-либо символического обозначения для того, чтобы исключить запоминание вопроса по порядку его следования.

6. Варианты возможных ответов должны следовать в случайном порядке.

7. Необходимо проводить учет времени, затраченного на ответы, и ограничивать это время.

Все эти требования реализуются при условии грамотно составленного алгоритма построения тестирующей программы. В учебной литературе рассматриваются различные методы разработки контролирующих программ.

Например, авторы  учебного пособия «Информатика» [5] А.В. Могилев, Н.И. Пак, Е.К. Хеннер выделяют два принципиальных способа контроля (тестирования) некоторой системы:

1) метод «белого ящика» - принцип тестирования экспертной модели знаний;

2) метод «черного ящика» - тестирование некоторой сложной системы по принципу контроля входных и выходных данных (наиболее подходит к компьютерному тестированию).

Проблемы разработки компьютерных дидактических тестов для оценки качества обучения неоднократно рассматривались в журнале "Современные наукоемкие технологии" [4].

Нами был разработан свой алгоритм проектирования компьютерных тестов.

статистический анализ результатов эмпирической проверки студенты

отбор учебного материала дисциплины, подлежащего тестовому контролю с учетом должного уровня его усвоения

создание заданий в тестовой форме по  определенному разделу дисциплины с учетом должного уровня усвоения знаний и объединение их в тематические или рубежные «тес ты»

компьютерная реализация теста

экспертиза «сырых тестов» руководителями научно-исследовательской работы, выбраковка некорректных заданий

эмпирическая проверка (апробация) «сырых тестов» на студентах-однокурсниках

 Рис 1. Схема разработки тестовых заданий

В  результате выполнения этапов алгоритма мы разработали  комплекс тестов.

1. Тесты с помощью программы табличный процессор Microsoft Excel разрабатывал посредством использования стандартных элементов  панели инструментов и логических функций.  На экране отображается список вопросов и отведено место под ответ ученика. В отдельной ячейке, скрытой от глаз учащихся, идет подсчет правильных ответов, использующий ветвящийся алгоритм. Если ответ учащегося совпадает с ответом, запрограммированным учителем, то к сумме баллов прибавляется единица, иначе нуль. Оценка складывается из количества набранных очков, умноженных на 5 и все делится на сумму набранных и оставшихся ответов  (Приложение 1).

Кроме того, посредством настройки гиперссылок, для тестирования можно использовать любой иллюстративный материал (графики, схемы, таблицы, рисунки, чертежи) (Приложение 2).

Вывод. Рассмотренные технологии проектирования компьютерных тестов получили широкое распространение среди студентов и преподавателей нашего колледжа, так как в основе каждой из них лежит простая и нетрудоемкая методика, которая позволяет за достаточно малые временные промежутки «начинять» готовые программы. Полученные программы являются средством решения обозначенной в работе проблемы повышения эффективности контрольно-оценочной деятельности.

3. Экспериментальная часть. С целью выявления  преимуществ  автоматизированного контроля перед его традиционными формами нами была проведена серия экспериментов (Приложение 3).

Эксперимент 1. В первой подгруппе экспериментальной группы из 10 учащихся тестирование проводилось традиционным способом. Во второй подгруппе  той же группы (10 учащихся) использовались разработанные нами компьютерные тесты. По своему содержанию тесты не отличались.

Результат эксперимента: значительно сократилось время на проверку работ учащихся, так как оценки высвечивались на экране, и было достаточно перенести их в журнал (Приложение 4).

Эксперимент 2. Для выявления качества знаний по изученной теме учащимся было предложено самостоятельно выбрать форму контроля. Из 20 человек 14 предпочли тестовый контроль, так как, по их мнению, он более объективный. Трое учащихся решили пройти традиционный тест, так как слабо владеют компьютером. Двое испытуемых не выразили никаких предпочтений.

Результат эксперимента: учащимся гораздо интереснее проходить компьютерное тестирование, что способствует росту их познавательной активности на уроке.  Развивает и формирует учащегося не столько само знание, сколько метод его приобретения, только в процессе активной мыслительной и познавательной деятельности учащиеся могут понять и усвоить учебный материал.

Автоматизированный контроль способствует росту коэффициента объективности оценивания знаний учащихся (Приложение 5).

Эксперимент 3. На протяжении 6 месяцев первой подгруппе экспериментальной группы (10 учащихся) контроль осуществлялся традиционным способом. Во второй подгруппе этой же группы (10 учащихся) использовались разработанные контролирующие программы.

Результат эксперимента: во второй подгруппе отмечена позитивная динамика роста качества знаний по изучаемой дисциплине. Повышается дифференциация процесса обучения. Трудоемкость опыта состоит во временных затратах и подборе материала, а также осуществлении эксперимента.

Выводы. Внедрение инновационных форм контрольно-оценочных процедур

обеспечивает хорошую обратную связь преподавателя с обучаемыми: тесты можно проводить так часто, как это необходимо преподавателю, каждый испытуемый проходит тест с той скоростью, с какой ему удобнее. В конце теста выставляется объективная оценка, не зависящая от настроения преподавателя, его отношения к конкретному учащемуся, впечатления от ответов на предыдущие вопросы. Тесты экономят время преподавателя, и это действительно так, если имеется в виду только проведение самого теста, особенно с использованием ЭВМ, когда оценка выставляется сразу же по окончании прохождения теста. Эти преимущества тестов приводят к их широкому исполь зованию, но при этом нужно иметь в виду, что проведение тестов предполагает большую предварительную работу по подготовке и компоновке тестовых заданий.

Одним из существенных недостатков тестового контроля является то, что он не способствует развитию устной и письменной речи учащихся. Некоторые учебные элементы предметов, отнесенных к гуманитарным, тестировать неудобно.

ЗАКЛЮЧЕНИЕ

Анализ работ по теории и практике тестирования показал, что информатизация образования позволила существенно модернизировать тестовые технологии контроля знаний и поднять их на качественно иной уровень. Использование новых информационных технологий, во-первых, позволило автоматизировать обработку результатов, благодаря чему стало возможным массовое тестирование, во-вторых, привело к созданию компьютерных систем тестирования знаний.

Одно из направлений дальнейшего повышения эффективности контрольно-оценочных процедур связано с созданием на базе средств вычислительной техники систем оценки знаний, способных своевременно реагировать на индивидуальные особенности подготовки тестируемых при предъявлении заданий. В настоящее время в области исследований, связанных с адаптивным тестированием, идет процесс поиска новых методов и технологий.

Разработанные и апробированные нами тестовые оболочки были направлены на оценку знаний методами компьютерного тестирования, которые позволили добиться объективности результата, высокой степени устойчивости к внешнему воздействию, в том числе, психологического характера, оперативности и высокой технологичности обработки и анализа результатов.

Итак, исследование подтвердило выдвинутую гипотезу, согласно которой разработанные тестовые оболочки, предназначенные для автоматизации процесса оценки знаний, позволят проводить более объективный, качественный контроль знаний в сжатые сроки, за счет уменьшения количества времени на обработку результатов.

Поставленные задачи выполнены, но необходимы дополнительные исследования, т.к. для того чтобы определить применимость комплекса тестовых заданий для оценки знаний необходимо провести его детальную верификацию, то есть определить значимые параметры комплекса. При этом к наиболее важным параметрам комплекса следует отнести динамический диапазон трудности заданий, адекватность, устойчивость, надежность и, конечно, валидность. Это станет областью нашего дальнейшего исследования.

ЛИТЕРАТУРА

1. Алтухов Е.В. и др. Основы информатики и вычислительной техники. Сборник тестовых заданий для оценки качества подготовки выпускников средних школ и абитуриентов высших учебных заведений. Экспериментальное научно-методическое пособие для учителей и экзаменационных комиссий./ Под общ. ред. Н.А. Селезневой и В.П. Беспалько. - Москва: Исследовательский центр проблем качества подготовки специалистов, 2007 г.
2. Башмаков А. И., Башмаков И. А. Разработка компьютерных учебников и обучающих систем. – М.: Информацонно-издателский дом «Филинъ», 2003.
3. Баранов В.Ю. //Формы ответов при автоматизированном контроле знаний. Информатика и образование», №8, 2004
4. Костригин О.Г. Проблемы разработки компьютерных дидактических тестов для оценки качества обучения// Современные наукоемкие технологии", №10, 2011.
5. Могилев А.Н. Информатика. Учебник. М.:Академия, 2007 г.
6. Федченко, Е. В. Программированный контроль знаний: сб. науч. тр. молодых исследователей / Е.В. Федченко // Наука-ВУЗ-Школа. – Магнитогорск: МаГУ, 2005.
7. Щербаков Э. Л. Современные методы оценки знаний и интеллекта // Учебное пособие для преподавателей – слушателей факультета повышения квалификации. – Краснодар, 2008.
8. Сборник методических материалов «Информационные технологии в учебно-воспитательном процессе образовательного учреждения» Пензенский институт развития образования  Составители: Наготкина Н.В., Кондратьева Г.Б Под редакцией Белорыбкина Г.Н. Пенза, 2009