Банк автоматизированных тестовых заданий по географии, как составная часть внутришкольной системы оценки качества образования
статья

Банк автоматизированных тестовых заданий по географии, как составная часть внутришкольной системы оценки качества образования

Концепция оценки качества основного общего образования в соответствии с требованиями ФГОС к результатам образования указывает необходимость перехода от модели "контроля качества" к модели "обеспечения качества". В моей преподавательской деятельности главной является технология концентрированного обучения, результаты которой опубликованы в различных изданиях за прошлые годы (см. гиперссылки).  Данная технология соответствует современным требованиям ФГОС, так как осуществляет личностно-ориентированный подход в преподавании. - Концентрация внимания педагога на целостной личности человека, забота о развитии не только его интеллекта, гражданского чувства ответственности, но и духовной личности с эмоциональными, эстетическими, творческими задатками и возможностями развития. Несмотря на все преимущества данной технологии возникает проблема – оценки деятельности учащихся, самооценки деятельности учителя. Обучение в современное время не столько задает вектор развития, сколько создает для этого всё необходимые условия. Для оценки учащимся собственных возможностей необходим инструмент, не зависящий от субъективной оценки только одного учителя. Роль учителя по прежнему остается высокой, он является главным консультантом, Главное, на что работает учитель в личностно-ориентированном образовательном пространстве – организация “событийной общности” с учеником, помощь ему в освоении позиции субъекта собственной жизнедеятельности. Важно, чтобы ученик сумел преодолеть пассивную позицию в учебном процессе и открыть себя как носителя активного преобразующего начала. Автоматизированная система оценки качества образования позволяет ребенку проследить динамику развития своей когнитивной деятельности, беспристрастно оценить уровень своих знаний и наметить шаги по их улучшению.

Задачи по учебному предмету:

2.        Разработка групп вопросов для оценки учебных достижений обучающихся по географии.

3.        Создание банка тестовых заданий, позволяющей систематически проводить мониторинг качества обучения по предмету.

4.        Организация мониторинга учебных достижений каждого учащегося лицея, отражающей его достижения и индивидуальный прогресс по географии

Краткая характеристика целевой аудитории. Мною составлены группы вопросов автоматизированного тестирования для учащихся 5 – 10 классов.

Для автоматизации системы оценки качества образования в лицее используется программный комплекс «Инструментальная среда для создания программно-педагогических тестов и адаптивного тестирования» компании Сибирь-Софт.

Данный программный комплекс позволяет составлять группы вопросов разного уровня сложности, затем из них формировать тест.

ТЗ представлены в одной из четырех стандартизованных форм

1. Закрытой (с выбором одного или нескольких заключений)

2. Открытой

3. На установление правильной последовательности

4. На установление соответствия

Выбор формы ТЗ зависит от того, какой вид знаний следует проверить. Рассмотрим на примере темы 5 класса «Форма, размеры и движение Земли». Для оценки фактологических знаний (знаний конкретных фактов, названий, имён, дат, понятий) использую тестовые задания закрытой или открытой формы.

1. Движение Земли вокруг своей оси является причиной:

А. наличия на земной поверхности материков и океанов

Б. смены дня и ночи

В. Смены сезонов года

Г. Начала эпохи географических открытий

Они позволяют оценить усвоение знаний на 1 уровне -  восприятие, запоминание и возможность воспроизведения учебной информации. Задания такого уровня являются самыми простыми. Довольно высока вероятность угадывания правильного варианта, что бы исключить такой фактор составляю вопросы каскадного типа, находящихся в иерархической зависимости. Такие вопросы позволяют учащемуся в процессе тестирования устранять пробелы в знаниях, благодаря смысловой взаимосвязи. Например, вопрос: 1. Отличаются ли радиусы Земли друг от друга? Варианты ответов: а) да; б) нет; в) не знаю 1.1.Чему равен экваториальный радиус? Варианты ответов: а) 6378 км б) 6356 км в) 6 3780 км 1.2.Назовите причину различий экваториального и полярного радиусов? Варианты ответов: а) на экваторе жарко, поэтому радиус больше; б) причина в осевом вращении Земли; в) на радиус оказывает влияние магнитный полюс Луны. Такие вопросы позволяют провести дифференциацию учащихся по глубине и полноте фактических знаний.  

 Ассоциативные знания (знаний о взаимосвязи определений и фактов, авторов и их теорий, сущности и явления, о соотношении между различными предметами, законами, датами) – составляю задания на установление соответствия.. Пример, соотнесите ответы под цифрами  и буквами правильно: 1. Смена сезонов года; 2. Смена дня и ночи; А) вращение Земли вокруг оси, Б) вращение Земли вокруг Солнца, В) наклона земной оси к плоскости орбиты.

Для оценки процессуальных знаний (знаний правильной последовательности различных действий, процессов) – составляю задания на определение правильной последовательности. Такой тип заданий наиболее подходит при изучении исследователей или при изучении геологической истории Земли. Пример: Расположите имена российских исследователей Арктики в хронологической последовательности (И. Д. Папанин, Д.Я. и Х. П. Лаптевы, О. Ю. Шмидт).

При моделировании контрольных работ необходимо учитывать, что проверке и оценке подлежат все компоненты содержания образования: знания, умения, опыт творческой деятельности, и опыт эмоционально-ценностного отношения к миру. Творческий уровень выполнения заданий подразумевает умение ясно и логично излагать свои мысли, что невозможно обеспечить в тестовой форме. Значит надо использовать обратный вариант, когда результат логического умозаключения можно выразить одним словом.

Пример: -Что ты собираешься делать? - спросил капитан Флинт боцмана Билли Бонса, деловито заряжающего пистолет. -Да вот, -ответил боцман. - Пистолет заряжаю. У меня, видишь ли день рождения сегодня. Так в моей семье традиция есть- отмечать каждый такой день пальбой или другими громкими звуками. Вот я и собираюсь пострелять. На каждый день рождения по выстрелу. -С днём рождения! - запоздало сказал Флинт, но боцман уже спустил курок. Капитану осталось только считать выстрелы. Когда пальба закончилась, изумленный капитан флинт воскликнул: -Билли! Ты выстрелил всего 10 раз! Тебе что- всего 10 лет? -Нет, - ответил боцман. - Гораздо больше. Мне уже исполнилось 40 лет.

Когда у боцмана Билли Бонса день рождения? Ответ: 29 февраля.

Нужно помнить о том, что форма предъявления ТЗ влияет на его уровень трудности.

Самые легкие – задания закрытого типа с единичным выбором, так как направлены на

воспроизведение имеющихся знаний. Самая трудная форма ТЗ - на упорядочение и на

соответствие. Открытая форма, ТЗ закрытой формы с несколькими правильными ответами - ТЗ

со средним уровнем сложности.

Оптимальное соотношение ТЗ по форме в тесте 25%/25%/25%/25%. Допустимое

минимальное для заданий на упорядочение и соответствие 10-15%.

Тестовое задание закрытой формы

1. Если к заданиям даются готовые ответы на выбор (обычно один правильный и

остальные неправильные), то такие задания называются заданиями с выбором одного

правильного ответа или с единичным выбором. При использовании этой формы следует

1 Типология знаний по B.C. Аванесову

руководствоваться правилом: в каждом задании с выбором одного правильного ответа

правильный ответ должен быть.

2. Помимо этого, бывают задания с выбором нескольких правильных ответов или с

множественным выбором. Подобная форма заданий не допускает наличия в общем перечне

ответов следующих вариантов: «все ответы верны» или «нет правильного ответа».

Вариантов выбора (дистракторов) должно быть не менее 4 и не более 7. Если дистракторов мало,

то возрастает вероятность угадывания правильного ответа, если слишком много, то делает

задание громоздким. Кроме того, дистракторы в большом количестве часто бывают

неоднородными, и тестируемый сразу исключает их, что также способствует угадыванию.

Дистракторы должны быть приблизительно одной длины. Не допускается наличие

повторяющихся фраз (слов) в дистракторах.

Тестовое задание открытой формы

В заданиях открытой формы готовые ответы с выбором не даются. Требуется

сформулированное самим тестируемым заключение. Задания открытой формы имеют вид

неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В

качестве ключевых элементов могут быть: число, буква, слово или словосочетание. При

формулировке задания на месте ключевого элемента, необходимо поставить прочерк или

многоточие. Утверждение превращается в истинное высказывание, если ответ правильный и

в ложное высказывание, если ответ неправильный. Необходимо предусмотреть наличие всех

возможных вариантов правильного ответа и отразить их в ключе, поскольку отклонения от

эталона (правильного ответа) могут быть зафиксированы проверяющим как неверные.

Особенно это важно при применении технологии компьютерного тестирования.

Тестовые задания на установление правильной последовательности

Такое задание состоит из однородных элементов некоторой группы и четкой

формулировки критерия упорядочения этих элементов.

Задание начинается со слова: “Последовательность…”

Тестовые задания на установление соответствия

Такое задание состоит из двух групп элементов и четкой формулировки критерия

выбора соответствия между ними.

Соответствие устанавливается по принципу 1:1 (одному элементу первой группы соответствует

только один элемент второй группы) или 1:М (одному элементу первой группы соответствуют

М элементов второй группы). Внутри каждой группы элементы должны быть однородными.

Количество элементов второй группы должно превышать количество элементов первой группы.

Максимальное количество элементов второй группы должно быть не более 10, первой группы –

не менее 2.

Задание начинается со слова: ”Соответствие…” Номера и буквы используются как

идентификаторы (метки) элементов. Арабские цифры являются идентификаторами первой

группы, заглавные буквы русского алфавита - второй. Номера и буквы отделяются от

содержания столбцов круглой скобкой.

V. Рекомендации по назначению нормы трудности ТЗ

Рассмотрим тест по теме «Мировое хозяйство». 10 класс

Цель тестирования: Выявить уровень представлений у учащихся о мировом хозяйстве в современное время

Тип теста: текущий контролирующий.

Тест предназначен для текущей проверки знаний по теме «Мировое хозяйство» и проверки  остаточных знаний по темам изученным ранее. Всего в тесте 63 вопроса, из них  43 вопроса репродуктивного уровня, 15 вопросов повышеного уровня на понимание учебного материала, применение знаний в знакомой ситуации, по образцу и 4 вопроса творческого уровня. Методом случайной выборки формируется тест на 15 вопросов. Время тестирования 35 мин

 В тест вошли группы вопросов по следующим темам:

1.        Мировое хозяйство – всего вопросов 20, из них 37 % случайной выборкой попадают в тест. Задания репродуктивного типа, с выбором ответа составляют 17 шт  (85 %), - усвоение знаний на 1 уровне -  восприятие, запоминание и возможность воспроизведения учебной информации.  Два вопроса открытого типа (10%) – ввод с клавиатуры. Усвоение знаний на 2 уровне - понимание учебного материала, применение знаний в знакомой ситуации, по образцу.

2.        Политическая карта мира – 2 группы, на базовом уровне (5 вопросов) и повышенный уровень  на соответствие (4 вопроса). В тест войдут 16 % вопросов.  

3.        Мировые природные ресурсы – 8 вопросов базового уровня, 15 % попадут в тест

4.        Население мира – 10 вопросов повышенного уровня, 14 % попадут в тест.

5.        Научно-техническая революция – 12 вопросов базового уровня, 18% попадут в тест.

6.        Страны мира – 4 вопроса,  25% попадут в тест

Содержание базовой части включает в себя 70% заданий, 30 % вариативная часть.

Таб.1.  Характеристика тестовых заданий

Критерии оценивания:

0 – 40% -оценка «2»

41 – 65% оценка «3»

66% - 85% оценка «4»

86% - 100% оценка «5»

Тип используемой шкалы: номинальный

В соответствии с порядковой шкалой за каждое задание базового уровня 3 балла, за задания повышенного уровня – 5 баллов, за решение задания творческого характера – 10 баллов.

На методическом объединении было создано древо тем предмета, затем, опираясь на календарно-тематическое планирование, формируется фактическое прохождение учебных тем. Проводится экспертиза групп вопросов администрацией школы совместно с руководителями методических объединений. Тестовые задания, прошедшие экспертизу, используются при создании административных контрольных работ. Таким образом, группы вопросов соответствуют требованиям учебной программы, соответствуют возрастным особенностям школьников.

Для проведения автоматизированного тестирования используется тест-сервер М-Тест, который позволяет проводить тестирование большого количества учащихся одновременно, а также упрощает процесс обработки результатов. При обработке формируется как таблица результатов учащихся, анализ результатов, а также анализ ответов, что для учителя предметника является самым важным, так как анализ ответов показывает процент усвоения и явные пробелы.

Период времени, в течении которого применялась методическая разработка.

2012-2013 уч. год, 2013-2014, 2014 -2015 уч. год

Результаты, которых удалось достичь благодаря методической разработке

Автоматизированные административные контрольные работы проводятся два раза в месяц. Каждый ученик с 4 по 11 класс по утвержденному расписанию проходит административное тестирование один раз в две недели. Каждый тест состоит из 5 вопросов базового уровня и на его решение дается 10-15 минут

По окончанию каждого тестирования учителям-предметникам, классным руководителям и воспитателям выдаются результаты для анализа и оперативного устранения пробелов по предметам и оповещения родителей. Учителя также получают результаты тестирования в виде результатов по каждой волне тестирования, как по каждому ученику, так и по классу в целом. Имея такие результаты, педагоги имеют возможность анализа учебной деятельности, корректировки полученных результатов. В качестве примера, рассмотрим анализ 10 биолого-химического профиля за 2014 -2015 учебный год

Для учащегося, как субъекта образовательного процесса, автоматизированное тестирование дает огромный материал для самоанализа.  В конце каждой четверти выдается табель результатов тестирований, который содержит все оценки учащегося, полученные на административных тестированиях, а также диаграмму итоговых результатов.

В качестве примера рассмотрим результаты 4 волн тестирования по географии в 7 «б» классе (рис.1, 2) Из графика видно, что в течении трех четвертей наблюдается положительная динамика, в четвертой четверти небольшой спад.

Один только график не дает полную картину причины спада среднего бала или подъема. Необходим анализ самих групп вопросов. Автоматизированная система выдает подробный отчет по всем ответам учащихся. Например, вопрос № 1

В 1937 году на дрейфующей льдине Сев. Ледовитого Океана была организована экспедиция под руководством

И. Д. Папанина (13 - 28,89% )

Г. Я Седов (26 - 57,78% )

Ф Нансена (4 - 8,89% )

Нильса Норденшельда (2 - 4,44% )

  Из данного отчета видно, что большинство учащихся отвечают неправильно, следовательно вопрос необходимо проработать на последующих уроках.

Диаграммы позволяют проследить динамику качества обучения как целого класса, так и каждого ученика в отдельности (см. рис. 3)

В мае 2015 года проект ВШСОКО вышла на республиканский уровень, было проведено тестирование среди школ Бурятии. Банк тестовых заданий по географии пока составлен небольшой. Далее к проекту нашей школы присоединятся учителя со всей республики, таким образом банк будет пополняться и улучшаться качество составляемых вопросов.

В соответствии с требованиями ФГОС оценивание для обучения нацелено на разработку тестов, в которых учащийся трактуется как индивид, тестирование призвано выявлять сильные и слабые стороны школьников и тем самым способствовать их образовательному индивидуальному прогрессу.

РИС. 1 Средний балл по географии. Итоги автоматизированного тестирования за 1-4 четверти.

РИС. 2 Динамика качества обучения по итогам автоматизированного тестирования.

 1 – 4 четверти. 7 «Б» класс 

РИС. 3 Динамика качества ученика 7 «б» класса по итогам автоматизированного тестирования.      1 – 4 четверть.