Методические рекомендации по разработке тестовых заданий
методическая разработка

Октябрьский учебный центр профессиональных квалификаций – структурное подразделение Октябрьской железной дороги – филиала ОАО «РЖД»

МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ

к составлению тестовых заданий для проведения контроля знаний обучающихся в учебных центрах профессиональных квалификаций

ОАО «РЖД»

Калининград 2019

Содержание

Введение___________________________________________________3

1. Использование метода тестирования при контроле знаний обучающихся 4
2. Основные понятия, термины и принципы и правила, используемые при   конструировании тестов_________________________________________6
3. Конструирование тестового задания с учетом специфики дисциплины и    получаемой профессии _________________________________________18
4. Список использованной литературы_____________________________21
5. Приложения__________________________________________________22

ВВЕДЕНИЕ

Актуальность методических рекомендаций обусловлена тем, что плотно переплетается с общими целями совершенствования технологии оценки и развития персонала, формирования целевой управленческой культуры и брендоориентированного поведения работников  в ОАО "РЖД".

Наличие профессиональных компетенций, способность учиться и развиваться, готовность делиться опытом и передавать знания – все это является частью единого комплекса подготовки квалифицированных рабочих кадров заложенного в системе обучения рабочих и служащих в ОАО "РЖД".

В компании тщательно планируется и систематически совершенствуется работа по подготовке квалифицированных рабочих кадров, особое внимание при этом уделяется профессиональному обучению в учебных центрах профессиональных квалификаций.

Одним из основных направлений методической работы в учебном центре является подготовка и выпуск измерительных материалов для проверки соответствия знаний, умений и уровня подготовки обучающихся (тесты  для проведения промежуточного, итогового контроля знаний).

Для составления максимально качественного тестового задания, в методических рекомендациях приведены основные предъявляемых к ним требования.

Целью методических рекомендаций  является развитие компетенции в составлении тестового  задания для проведения промежуточного (итогового) контроля знаний по изучаемому предмету.

Предварительно необходимо ознакомиться не только с основными правилами составления традиционного теста, но и с  содержанием предмета, спецификой профессий, по которым проходят подготовку обучающиеся.

Объектом исследования является как традиционный тест, так и его последующая разновидность – предметно ориентированного, педагогического теста, позволяющая качественно и эффективно измерить уровень и оценить структуру подготовленности обучающихся.  

Проводится сравнение содержаний и композиций различных видов  тестовых заданий, классификация  принципов их конструирования; анализ  содержания предмета, специфики профессий, по которым проходят подготовку обучающиеся, обусловленный подготовкой более качественного метода проверки уровня знаний.

Эмпирической базой исследования является апробация составленного  тестового задания, проведенная в группе состоящей из 10  обучающихся, с последующим составлением матрицы результатов тестирования.

1.  Использование метода тестирования при контроле знаний обучающихся 

 Педагогические задания выполняют как обучающие, так и контролирующие функции. Обучающие задания применяют учащиеся для активизации собственного учения, усвоения учебного материала, саморазвития, а также применяют педагоги для обучения учащихся.^[1] Все это свидетельствует об обучающем потенциале заданий. Контролирующие задания применяются, напротив, педагогом или проверяющими органами после окончания учебного периода с целью диагностики уровня и структуры подготовленности. Некоторая часть заданий может использоваться для обучения и для контроля.

Традиционный тест представляет собой стандартизованный метод диагностики уровня и структуры подготовленности. В таком тесте все испытуемые отвечают на одни и те же задания, в одинаковое время, в одинаковых условиях и с одинаковыми правилами оценивания ответов. Главная цель применения традиционных тестов - установить отношение порядка устанавливаемых между испытуемыми по уровню проявляемых при тестировании знаний. И на этой основе определить место каждого на заданном множестве тестируемых испытуемых. В тест стараются отобрать минимально достаточное количество заданий, которое позволяет сравнительно точно определить уровень и структуру подготовленности. Интерпретация результатов тестирования ведется преимущественно с опорой на среднюю арифметическую и на так называемые процентные нормы, показывающие, - сколько процентов испытуемых имеют тестовый результат худший, чем у любого другого испытуемого. Такая интерпретация тестовых результатов называется нормативно-ориентированной. Тест определяется как система заданий возрастающей трудности, позволяющая эффективно измерить уровень и качественно оценить структуру подготовленности учащихся. ^[2]

Педагогический тест определялся как система заданий возрастающей трудности, специфической формы, позволяющая качественно и эффективно измерить уровень и оценить структуру подготовленности учащихся. Для лучшего понимания этого определения полезно дать краткое истолкование его основных терминов. Система означает, что в тесте собраны такие задания, которые обладают системообразующими свойствами. Здесь, в первую очередь, надо выделить общую принадлежность заданий к одной и той же системе знаний, т.е. к одной учебной дисциплине, их связь и упорядоченность, учитывая специфику будущей профессии обучающегося. Специфическая форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказываний, истинных или ложных, в зависимости от ответов. Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебной дисциплины.

Ответ на задание педагогического теста представляет собой краткое суждение, связанное по содержанию и по форме с содержанием задания. Каждому заданию ставятся в соответствие ответы правильные и неправильные. Критерии правильности заранее определяются составителем теста. Вероятность правильного ответа на любое задание зависит от соотношения уровня знаний испытуемого и уровня трудности задания.

Ведущая идея традиционного теста - минимумом числом заданий, за короткое время, быстро, качественно и с наименьшими затратами сравнить знания как можно большего числа учащихся. ^[3] Содержание теста можно определить как оптимальное отображение содержания образования в системе тестовых заданий. В хорошо отлаженной системе образования система тестовых заданий должна проверять все знания, которые предлагаются учащимся в процессе обучения. Учебный материал по любой учебной дисциплине является частью образовательной программы, обычно включает в себя основные понятия и термины, знания о способах и методах деятельности. Содержание теста в первую очередь определяется целями тестирования. Это самый главный принцип, который положен в основу разработки теста. Чем полнее отображение учебной дисциплины в тесте, тем увереннее можно говорить о так называемой содержательной валидности тестовых результатов. Ориентировочный (далеко не полный в рассматриваемом случае) смысл английского слова "valid" означает "пригодность для поставленной цели". Тест не может быть пригодным для измерения знаний по любой учебной дисциплине, в любое время, у испытуемых с любым уровнем подготовленности. ^[4] Тест создается для определения уровня подготовленности обучающихся и его результаты интерпретируются в зависимости от степени достижения поставленной цели. Именно поэтому результаты тестирования могут быть признаны валидными в различной степени, или не невалидными. Принцип определение значимости проверяемых знаний указывает на необходимость включения в тест только тех элементов учебной программы, которые можно отнести к наиболее важным, без которых знания становятся несущественными, фрагментарными, состоящими из второстепенных элементов. Поскольку именно ключевые элементы формируют основу подлинных знаний, в тест в первую очередь включают, конечно, их. Отбор значимых элементов проводится с опорой на мнения педагогов-экспертов, имеющих личный опыт преподавания и проверки знаний по интересующей учебной дисциплине. В таких случаях можно говорить об обучающем потенциале тестовых заданий.

2.Основные понятия, термины и принципы и правила, используемые при конструировании тестов

Содержательная правильность тестовых заданий. В тест включается только то содержание учебной дисциплины, которое является объективно истинным и поддаётся аргументации.

 Репрезентативность содержания учебной дисциплины в содержании теста. При разработке теста обращается внимание на полноту и достаточность числа заданий для аргументированного вывода о знаниях. ^[5]Репрезентативность не означает обязательного включения в тест всех значимых элементов содержания или строго пропорционального включения в тест заданий по различным темам. Ведь многие из них явно связаны между собой в общей структуре знаний, включены один в другой, полностью или частично. При создании теста ставится задача отобразить в нем то основное, что отражает идею измерения уровня и структуры подготовленности учащихся, как результат образовательной деятельности.

Соответствие содержания теста действующим нормативным документам и литературе. Этот принцип вытекает из естественной необходимости проверять знания обучающихся не на устаревшем, а на современном учебном и контрольном материале.

Следующий принцип - комплексность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы, даже если эта тема является самой ключевой в учебной дисциплине. Необходимо искать задания, комплексно отображающие основные, если не все, темы учебного курса.

Принцип системности содержания. Это означает формулирование такого содержания тестовых заданий, которое отвечало бы требованиям системности при проверке знаний. Помимо подбора заданий с системным содержанием важно иметь задания, связанные между собой общей структурой знаний. Это возможно в тех случаях, когда каждое задание проверяет преимущественно свою часть в общей системе знаний. Идеальный вариант при разработке теста - когда задания не пересекаются по содержанию и по статистическим показателям между собой, но все имеют положительные корреляции с каким-либо внешним критерием знаний испытуемых.

Вариативность содержания. После первого применения теста его содержание становится известным испытуемым. И если есть условия для передачи информации о содержании заданий другим учащимся, то это почти всегда делается. Испытанным в практике способом защиты тестовых результатов от возможных искажений такого рода является создание множества вариантов заданий одного и того же теста.

Возрастающая трудность тестовых заданий. В хорошем тесте трудность может зависеть только от содержания и от уровня подготовленности самих испытуемых, в то время как в плохом тесте на результаты начинают заметно влиять форма заданий, плохая организация тестирования, если имеются возможности списывания, утечки информации. ^[6] 

Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы.

Содержание теста выражается в одной из четырех основных форм заданий:

- задания с выбором одного или нескольких правильных ответов из числа предложенных;

- задания открытой формы, где ответ испытуемый дописывает сам, в отведенном для этого месте;

- задания на установление соответствия;

- задания на установление правильной последовательности действий.

Выделяются такие основные свойства правильного мышления, как определенность, непротиворечивость, обоснованность. Во всяком тестовом задании заранее определяется, что однозначно считается ответом на задание, с какой степенью полноты должен быть правильный ответ. Не допускается определение понятия через перечисление элементов, не входящих в него. Немалую роль в формировании теста как системы играет требование логической правильности заданий, включенных в тест. ^[7]

Непротиворечивость содержания заданий требует, чтобы относительно одной и той же мысли не возникали суждения, одновременно утверждающие и отрицающие ее. Недопустимо существование двух исключающих ответов на одно и то же задание теста. Если испытуемым дается инструкция: "Обведите кружком номер правильного ответа", а затем в одном из ответов утверждается, что правильного ответа нет, то это порождается пример непоследовательности мышления разработчика теста.

Обоснованность содержания тестовых заданий означает наличие у них оснований истинности. Обоснованность связана с аргументами, которые могут быть приведены в пользу той или другой формулировки заданий теста. При отсутствии доказательных аргументов в пользу правильности сформулированного задания оно в тест не включается.

Неистинность содержания тестовых заданий отличается от некорректности их формулировки. Неистинность, как отмечалось выше, определяется соответствующим ответом, в то время как некорректно сформулированное задание может продуцировать ответы как правильные, так и неправильные, а то и вызывать недоумение.

В дополнение к перечисленным свойствам логически правильного мышления отметим еще одно требование к тестовым заданиям. Это требование краткости тестовых заданий. Краткость обеспечивается тщательным подбором слов, символов, позволяющих минимумом средств добиваться максимума ясности смыслового содержания задания.

Композиция заданий в тестовой форме. Понятие "композиция" означает произведение, структуру, состав, соединение - все это как результат творческого процесса, в котором составитель стремится к некоторому совершенству. Именно форма и содержание являются главными компонентами процесса создания тестовых заданий. Цель композиции - создание таких заданий, которые можно было бы включить в тест и использовать как в традиционно организованном учебном процессе, так и в автоматизированных системах контроля знаний. ^[8] В процессе композиции к заданиям в тестовой форме предъявляются следующие требования:

- логическая форма высказывания;

- правильность формы;

- краткость;

- наличие определенного места для ответов;

- правильность расположения элементов задания;

- одинаковость правил оценки ответов;

- одинаковость инструкции для всех испытуемых;

- адекватность инструкции форме и содержанию задания.

Логическая форма высказывания является универсальной формой четкого выражения мысли человеком, способным проявить знания по изучаемой учебной дисциплине. Правильная форма заданий - это средство упорядочения и эффективной организации содержания теста. Организация предполагает анализ содержания учебной дисциплины, классификацию учебного материала, установление меж тематических и меж предметных связей, укрупнение дидактических единиц, представление этих единиц через элементы композиции заданий.

Задания, где элементам одного множества требуется поставить в соответствие элементы другого множества, можно назвать заданиями на установление соответствия.

И, наконец, в тех случаях, когда требуется установить правильную последовательность вычислений, действий, шагов, операций, терминов в определениях используются задания на установление правильной последовательности. Каждая из перечисленных форм позволяет проверить специфические виды знаний, а также соответствующие им контрольные материалы.

Краткость заданий в тестовой форме вытекает из преимуществ логической формы высказывания, Поэтому задания всегда короче задач и вопросов. Краткость обеспечивается тщательным подбором слов, символов, позволяющих минимумом средств добиваться ясности смысла содержания задания. Исключаются повторы, малопонятные, редко употребляемые, а также неизвестные для учащихся символы, иностранные слова, затрудняющие восприятие смысла. Хорошо, когда задания содержат не более одного придаточного предложения.  

Правильность расположения элементов задания является требованием, помогающим испытуемым не тратить время на определение места для ответов и быстрее зафиксировать свое решение. ^[9]

Одинаковость правил оценки ответов в рамках принятой формы является важным средством организации тестирования. Ни одному испытуемому не дается никаких преимуществ перед другим, все отвечают на одни и те же задания, всем дается одинаковое время. Правила оценки определяются заранее и абсолютно одинаково применяются ко всем испытуемым.

Овладение формой является необходимым, но недостаточным условием создания полноценных тестов. Форма придает заданиям лишь структурную целостность и определенность, внешнюю организованность. Систематически сложилось стойкое стремление постепенно переложить эту проверку уровня знаний на компьютер. Задания в тестовой форме легко вводятся в компьютер, компактно проецируются на экран монитора, хорошо различаются по форме и смыслу. В отличие от учителя компьютер не огорчается при слабых знаниях испытуемых, а спокойно советует им изучить еще раз то, что надо знать. Такого рода совет компьютерного помощника может повторяться до тех пор, пока весь требуемый материал не будет освоен каждым учащимся при заданном уровне качества знаний.

Инструкция для учащихся. Тестирование начинается с короткой и четкой инструкции: "отвечая на задания теста, нажимайте клавишу с номером правильного ответа". Инструкция является общей и стандартной для всех испытуемых.^[10] Понятно, что учащиеся, допущенные к автоматизированному контролю, должны иметь навыки обращения с ПК.

 Содержание задания. Оно набирается прописными буквами. Это делается для удобства восприятия. В условиях дефицита времени учащиеся с первого взгляда на задание сразу, по одному только шрифту, понимают, где располагается задание, а где - ответы, которые набираются строчными буквами. Содержание задания формулируется как можно яснее и как можно короче. Краткость обеспечивается тщательным подбором слов, символов, позволяющих минимумом средств добиваться максимума ясности смысла задания. Полностью исключаются повторы слов, малопонятные, редко употребляемые, а также неизвестные учащимся символы, иностранные слова, затрудняющие восприятие смысла.

Ответы к заданиям. Они набираются строчными буквами, должны быть короткими и содержательными. Еще лучше, когда короткими являются и задание и ответ.

Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор (от английского глагола tо distract – отвлекать). Чем лучше подобраны дистракторы, тем лучше  задание. Дистракторы должны быть правдоподобными.  Талант разработчика проявляется в первую очередь в разработке эффективных дистракторов.

Задания с двумя ответами. Самые первые задания с двумя ответами требовали однозначного ответа "Верно" или "Неверно". Другой вариант - "Да" или "Нет". Однообразие ответов в таких заданиях вызвало критику, вследствие чего сами задания с двумя ответами стали применяться редко. ^[11]

Особенно хорошо такие задания использовать на начальном этапе усвоения знаний, непосредственно в учебном процессе, при самоконтроле в процессе самостоятельной работы.

Преимущество такого задания заключаются в возможности его превращения, в зависимости от выбранного ответа, в истинное или ложное высказывание.

При ответе на задания в тестовой форме испытуемые вначале читают инструкцию. Для заданий с двумя ответами рекомендуются два варианта стандартной инструкции: "Обведите кружком номер правильного ответа!"- если тестовый контроль проводится с помощью бланков, или: "Отвечая на задания теста, нажимайте на клавишу с номером правильного ответа!" - если контроль проводится с помощью ПК. Кроме этих двух инструкций могут использоваться и другие. Посмотрим некоторые примеры заданий с двумя ответами.

При композиции заданий с двумя ответами самым распространенным можно назвать принцип противоречия, выражаемый, главным образом, посредством использования отрицательной частицы "не", отрицающих предлогов и слов. При использовании этого принципа подбираются такие два ответа, чтобы второй отрицал первый (типа А или не - А).

Пример: движения поездов с Севера на Юг и с Востока на Запад, является:

1) четным;

2) не четным.

Как видно, во всех этих заданиях отрицается смысл не самого задания, а содержания первого ответа, а испытуемый выбирает то, что считается правильным. Как уже упоминалось, здесь проявляет себя логический закон исключенного третьего: "Невозможно, - писал Аристотель, - чтобы противоречащие утверждения были вместе истинными", или, в истолковании другого автора: "из двух суждений, из которых одно утверждает то, что другое отрицает, одно должно быть ложным.

Близок по смыслу к первому, но немного отличается по логическим свойствам и языковым тонкостям принцип противоположности ответов. Подбираются такие ответы, которые, будучи антонимичными по смыслу, допускают, в принципе, возможность существования переходных понятий, состояний.^[12] 

При каком виде маневров величина маневрового состава остается неизменной:

1) простые;

2) сложные.

Поскольку различия между первым и вторым принципом не сразу запоминаются, введем простое и нестрогое функциональное отличие. При противоречии используются отрицания; при противоположности один содержательный ответ заменяется другим, антонимичным по смыслу. Так как в логике оба отмеченных принципа подпадают под класс антонимичных понятий, они могут быть объединены в один общий принцип антонимичности подбора ответов в заданиях с двумя ответами. Физикам, возможно, понравится другое название этого же принципа - полярности.

Третий принцип формулирования заданий в тестовой форме можно назвать принципом однородности. Подбираются такие два ответа, которые относятся к одному роду, виду, или отображают две основные стороны, грани явления.

Пример: достоинством способа производства маневров осаживанием является:

1) точность установки вагонов;

2) высокая производительность труда.

Четвертый принцип формулирования заданий с выбором одного ответа можно назвать кумуляцией. Это означает, что содержание второго ответа вбирает в себя (аккумулирует) содержание первого и содержит новую информацию.

Пример: способы  производства маневров на вытяжках:

1) осаживанием и толчками;

2) осаживанием, толчками, рейсами, полурейсами.

Задания, построенные по принципу кумуляции, интересны тем, что учащиеся, приученные давать полные и правильные ответы, обычно выбирают последний ответ, ошибочно полагая, что он всегда самый правильный. Правильные ответы рекомендуется распределять примерно поровну на месте первого и второго ответа.

Пятый принцип формулирования задания с двумя ответами - это сочетание слов (знаков) по два или по три (реже четыре) в каждом ответе. Можно предложить два варианта заданий с использованием этого принципа.

В первом варианте сочетаются более или менее однородные и правдоподобные пары ответов.

Например: достоинством способа производства маневров осаживанием является:

1) обеспечивается высокая степень безопасности; исключается бой подвижного состава;

2) обеспечивается точность установки вагонов; высокая производительность труда.

Во втором варианте ответы сочетаются по правилу цепочки: достоинством способа производства маневров осаживанием является:

1) исключается бой подвижного состава; обеспечивается высокая степень безопасности;

2) обеспечивается высокая степень безопасности; высокая производительность труда.

В соответствии с этим правилом, последнее слово первого ответа становится первым словом второго ответа, последнее слово второго ответа становится первым словом третьего и т.д., если это правило будет использоваться далее для разработки заданий с тремя, четырьмя и пятью ответами.

Например: достоинством способа производства маневров осаживанием является:

1) исключается бой подвижного состава; обеспечивается высокая степень безопасности;

2) обеспечивается высокая степень безопасности; высокая производительность труда;

3) высокая производительность труда; исключается бой подвижного состава.

Процесс тестирования состоит из множества различных элементов, одну часть которых можно отнести к более существенным, а другую - к менее существенным. Незначимых элементов в тестировании, можно сказать, нет. В зависимости от конкретной ситуации, каждый из них может оказать то или иное влияние на такие ключевые критерии оценки тестовых результатов, как надежность, валидность и эффективность. ^[13]

Инструкция. Тестирование начинается с общей инструкции для испытуемых. Она является короткой и четкой. Как уже упоминалось ранее, имеется два варианта такой инструкции: "Обведите кружком номер правильного ответа!" - если тестовый контроль проводится с помощью бланков, или: "Отвечая на задания теста, нажимайте на клавишу с номером правильного ответа!" - если контроль проводится с помощью ПК. Понятно, что учащиеся, допущенные к автоматизированному контролю, должны иметь навыки обращения с ПК. И это тоже существенный элемент с точки зрения возможности появления, у некоторых испытуемых, ошибок или повышенных затрат времени тестирования из-за слабого владения техникой. Для минимизации влияния отмеченного фактора, полезно, до начала тестирования по учебной дисциплине, дать задания на выявление степени готовности каждого испытуемого к компьютерному тестированию.

Если все задания представлены в одной форме, инструкция пишется один раз. Если же в тесте имеются задания и других форм, то инструкция меняется при каждом изменении формы.

Содержательная основа задания. Она пишется прописными буквами, что позволяет с первого взгляда отделить содержание задания от содержания ответов на него. При разработке содержания заданий используются принципы, отличные от ранее рассмотренных принципов подбора ответов.

 Ответы к заданиям. Ответы лучше писать строчными буквами. В условиях дефицита времени студенты с первого взгляда на задание сразу, по одному только шрифту, видят - где располагается задание, а где - ответы. Лучше, когда коротким является и задание, и ответ. ^[14]

Подбору правдоподобного, но неправильного ответа при формулировании заданий с двумя ответами уделяется особое внимание. Ведь он здесь только один, и именно от него во многом зависит качество всего задания.

Каждый ответ привлекателен для тех или иных испытуемых. При этом правильный ответ привлекает знающих учащихся, а неправильный ответ - незнающих. Интересно, что не только правильные, но и неправильные ответы выбираются в зависимости от уровня и структуры подготовленности. Мера привлекательности определяется долей испытуемых, выбравших данный ответ.

Задания с выбором одного ответа из двух возможных в практике тестирования распространены меньше, чем они того заслуживают. Особенно редко они используются в итоговом тестировании, что объясняется высокой - 50%  вероятностью угадывания правильного ответа, при условии, что ученик его не знает. Столь высокая вероятность угадывания серьезно ухудшает качество теста, используемого обычно для итогового контроля знаний. Но это обстоятельство не означает, что задания с двумя ответами не нужны. Ведь кроме итогового тестирования есть и другие виды оценки знаний. Например, нередко бывает необходимой экспресс-диагностика уровня подготовленности учащихся. Всё более актуальным становится тестирование для проведения периодического, например, один раз в месяц, мониторинга уровня подготовленности учащихся.

Следующими рассмотрим задания в тестовой форме с тремя ответами. В практике тестирования они распространены намного больше, чем задания с двумя ответами, но заметно меньше, чем задания с четырьмя и пятью ответами.

Задания с тремя ответами сопровождаются инструкциями.

Если используется ПК, то инструкция такая: отвечая на задания, нажимайте клавишу с цифрой правильного ответа.^[15] При контроле с помощью бланков инструкция другая: обвести кружком номер правильного ответа.

Маневры при движении вагонами вперед по свободным железнодорожным путям, а также восстановительных и пожарных поездов производятся со скоростью не более:

1) 25 км/ч;

2) 20 км/ч;

3) 15 км/ч.

В развитом тестовом процессе задания только с тремя ответами создаются не намеренно. Они возникают как следствие сокращения неработающих дистракторов в заданиях с большим числом ответов в процессе эмпирической проверки первых вариантов теста.

Принципы композиции. При разработке заданий с тремя ответами используются те же принципы, как и в заданиях с двумя ответами, плюс один новый - принцип градуирования. Кроме того, дополнительно появляются возможности применения сразу двух принципов в одном задании.

В числе первых назовем принцип противоположности. По своим логическим свойствам он предполагает возможность промежуточных состояний, что и используется здесь для увеличения числа ответов до трех. ^[16] В заданиях с тремя ответами этот принцип проявляется, по меньшей мере, в трех вариантах.

Первый вариант представляет пример, когда имеется всего только три возможных состояния.

Например: в краску какого цвета должен быть окрашен тормозной башмак:

1) яркую;

2) яркую, красную;

3) красную.

Во втором варианте противоположные понятия разделяются по правилам трехзначной логики, как это сделано в следующих примерах.

При сильном (более 15 м/с) ветре, направление которого совпадает с направлением возможного ухода вагонов, норма закрепления (на каждые 200 осей закрепляемой группы) увеличивается укладкой под колеса вагонов:

1) трех дополнительных тормозных башмаков;

2) пяти дополнительных тормозных башмаков;

3) семи дополнительных тормозных башмаков.

Для композиции заданий с тремя ответами часто используется и другой принцип – однородности. Пример - железнодорожные узлы образуются в местах пересечения или слияния не менее:

1) трех железнодорожных линий;

2) четырех железнодорожных линий;

3) двух железнодорожных линий.

Рассмотрим теперь задания с тремя ответами, построенные по принципу кумуляции. Это задания с постепенно расширяющимся числом символов и с расширяющимся смыслом (содержанием) ответов. Это довольно интересный принцип, который ассоциируется с идеей кумуляции (накапливания, наращивания) в широком смысле слова, что позволяет сформировать такую систему знаний, в которой нет пробелов^[17].

Например: главные железнодорожные пути – это:

1) железнодорожные пути перегонов;

2) железнодорожные пути перегонов  а также железнодорожные пути железнодорожных станций, являющиеся непосредственным продолжением железнодорожных путей прилегающих перегонов;

3)  железнодорожные пути перегонов  а также железнодорожные пути железнодорожных станций, являющиеся непосредственным продолжением железнодорожных путей прилегающих перегонов и, как правило  имеющие отклонения на стрелочных переводах.

Стандартизация. Напомним, что мы начали с определения психологического теста как стандартизованного измерения. Стандартизация подразумевает единообразие процедуры проведения и оценки выполнения теста. Если мы хотим, чтобы показатели, полученные разными людьми, были сравнимыми, условия тестирования должны быть одинаковыми для всех. Такое требование — всего лишь конкретное применение. Чтобы обеспечить единообразие условий тестирования, создатель теста дает подробные указания по проведению каждого вновь разработанного теста. Формулирование таких указаний — важная часть стандартизации нового теста.

Другой важный этап в стандартизации теста — установление норм. Психологические тесты не имеют заранее определенных стандартов их успешного или неуспешного выполнения; критерии выполнения каждого теста устанавливаются на основе эмпирических данных.

Объективное измерение трудности. Тесты с полным основанием можно охарактеризовать как объективные. Определение уровня трудности одного задания или теста в целом основывается на объективных эмпирических процедурах. ^[18]

Надежность. Действительно ли данный тест  отвечает своему назначению

возможно выяснить, проведя эмперическую проверку. Объективная оценка психологических тестов предполагает в первую очередь определение их надежности и валидности в строго заданных ситуациях. В психометрии термин «надежность» по существу означает согласованность.

Надежность теста есть согласованность оценок у обследуемых лиц при их повторном тестировании тем же самым тестом или его эквивалентной формой. Если измерение IQ ребенка в понедельник дает коэффициент интеллекта, равный 110, а в пятницу, при повторном тестировании, равный 80, то очевидно, что ни к одной из этих оценок нельзя отнестись с доверием.

Прежде чем давать разрешение на широкое использование психологического теста, необходимо провести тщательную объективную проверку его надежности. Надежность может проверяться путем сравнения результатов теста, получаемых при его проведении на одних и тех же людях в различные моменты времени, с использованием разных наборов заданий, при смене лиц, проводящих или  оценивающих его выполнение, а также при варьировании любых других условий тестирования.

Под надежностью понимается устойчивость, или согласованность результатов теста, получаемых при повторном его применении к тем же испытуемым различные моменты времени, при использовании разных наборов эквивалентных заданий или же при изменении других условий обследования.

Понятие надежности обычно охватывает несколько аспектов устойчивости тестовых показателей. В самом широком смысле надежность теста показывает, в какой степени индивидуальные различия в тестовых показателях могут быть отнесены на счет «истинных» различий в изучаемых свойствах, в какой могут быть приписаны случайным ошибкам. ^[19]

3.Конструирование тестового задания с учетом специфики дисциплины и    получаемой профессии

Тематика и содержание тестовых заданий, при их разработке, безусловно должны плотно переплетаться с будущей повседневной рабочей деятельности обучаемого. Это важно, поскольку понимая практическое применение получаемых знаний и тестовых заданий как инструмента выявления уровня компетенции, будущий работник правильно выстраивает их взаимную зависимость и значимость.

К примеру при разработке структуры тестовых заданий для промежуточной (итоговой) аттестации по дисциплине "Организация работы железнодорожной станции" первоначально необходимо ознакомиться как с самим предметом, так и с профессиями при обучении на которые преподается данная дисциплина. Необходимо определить на формирование каких знаний у обучающихся направлено содержание программы, что должны знать, уметь обучающиеся в результате изучения данного предмета.

Для более плотного ознакомления со спецификой профессий, необходимо рассмотреть основные рабочие обязанности, характеристику работ изучаемой профессии. Тестовые задания для определения профессиональных компетенций по профессиям должны разрабатываться учитывая их специфику, характер трудовых обязанностей.

Автор концепции трехэтапного тестового процесса В.С. Аванесов считает, что овладение формой необходимое, но не достаточное условие для разработки качественного теста. Поэтому на следующем этапе проводится эмпирическая проверка заданий в тестовой форме на наличие у них тестовых свойств. Те задания, которые такую проверку выдерживают, В.С. Аванесов относит к тестовым.

Ознакомившись с учебное пособие Семеновская С.А. « Психологическое тестирование» представлены некоторые инструменты, методы из него. К примеру, оформление результатов апробации теста в виде матрицы.

 Составленная  матрица, порядок составления и ее анализ представлен в приложении № 3. Как видно из матрицы,  вопросы №№ 2, 4,7  были признаны малопригодными для теста. На вопросы 2 и 4 все обучающиеся дали правильный ответ, что свидетельствует о слишком легком задании. На вопрос 7 ни один из обучающихся не дал правильного ответа – что так же требует его исключения из теста с последующей переработкой.

Тестовое задание проводилась в группе, обучающихся одновременно по трем профессиям  (составитель поездов,  регулировщик скорости движения вагонов, сигналист (хозяйство перевозок). Предмет «Организация работы железнодорожной станции» входит состав рабочей программы по всем трем профессиям, тесты в данном случае были видом промежуточного контроля знаний. Определялось качество усвоения знаний обучающимися по конкретному разделу – закрепление подвижного состава.

Основной целью прохождения теста было дифференцировать испытуемых по уровню овладения знаниями по указанному разделу предмета. Не менее значимой целью являлось выявление малопригодных вопросов, для доработки или их исключения из теста, то есть его апробация, требующая неоднократного ее повторения, поскольку для принятия решения относительно уровня сложности заданий требуется проверка на значительно большем количестве испытуемых.

При процедуре тестирования выполнены обязательные требования: испытуемые находились в равных условиях, предварительно о тесте обучающиеся были предупреждены, инструкция по его проведению доведена в доступной форме. Во время проведения теста установилась гармоничная, не тревожная, рабочая обстановка.  

В.С. Ким в свей работе «Тестирование учебных достижений» акцентирует внимание на двух ошибках при планировании времени тестирования.

Слишком малое время тестирования приведет к тому, что как слабые, так и сильные ученики не успеют выполнить все задания. Результатом станет снижение дифференцирующей способности теста. Будет не понятно, почему испытуемый не выполнил задание: потому что не знал ответа  или потому что вообще не успел к нему обратиться.

Слишком большое время, отведенное на выполнение теста. В этом случае сильные ученики, успевшие пройти тестирование досрочно, начинают отвлекать других, подсказывать более слабым ученикам, что нарушает процедуру тестирования (испытуемые перестают быть поставленными в равные условия).

В завершении методических рекомендаций отметим, что при составлении заданий необходимо уделять внимание дизайну, а именно размеру, типу  шрифта, положению вопросов на листе, оформлению инструкции теста. Согласно высказываниям С.А.Семеновской относительно важности дизайна тестового задания- мелочей при конструировании теста быть не может, учитывая ограниченность испытуемых во времени необходимо создать им визуальный комфорт при выполнении задания.

СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ

1. Аванесов С.В. История тестов  http://testolog.narod.ru/history6.html

2. Аванесов В.С. Теория и практика педагогических измерений (материалы публикаций), Подготовлено ЦТ и МКО УГТУ-УПИ, 2005 г. http://charko.narod.ru/tekst/biblio/Avanesov_Teoriya_i_metod_ped_izmer.pdf.  

3. Семеновская С.А.  Психологическое тестирование: учебное пособие для студентов, обучающихся по направлению подготовки 050100 – Педагогическое образование, профиль подготовки – «Филологическое образование»   – Саратов. 2015.- 57 с., С. 11

4. Анастази А., Урбина С.Психологическое тестирование 7-е изд.: Спб. 2007.-688 с.

5. В.С. Ким «Тестирование учебных достижений».- Уссурийск: Издательство УГПИ, 2007

6. Воронин Ю.А. Современные средства оценивания результатов обучения: Курс Лекций.- Воронеж, 2004.

7. Звонников В.И., Челышкова Н.Б. Современные средства оценивания результатов обучения. – М.: Издательский центр «Академия», 2007.

8. Самылкина Н.Н.Современные средства оценивания результатов обучения. –М.: Бином. Лаборатория знаний, 2007.

9. Хромова С.А. Современные средства оценивания результатов обучения. – Саратов, 2010.

10. Гуревич К.М. Психологическая диагностика. Учебное пособие. -М., 1997.

 11. Клайн П. Справочное руководство по конструированию тестов. Киев, 1994.

12. Внутрикорпоративный портал ОАО «РЖД» АСУ ОДИТ http://wquickr.orw.oao.rzd/lotus/myquickr/

13. Внутрикорпоративный портал ОАО «РЖД Кадровая и молодежная политика ОАО «РЖД» http://doc.rzd.ru/doc/public/ru

14. www.rzd.ru - сайт ОАО «РЖД».

15. www.mintrans.ru - сайт Министерства транспорта Российской Федерации.

16. http://www.fipi.ru/ - сайт Федеральный институт педагогических измерений

ПРИЛОЖЕНИЯ

Приложение № 1

Вариант тестового задания для проведения промежуточного контроля знаний,  дисциплина "Организация работы железнодорожной станции", раздел «закрепление подвижного состава (первоначальный вариант)

Обведите кружком номер правильного ответа. В каждом задании может быть только один правильный ответ.

1.  В каком месте на  тормозном башмаке наносится  маркировка (клеймо)

а) не более 70 мм. от носка полоза

б) не более 70 мм. от опорной колодки

в) не менее 70 мм. от опорной колодки

2. Где разрешается устанавливать тормозной башмак

а) на внутренний рельс кривой

б) непосредственно перед рельсовым стыком (менее 1м.)

в) перед крестовиной стрелочного перевода

3. В каком месте  и краской какого цвета на тормозной башмак наносится   номер 

а) сбоку и с торца опорной колодки, белой краской

б) сбоку или с торца опорной колодки, яркой краской

в) сбоку или с торца опорной колодки, белой краской

4. В краску какого цвета должен быть окрашен тормозной башмак:

а) яркую

б) яркую, красную

в) красную

5. Разрешается ли укладывать тормозные башмаки под одну ось

а) Да

б) Нет

в) Разрешается только со стороны уклона.

6. Разрешается ли при укладке тормозного башмака заходить в колею пути

а) Да

б) Нет

7.  Не запрещается эксплуатировать тормозные башмаки:

а) с лопнувшей головкой

б) с покоробленной и изогнутой подошвой

в) с лопнувшим, надломленным, расплющенным или изогнутым носком подошвы

г) с ослабленным креплением головки с подошвой

д) с обледенелой ручкой

е) с поврежденными или значительно изношенными бортами подошвы

8. При сильном (более 15 м/с) ветре, направление которого совпадает с направлением возможного ухода вагонов, норма закрепления (на каждые 200 осей закрепляемой группы) увеличивается укладкой под колеса вагонов:

а) трех дополнительных тормозных башмаков

б) пяти дополнительных тормозных башмаков

в) семи дополнительных тормозных башмаков

9. Какими тормозными башмаками из предложенных вариантов НЕ запрещено пользоваться:

а) с обледенелым или замасленным полозом

б) с отсутствующие маркировкой

в)  не окрашенным

10. На станционных железнодорожных путях с сильно замасленными поверхностями рельсов, нормы закрепления подвижного состава:

а) увеличивается в 1.5 раза

б) увеличивается 2 раза

в) не увеличивается

11. С каким интервалом в течении смены проводятся проверки наличия  тормозных башмаков и закрепление подвижного состава

а) 3 часа

б) 5 часов

в) 2 часа

12. Очень сильный (штормой) это ветер скорость которого:

а) более 20 м/с

б) 20 и более м/с

в) 15 и более м/с

13. Станция Рутченково, код станции 48050, тормозной башмак номер 13, выберите правильную  маркировку (клеймо) тормозного башмака

а) 48050 – РУТ-013

б) 48050-13

в) 48050-013

14. Допускается ли закрепление групп вагонов на одном пути с установкой тормозных башмаков на разные нити пути

а) Да

б) Нет

15. На каких тормозных башмаках не указываются инвентарные номера

а) Применяемых для закрепления хозяйственных поездов

б) применяемых для торможения вагонов

в) находящихся на локомотивах

Приложение №2

Вариант тестового задания для проведения промежуточного контроля знаний,  дисциплина "Организация работы железнодорожной станции", раздел «закрепление подвижного состава» после внесенных изменений (с учетом анализа апробации, выявления малопригодных вопросов).

Обведите кружком номер правильного ответа. В каждом задании может быть только один правильный ответ.

1.  В каком месте на  тормозном башмаке наносится  маркировка (клеймо)

а) не более 70 мм. от носка полоза

б) не более 70 мм. от опорной колодки

в) не менее 70 мм. от опорной колодки

2. Тормозные башмаки, пришедшие в негодность в процессе эксплуатации

а) изымаются с рабочего места для дальнейшего их ремонта

б) изымаются с рабочего места для дальнейшего их ремонта или исключения из инвентаря (утилизации)

в) изымаются с рабочего места для исключения из инвентаря (утилизации)

3. В каком месте  и краской какого цвета на тормозной башмак наносится   номер 

а) сбоку и с торца опорной колодки, белой краской

б) сбоку или с торца опорной колодки, яркой краской

в) сбоку или с торца опорной колодки, белой краской

4. В краску какого цвета должен быть окрашен тормозной башмак:

а) желтую

б) яркую

в) красную

5. Разрешается ли укладывать тормозные башмаки под одну ось

а) Да

б) Нет

в) Разрешается только со стороны уклона

6. Разрешается ли при укладке тормозного башмака заходить в колею пути

а) Да

б) Нет

7.  При закреплении вагонов на путях НЕ запрещается

а) устанавливать тормозной башмак под движущиеся вагоны

б) подкладывать под колесные пары посторонние предметы вместо тормозных башмаков для закрепления вагонов

в) устанавливать тормозной башмак на внутренний рельс кривой

8. При сильном (более 15 м/с) ветре, направление которого совпадает с направлением возможного ухода вагонов, норма закрепления (на каждые 200 осей закрепляемой группы) увеличивается укладкой под колеса вагонов:

а) трех дополнительных тормозных башмаков

б) пяти дополнительных тормозных башмаков

в) семи дополнительных тормозных башмаков

9. Какими тормозными башмаками из предложенных вариантов НЕ запрещено пользоваться:

а) с обледенелым или замасленным полозом

б) с отсутствующие маркировкой

в)  не окрашенным.

10. На станционных железнодорожных путях с сильно замасленными поверхностями рельсов, нормы закрепления подвижного состава:

а) увеличивается в 1.5 раза

б) увеличивается 2 раза

в) не увеличивается

11. С каким интервалом в течении смены проводятся проверки наличия  тормозных башмаков и закрепление подвижного состава

а) 3 часа

б) 5 часов

в) 2 часа

12. Очень сильный (штормой) это ветер скорость которого:

а) более 20 м/с

б) 20 и более м/с

в) 15 и более м/с

13. Станция Рутченково, код станции 48050, тормозной башмак номер 13, выберите правильную  маркировку (клеймо) тормозного башмака

а) 48050 – РУТ-013

б) 48050-13

в) 48050-013

14. Допускается ли закрепление групп вагонов на одном пути с установкой тормозных башмаков на разные нити пути

а) Да

б) Нет

15. На каких тормозных башмаках не указываются инвентарные номера

а) Применяемых для закрепления хозяйственных поездов

б) применяемых для торможения вагонов

в) находящихся на локомотивах

Приложение № 3

Матрица результатов тестирования

Матрица позволяет анализировать не только уровень владения знаниями по данному разделу испытуемыми, но и особенностях самих заданий теста.

Для составления матрицы использованы данные из опросных листов обучающихся. В случае правильного ответа в соответствующую номеру вопроса колонку выставляется «1», в противном случае – «0».

Проанализировав матрицу, можно сделать вывод, что  вопросы №№ 2, 4,7  являются малопригодными для теста. На вопросы 2 и 4 все обучающиеся дали правильный ответ, что свидетельствует о слишком легком задании. На вопрос 7 ни один из обучающихся не дал правильного ответа – что так же требует его исключения из теста с последующей переработкой.