О проблемах создания автоматизированных систем статистической обработки и анализа результатов тестирования
методическая разработка по теме

О проблемах создания автоматизированных систем статистической обработки и анализа результатов тестирования.

Важнейшим аспектом любой образовательной деятельности является система контроля качества знаний. Активное использование образовательными учреждениями средств информатизации обеспечило предпосылки к созданию и использованию автоматизированных тестовых средств для контроля знаний обучаемых на всех этапах обучения. Актуальность таких систем очевидна не только для целей измерения уровня подготовленности, но и для проведения рейтинга обучаемых, мониторинга учебного процесса, для организации адаптивного обучения, дистанционного образования. Существуют также структурные сдвиги в Российской системе образования, которые способствуют данному процессу, например, подписание Болонского соглашения,  внедрение единого государственного экзамена (ЕГЭ), стандартизация дистанционной технологии обучения и т.п.

Актуальность тестового метода обусловлена его преимуществами перед другими педагогическими методами: научная обоснованность теста, которая даёт объективную оценку; технологичность тестовых методов;  точность измерений; наличие единообразных требований для всех испытуемых; совместимость тестовых технологии с другими современными образовательными технологиями.

Несмотря на растущую популярность государственной системы тестирования, существует несогласованность в работе по созданию тестовых материалов. Долгое время этому способствовало отсутствие теоретической основы (почти вся содержательная литература по тестированию была иностранной), которая позволяла бы не только написание авторских тестов, а построение тестов с единых позиций. Педагогическое тестирование в России имеет короткую историю. По-прежнему актуальными являются вопросы:  

• углубление теоретические знаний авторов по проблемам тестирования;
• выработка единой системы создания тестовых систем.

Уровень знаний обучаемых является латентным параметром (то есть недоступным для непосредственного измерения), для получения его значения  необходимо использовать современные научные методы составления тестов и статистический анализ результатов тестирования. Пока в полной мере не проведена статистическая обработка, тесты не могут быть признаны стандартизированными и остаются авторскими. Существуют объективные и субъективные причины, по которым авторы тестов в полной мере не проводят статистическую обработку тестов (с помощью принятых в мире пакетов компьютерных программ). Главным препятствием на этом пути является слабое владение авторами-предметниками методами и средствами анализа результатов тестирования. Чтобы российская система тестирования отвечала современным требованиям, в ближайшее время можно решить эту проблему путём создания автоматизированных систем статистической обработки и анализа результатов тестирования.

Одним из основных направлений этой работы является разработка автоматизированной среды тестирования, позволяющей пользователю:

•  разрабатывать тестовые задания;
•  обрабатывать и интерпретировать результаты теста;
•  оценивать качество тестовых заданий и вариантов тестов;
•  определять надежность тестовых результатов.

Работа над данной системой включает создание следующих базовых частей комплекса:

1. Теоретическая часть. Содержит теоретические и методологические основы тестового контроля. Содержит сравнительный анализ классической теории тестового контроля и современных теорий интерпретации результатов обработки данных тестирования. При этом рассматриваются следующие вопросы:

• основные функции тестирования;
• этапы создания теста;
• структура теста;
• спецификация теста;
• содержание теста;
• задания в тестовой форме;
• форма тестовых заданий;
• анализ принципов разработки содержания тестовых заданий;
• оптимальная длина теста;
• оптимальное время тестирования;
• статистическая обработка результатов теста;
• оценка качества теста (валидность заданий, надежность теста, эффективности теста);
• интерпретация тестовых результатов;
• методы сравнения, интеграции и представления тестовых результатов.

2. Программная часть. Позволяет разработчику разработать собственные тестовые задания различной формы. Обработка результатов тестирования производится посредством формирования матрицу тестовых результатов. Затем система автоматически рассчитывает качественные параметры теста— валидность и надежность результатов измерений, выдаются рекомендации по корректировке теста с предварительно установленным видом интерпретации тестовых результатов, проводится оценка итоговых результатов в рамках выбранной педагогической шкалы (традиционной, z-шкалы, T-шкалы, любой стандартной шкалы оценок, процентильной шкалы; результат изображаются в удобной графической форме, отчет выводится на печать. Предусматриваются следующие виды интерпретации тестовых результатов: содержательно-ориентированная интерпретация, критериально-ориентированная интерпретация и нормативно-ориентированная интерпретация тестовых результатов. Каждый вид тестов сопровождается самостоятельной формой отчета, которая учитывает специфические особенности применяемого вида интерпретации.
3. Демонстрационная часть. В автоматическом режиме демонстрируются все этапы разработки тестовых заданий, формирования вариантов тестов, статистической обработки результатов тестирования, их интерпретации и оформления отчетов.

В настоящее время данную систему планируется разрабатывать в рамках Региональной общеобразовательной системы контроля качества подготовки специалистов.

Для целей комплексного использования вся региональная информация системы тестирования будет собираться в единую базу данных, состоящую из следующих частей:

1. Банк тестовых заданий (БТЗ) - предназначен для накопления и хранения информации о тестовых заданиях и их параметрах.

2. База данных «Общеобразовательная информация (БДОИ)» - содержит справочную и оперативную информацию.

3. База данных «Статистическая информация и мониторинг (БДСИМ)» - предназначена для хранения аналитической информации по результатам проведения тестирования.

Одной из уникальных возможностей такой системы станет проведение мониторинга интеллектуального развития и потенциальных возможностей обучающихся. Такой банк данных позволит отслеживать рост талантливых специалистов, прогнозировать кадровую ситуацию, определять стратегию эффективного использования интеллектуального потенциала молодежи.

Такой широкий спектральный анализ в динамике и различных сечениях, временном и пространственном, позволяет определить основные направления совершенствования процесса образования. При этом фактически происходят визуализация учебного процесса и установление корреляции с такими факторами, как уровень профессионализма педагогов, наличие и состояние учебников и учебно-методических пособий, качество общеобразовательных стандартов, возможность повышения квалификации и внедрения новых педагогических технологий.