Формирование модели оценки качества образования в период введения ФГОС второго поколения
методическая разработка по теме

Формирование модели оценки качества образования

в период введения ФГОС второго поколения

В настоящее время  активно обсуждается тема формирования модели оценки качества образования в период введения ФГОС второго поколения.

Проблема оценки качества образования вызывает большой интерес как практических работников, так и ученых. В последние годы появилось немало исследований, связанных с вопросами  теории и методики педагогического анализа в оценке результатов деятельности школы. Была создана фундаментальная теоретическая база по этой проблеме.

И все-таки разработка модели оценки качества образования до сих пор остается проблемой потому, что исключительно трудно осуществить последовательное сопоставление целей образования с достигаемыми результатами обучения. Цели образования выражены, как правило, в весьма общих и потому абстрактных категориях: «подготовить квалифицированного специалиста», «сформировать научное мировоззрение», «вооружить научной методологией» и т. п. Измерение же результатов обучения проводится на совсем ином уровне — более узком, более конкретном, более осязаемом. Получается, что конечные цели образования и результаты обучения, проверяемые в конкретной оценочной ситуации, формулируются на разных языках. Цели — на языке интегральных, общих категорий, а результаты — на языке конкретных знаний, умений, навыков, то есть языке действий. Для выработки эффективных и достаточно строгих критериев оценивания необходимо стараться излагать цели и результаты обучения на одном и том же языке, в одних и тех же понятиях и терминах, что не всегда представляется возможным. Поэтому важно выбрать такую систему измерения  и диагностики, которая  позволила бы и учителю, и администрации школы своевременно получать информацию о качестве образовательного процесса, сравнивая полученные показатели с прогнозируемыми, создавать условия для мониторинга качества обучения и управляемого развития и класса, и школы.
          Сегодня я предлагаю вашему вниманию методику Надежды Борисовны Фоминой, канд. пед. наук, зав. лабораторией оценки качества образования Московского центра качества образования, которая разработала программу   оценки качества образования, основанную на применении методов педагогической квалиметрии.

КВАЛИМЕ'ТРИЯ -  (от лат. qualis - качество) наука о методах количественной оценки качества продукции.

Термин квалиметрия очень удобен: он достаточно точно передаёт содержание понятия «измерение качества»; составные его части понятны для людей, говорящих на разных языках; характер термина позволяет легко образовывать любые нужные производные слова: например, учёный, исследователь, занимающийся квалиметрией, — квалиметролог; подход к изучению какого-то объекта, с точки зрения измерения, оценивания его качества, — квалиметрический подход и т. д. 
          Конечной целью квалиметрии является разработка и совершенствование методик, с помощью которых качество конкретного оцениваемого объекта может быть выражено одним числом, характеризующим степень удовлетворения данным объектом общественной или личной потребности

Применение методов педагогической квалиметрии   в оценке качества образования

В школьной  практике имеют место такие средства измерения, как тест (стандартизированная измерительная  процедура) и письменная контрольная работа (традиционная форма дидактического контроля).

На  протяжении последнего десятилетия отношение к тестам как точным измерителям степени сформированности учебных знаний, умений, навыков изменилось от резкой критики до признания тестирования едва ли не самым основным средством оценки уровня знаний. Можно отметить такие  преимущества тестов, как высокая  информативность,  строгая стандартизация процедуры проведения и оценки, простота и доступность для использования.

Традиционный анализ письменной работы (например,  по русскому языку), как правило, проходит по определенной схеме:  

1) число учащихся, писавших работу;  

2) число работ без ошибок;  

3) допустили ошибки;  

4) оценки.  

Данный анализ малоинформативен, т.к.  измерение  результатов учебного  процесса осуществляются  без учета уровня  реальной подготовки как  каждого ученика, так  и класса в  целом. Поэтому основной процедурой, предшествующей собственно анализу контрольной работы,  должна стать процедура диагностики ожидаемых результатов, проведенная с применением  методов квалиметрии.  

Программа Фоминой, также как и традиционная, считает коэффициенты качества и обученности, только они получили название индексов, и новый для нас коэффициент – ИРО – индекс ожидаемых результатов. Оценка учебных достижений учащихся производится в ходе анализа контрольных работ как уровня освоения практической части программы (умения и навыки)  и анализа оценочных показателей за четверть (триместры) и год как уровня освоения теоретической (знаниевой) части программы. 
            Если принять предмет анализа (качество образования) за систему, то в ней можно выделить две подсистемы (ожидаемые показатели и полученные показатели), каждая из которых представляет совокупность элементов и находится в сравнении по отношению к другой.

Таким образом, элементы подсистемы "Ожидаемые показатели" должны сравниваться по своим количественным значениям с элементами подсистемы "Полученные показатели". Сегодня мы остановимся на характеристике ожидаемых (прогнозируемых) показателей и методах их получения.

Ожидаемые (прогнозируемые) показатели предназначены для более объективного анализа результатов деятельности каждого обучающегося, отдельного класса и ОУ в целом. Они постоянны на весь учебный период (четверть, триместр), но могут меняться в зависимости от изменений в результатах учебного процесса. Так как это фиксированные показатели, им присвоили значение индексов (комбинации символов, характеризующих состояние системы). Таких индексов, в совокупности характеризующих ожидаемые результаты обучения, несколько:

• индекс ожидаемой результативности – ИРО;
• индекс качества обучения – ИКО;
• индекс прогнозируемой степени обученности – ИСО;
• индекс неуспешности – ИНО.

Под элементами подсистемы «Полученные показатели» мы понимаем:  

РЕЗ – результативность,  

ОЦ - оценочный показатель,  

КО - показатель качества образования,  

УР - показатель уровня реализации ожидаемых результатов обучения,  

СО – показатель степени обученности,  

НО - показатель неуспешности.  

Характеристики индексов

Индекс ожидаемой результативности (ИРО) - представляет собой определяемую в ходе  диагностики фиксируемую величину, характеризующую предполагаемый объем усвоения изучаемого материала, выраженный в количественном значении.

В ходе анализа контрольной работы (теста) мы получаем несколько характеристик результатов обучения, одной из которых является результативность (процент освоения или процент выполненных заданий). Педагогическая диагностика позволяет спланировать этот результат. Мы сможем не только узнать, какова будет результативность в ходе выполнения предстоящей контрольной работы, но и определить уровень ее выполнения (высокий, достаточный, низкий). Определяется этот показатель по процентному отношению полученной в ходе диагностики суммы баллов к максимально возможной.

Индекс качества обучения (ИКО) - величина, показывающая долю учащихся с высокими  учебными способностями  в процентном отношении к общему количеству учащихся класса.

Определяется этот показатель по отношению количества учащихся, получивших в ходе диагностики индивидуальный балльный индекс «4» и выше, к общему количеству учащихся.

Индекс прогнозируемой степени обученности (ИСО) – показатель  прогнозируемой  успеваемости (степени  обученности). 

Мы можем с большой долей вероятности спрогнозировать степень обученности учащихся. Это особенно актуально для классов, выходящих на итоговую аттестацию. Показатель степени обученности часто отождествляют с успеваемостью. Но успеваемость может быть 100% (что чаще всего и происходит), а прогнозируемый показатель степени обученности откроет реальную картину, далекую от той идеальной, которую мы можем увидеть в классном журнале по итогам учебного периода. Определяется этот показатель  по отношению количества учащихся, получивших в  ходе диагностики индивидуальный балл «3» и выше, к общему количеству учащихся.

Индекс прогнозируемой неуспешности (ИНО) – показатель прогнозируемого объема заданий, в выполнении  которых у учащихся  возникнут затруднения.

Этот индекс по своему значению связан с показателем ИРО (чем выше показатель результативности, тем ниже показатель неуспешности в выполнении контрольных работ или тестовых заданий). Значения индекса характеризуют предполагаемый объем невыполненных заданий. Задачей учителя является снижение этого показателя (в отличие от остальных индексов, значения которых желательно увеличить). Определяется этот показатель также в ходе диагностики. Разница между значением 100% и показателем ИРО является числовым выражением ИНО.

           Таким образом, математическая модель измерения (оценки) качества образования может быть представлена следующей схемой:  

РЕЗ     >    ИРО,  

ОЦ     =     РЕЗ,  

КО     >     ИКО,  

УР      >           0,  

НО     <      ИНО.  

Разработанная модель оценки результатов обучения в ходе анализа контрольных работ (тестов)  предполагает  принципиально новый  путь  организации  аналитической деятельности учителя (администрации). Для того чтобы реализовать эту модель, необходимо  четко представлять реальное  состояние, характеризующее первоначальное состояние качества  образования по всем показателям.  

Прогнозируемые (ожидаемые)  показатели определяются в  ходе обработки данных диагностических карт,  которые имеют  несколько  модификаций  в  зависимости  от  целей  диагностики  и  учебного периода (1-я или последующие четверти (триместры). 

Методика определения (ожидаемых) прогнозируемых показателей 

В ходе исследования автором были разработаны следующие способы диагностики:

- по среднему арифметическому значению всех оценок каждого ученика класса, определенному по итоговым оценкам за год, выставленным в классный журнал (это нерентабельный метод, провоцирующий приближенный характер последующих вычислений);

- по текущим оценкам за год. Этот способ точнее предыдущего, однако он трудоемок, т. к. требует большого количества времени на обработку и накопление необходимого количества оценок (по всем учебным периодам). В настоящее время этот метод не используется в связи с разработкой более точных и менее трудозатратных методов;

- выставленной или предполагаемой оценке по предмету за учебный период. Это очень распространенный метод, однако он не обладает точностью, необходимой для дальнейших вычислений. Он может быть использован в первом учебном периоде как первичный показатель, который затем может корректироваться с учетом изменений в результатах обучения;

- диагностической таблице с использованием метода групповых экспертных оценок,  (далее – ГЭО). Диагностическую карту заполняет каждый учитель, работающий в классе; необходимые показатели выводятся по среднему арифметическому полученных данных (методика В.С. Черепанова);

- метод  диагностирующих контрольных работ (по результатам всех контрольных работ, проведенных в классе по всем предметам; для получения интегральных индексов).

Соответствие полученных показателей прогнозируемым (индексам) позволяет судить о стабильности результатов или о превышении полученных показателей, т. е. о приращении качества.

Широкое распространение  получил метод «диагностирующих контрольных работ», в ходе которого определяются интегральные показатели. Этот метод   отличается полнотой, точностью и объективностью процедуры диагностирования.  

В зависимости от цели применения индексы бывают двух типов: предметные и интегральные (общие). Предметные индексы предназначены для сравнения результатов деятельности учителя с его же собственными показателями (для сопоставительного анализа). Интегральные индексы позволяют сравнивать результаты деятельности отдельного учителя с результатами других учителей, работающих в этом же классе (для сравнительного анализа).

Методы определения предметных индексов

1. Метод определения предметных индексов по оценкам, выставленным учащимся за четверть (триместр)

Предметные индексы применяются только в ходе анализа контрольных работ и нужны для сопоставительного анализа и проверки достоверности полученных результатов.

Определение предметных индексов при помощи этого метода носит приближенный характер, однако позволяет проверить достоверность оценок, выставленных учителем по предмету за четверть (триместр) при проведении контрольной работы в этом классе.

Для проведения диагностики необходим классный журнал с выставленными за учебный период итоговыми оценками по предмету, диагностическая карта № 1, калькулятор (или соответствующая электронная программа).

ДИАГНОСТИЧЕСКАЯ КАРТА № 1

____ класса

по

 ("___" __________201_ г.)

ИРО =     %                      ИСО =     %

ИКО =     %                     ИНО =     %

Учитель ___________________________________

Формулы диагностики

1. Индекс ожидаемой результативности (ИРО)

 ИРО =  

2. Индекс качества обучения (ИКО)

ИКО =

3. Индекс прогнозируемой степени обученности (ИСО)

ИСО =

4. Индекс неуспешности (ИНО)

ИНО = 100% – ИРО.

ПРИМЕР

Для заполнения диагностической карты № 1 необходимо действовать по следующему алгоритму:

1. Внесите список учащихся класса в бланк строго в соответствии с журналом.

2. Выпишите из журнала оценки, выставленные учащимся по интересующему вас предмету за четверть (триместр).

3. Проставьте в графе "Индивидуальный балл" значения в баллах ("5" = 5,0; "4" = 4,0; "3" = 3,0; "2" = 2,0).

4. Внесите все итоговые показатели (количество учащихся, количество обучающихся на "4" и "5", на "2"), вычислите сумму индивидуальных баллов.

5. По формулам вычислите предметные индексы этого класса. Внесите полученные данные в диагностическую карту.

 ИРО =  

ИКО =  

ИСО =  

ИНО = 100% - ИРО = 100% - 84 % = 16%.

Эти данные позволят соотнести результаты, полученные в ходе анализа контрольной работы, проведенной в этом классе, с ожидаемыми результатами (прогнозируемыми).

Интерпретация показателей диагностики. В данном конкретном случае мы ожидаем при проведении контрольной работы, например, по русскому языку:

- результативность выполнения не ниже 84%;

- процент количества учащихся, выполнивших работу на "4" и "5", не ниже 67;

- степень обученности (успеваемость) – 100%;

- показатель неосвоенных элементов содержания не должен превышать 16%.

Превышение показателей ИРО и ИКО будет свидетельствовать о приращении полученного качества к прогнозируемому.

2. Метод определения предметных индексов по текущим оценкам (применяется при отсутствии оценочных показателей за учебный период) 

Нередко анализ результатов учебного процесса требуется сделать уже в течение первого учебного периода, т. е. когда оценки по итогам четверти, триместра (а в старших классах иногда и полугодия) еще не выставлены. А ведь именно в первом учебном периоде проходят очень важные срезы знаний, по которым можно судить о степени освоения учащимися материалов за прошедший учебный год и наметить программу ликвидации появившихся пробелов в усвоении образовательной программы.

В этом случае можно воспользоваться следующим методом диагностики – по текущим оценкам, выставленным учащимся по предмету за учебный период, с обязательным учетом оценок, полученных учащимися за уже проведенные контрольные работы.

Для осуществления диагностики необходим классный журнал с выставленными за учебный период текущими оценками по предмету, диагностическая карта № 2, калькулятор (или соответствующая электронная программа).

Для заполнения диагностической карты № 2 необходимо учесть наиболее часто повторяющиеся оценки у каждого ученика класса, включая оценки за контрольные работы. Так как диагностическую карту заполняет учитель-предметник, он хорошо ориентируется в предлагаемом диапазоне выбора.

ДИАГНОСТИЧЕСКАЯ КАРТА № 2

____ класса

по

 ("___" __________201_ г.)

Учитель: ___________________ (Ф. И. О.)

ПРИМЕР

Для заполнения диагностической карты № 2 необходимо действовать по следующему алгоритму:

1. Внесите список учащихся класса в бланк № 2 (строго в соответствии с журналом).

2. Выберите один показатель из данных, соответствующий типичным текущим оценкам (обязательно включая данные по контрольным работам), получаемым учащимся по предмету:

3. Проставьте в графе "Индивидуальный балл" значения в баллах в соответствии с выбранным показателем:

4. Внесите все итоговые показатели (количество учащихся, количество обучающихся на "4" и "5", на "2"). Вычислите сумму индивидуальных баллов.

 5. По формулам вычислите предметные индексы этого класса. Внесите в диагностическую карту (все вычисления проводятся по формулам, описанным в диагностической карте № 1).

ИРО =

ИКО =

ИСО =

ИНО = 100% – 82% = 18%.

Эти числовые данные позволят внести коррективы в результаты диагностики, полученные с помощью диагностической карты № 1. Сохраняя все основные ожидаемые показатели, они обращают наше внимание на индекс ИСО, который позволяет увидеть те затруднения части учащихся в освоение образовательной программы (в данном случае это учащийся № 9), которые никогда не проявляются в оценках, выставленных за учебный период.

Интерпретация показателей диагностики. В данном случае мы ожидаем при проведении контрольной работы, например, по алгебре:

• результативность выполнения не ниже 82%;
• процент количества учащихся, выполнивших работу на "4" и "5", не ниже 67;
• степень обученности (успеваемость) – 89%;
• показатель неосвоенных элементов содержания не должен превышать 18%.

Превышение показателей ИРО, ИКО и ИСО будет свидетельствовать о приращении полученного качества к прогнозируемому.

Практическая работа

Предлагаю заполнить диагностические карты для каждого предмета, по которому проводятся или планируется проведение текущих контрольных работ. Наличие карт по ряду предметов делает возможным переход на более высокий уровень диагностики – диагностику методом ГЭО.

Задание № 1.

Уважаемые коллеги!

Вычислите индексы класса по приведенной ниже таблице. Желаем успехов!

Диагностическая карта

7Б класса по русскому языку

(__  _________2012 г.)

                             ИРО = …%      ИСО = …%.  

                             ИКО = …%       ИНО = …%

Методы определения интегральных индексов

Можно выделить следующие интегральные индексы:

- по оценкам за учебный период;

- метод ГЭО (групповых экспертных оценок);

- по результатам контрольных работ.

Метод определения интегральных индексов по оценкам за учебный период носит приближенный характер и может применяться только в тех случаях, когда нельзя использовать другие методы.

Метод ГЭО применяется в первом учебном периоде. Интегральные индексы определяются по текущим оценкам. Технологически этот метод повторяет метод определения предметных индексов по текущим оценкам. Для проведения данной диагностики можно воспользоваться двумя вариантами сбора информации:

- необходимо собрать диагностические карты, заполненные текущими оценками автономно каждым учителем-предметником, работающим в классе, и занести данные в сводную таблицу ГЭО;

- распечатать таблицу ГЭО и предоставить возможность каждому учителю внести свои показатели в общую таблицу, разъяснив предварительно ход работы.

Для проведения процедуры диагностики необходим классный журнал с выставленными за учебный период итоговыми оценками по всем предметам, диагностическая карта, калькулятор.

Диагностическая карта №3

___класса

(«____»_____________20___г.)

ИСО =  ____%              ИСО = _____%

ИКО =  ____%              ИНО = _____%

Классный руководитель: _______________________________ (Ф.И.О.)

Для заполнения диагностической карты №3 воспользуйтесь методическими рекомендация к диагностической карте №2

Данная диагностическая работа позволяет оценить деятельность каждого учителя.

ИРО =               ИСО =

ИКО =                ИНО = 100% - 84% = 16%

Применять результаты этой диагностики в ходе анализа контрольной работы всего класса нельзя, т.к. у части учащихся инд.баллы завышены (ведь учитывались не только предметы, по которым проводятся контрольные работы и на основании которых анализируются результаты обучения, но и др.предметы: физкультура, музыка, рисование).

Практика показала, что метод диагностических контрольных работ самый точный и объективный, однако вычисление интегрального индекса можно провести только по истечении очередного учебного периода (четверти, полугодия). Интегральные индексы определяются по окончании учебного периода и актуальны в течение всего следующего учебного периода. Рекомендую использовать метод ГЭО в первом учебном периоде, а в последующем пользоваться только данными, полученными методом диагностических контрольных работ.

Для проведения процедуры диагностики необходимы классный журнал с выставленными за учебный период оценками за контрольные работы по предметам, диагностическая карта, калькулятор. По русскому языку выписываются оценки только за контрольные диктанты и тесты. Оценка за грамматическое задание не учитывается, в диагностическую карту заносится лишь первая оценка – за грамотность. Оценка за сочинение и изложение также не учитываются в связи с их низкой валидностью. Так, например, при изучении тем «Причастие» и «Деепричастие» валидными являются такие средства измерения, как контрольные диктанты и тесты.

Диагностическая карта №4

___класса

(«____»_____________20___г.)

ИСО =  ____%              ИСО = _____%

ИКО =  ____%              ИНО = _____%

Классный руководитель: _______________________________ (Ф.И.О.)

Методические рекомендации к диагностике «Метод диагностических контрольных работ»    

1.Распечатайте бланк.    

2.Внесите список учащихся класса (по журналу).    

3. Выпишите оценки, полученные учащимися за учебный период по результатам контрольных  работ (тестов).  

(По русскому языку выписываются оценки только за контрольные диктанты или тесты.   Оценка за грамматическое задание не учитывается)      

  4.Вычислите средний показатель.      

5.В соответствии с прилагаемой ниже таблицей выберите соответствующий индивидуальный  балл (типичный показатель).  

Выбор типичного показателя:                                              

               2,0   2,1  2,2        

2,3  2,4   2,5   2,6  2,7      

2,8  2,9   3,0   3,1  3,2        

3,3  3,4   3,5   3,6  3,7      

3,8  3,9   4,0   4,1  4,2        

4,3  4,4   4,5   4,6  4,7            

4,8  4,9   5,0

           Существует электронная программа диагностики, которую можно заказать по адресу: fominanb@inbox.ru и внести в нее данные диагностических карт.    

Заключение

На основе сопоставления полученных показателей с прогнозируемыми делаются выводы о качестве обученности учащихся класса. Оценка уровня образовательных достижений класса ведет к оценке деятельности учителей, класса и школы в целом.
         Сравнительный анализ сформированности практических умений и навыков по четвертям (триместрам) и уровнем сформированности теоретических знаний за год позволит определить, насколько в том или ином классе по какому-либо предмету наблюдается разрыв между теоретическими знаниями и практическими навыками, тем самым можно будет оценить степень формирования компетенций школьников.
          Каждый ученик индивидуален, со своими способностями и задатками. Нельзя оценивать  качество обучения, не учитывая реальные учебные возможности учеников слабого и сильного класса. Используемая методика позволяет сравнивать  результативность контрольных работ и оценочных показателей по предметам с учебными возможностями конкретного класса. Программа помогает установить уровень преподавания в соответствии с уровнем реальных учебных возможностей учащихся, тем самым, показывая на скрытые резервы и прогнозируя  учебный результат. Открытость данной информации позволит учителям повышать качество преподавания, а администрации школы управлять качеством обучения.