Рейтинговая система оценки знаний учащихся
статья на тему

Тема: Рейтинговая система оценки знаний учащихся

Аннотация

Существенным недостатком  традиционной системы оценивания знаний учащихся является её неполнота, ограниченность. На всех этапах развития школы при усилении демократических начал в ее организации на первое место выходит проблема выбора образовательным учреждением эффективной оценочной системы.

Проблема оценочной функции  школы упирается в решение трех основных вопросов:

- с какой целью необходимо оценивать успехи учащихся;

-что в первую очередь оценивать в познавательной деятельности учащихся;

-как обеспечить объективность оценок

Рейтинговая система оценивания знаний позволяет создать максимально комфортную среду обучения и воспитания, позволяет перевести учебную деятельность учащихся из необходимости во внутреннюю потребность. Позволяет в соответствии с индивидуальными особенностями осуществлять выбор учеником возможных вариантов и форм овладения дисциплиной, позволяет преподавателю расширить общение, лучше ориентироваться в интересах и потребностях учащихся, знать и учитывать их индивидуальные особенности.

Содержание

1. Виды оценочных шкал и возможности их применения ……………..3

2. Подготовительный этап для рейтинговой системы        ……………..6

3. Рекомендации по совершенствованию рейтинговой системы………7

4. Значение рейтинговой системы ……………………………………….11

5. Обработка результатов по 10 бальной системе оценок в табличном редакторе  Exel ……………………………………………………………12

Литература и интернет источники………………………………………..20

Приложение 1

1.Виды оценочных шкал и возможности их применения

Одним из существенных недостатков традиционной системы оценивания является её неполнота, ограниченность. Оценочный акт не учитывает психофизиологические возможности детей различных возрастных групп.

Различают несколько видов оценочных шкал.

Если в качестве измерения выступает числовое множество, то говорят о количественной шкале. Таким образом, количественная шкала предназначена для представления оценки числом. Это хорошо всем известная система школьных отметок.

Если точка отсчёта абстрактна, то есть лежит вне ученика, не зависит от него, а оценка знаний и усилий ученика выглядит как некий числовой символ, то говорят об абсолютной оценочной шкале. Примером могут служить привычные для нас контрольные работы и тесты, при оценивании которых осуществляется сопоставление результатов с абстрактными нормативными критериями, которым соответствуют цифровые отметки: безошибочно выполненное задание - «5», одна ошибка - «4» и т.д.

Относительная оценочная шкала предполагает сравнение текущего состояния ученика с его же состоянием некоторое время назад. Таким образом, относительная шкала связана с самим измеряемым объектом и отражает его изменение, развитие. Она снабжена своим измерительным инструментом - шкалой приращений.

В слабо структурированных областях - таких, как искусство или, скажем, личностное развитие, - чаще используются порядковые шкалы. Их особенность состоит в том, что объект оценки сравнивается с подобными объектами. Сравнение в этом случае производится экспертным путём. Экспертная оценка всегда связана с порядковой шкалой и состоит в упорядочивании множества по какому-то набору признаков или критериев. Этот способ распространен в судействе некоторых видов спорта (фигурное катание, гимнастика и др.), а также в западной системе образования. Порядковая шкала отвечает на вопрос «который?».

Когда-то подобный способ оценивания широко применялся и в школах России. Все знают, что В.Ульянов окончил гимназию первым учеником. Это не значит, что он был по каждому предмету лучшим, но по всему комплексу в целом он опережал остальных.

Такой вариант порядковой шкалы называется ранговым: каждому объекту присваивается ранг, номер в иерархии объектов. Типичные и распространённые примеры ранговых шкал - система воинских званий или система должностей на университетской кафедре.

Частный случай ранговой шкалы - рейтинговая система. По ряду признаков она имеет большое сходство с количественной шкалой, но таковой не является. Действительно рейтинг - число. Но получается оно либо путем опроса субъективных мнений экспертов (как рейтинг политических лидеров), либо путём набора очков и баллов: ответил на уроке - получил балл, написал реферат - ещё десяток баллов, сдал зачёт - опять некую сумму баллов и т.д. В конце учебного периода все баллы, набранные учеником, суммируются и формируют его рейтинг. После этого множество учеников упорядочиваются по возрастанию их рейтингов, и каждому может быть присвоен тот или иной ранг. В ряде школ рейтинговая система промежуточных оценок уже действует.

Несмотря на то, что ныне существующая система оценивания деятельности учащихся применяется длительное время, ее основные положения до сих пор не разработаны: не решена проблема объективности школьных оценок; система оценивания не выполняет в должной мере функцию инструмента воздействия на ученика; оценивание осуществляется не по всем параметрам, которые декларируется как подлежащие оценке и т.д. И как следствие этого, идет поиск других систем. Одной из них и является рейтинговая система обучения.

Рейтинговая система оценки знаний широко распространена в европейском образовании и имеет давние традиции в российской школе [1, с. 7; 6, с. 25]. Применяется данная система и в нашей стране [4; 5]. Особенно востребована она стала с переходом республики на новую систему оценивания знаний: так в инструктивно-методических материалах для учителей физики есть рекомендации, что «при выполнении контрольных и самостоятельных работ (в том числе и экспериментальных) удобно пользоваться рейтинговым подходом для определения итогового балла за работу» [3, с. 274].

Основную идею рейтингового подхода можно выразить так: ответил ученик тему на уроке – получил баллы, написал реферат – еще пару баллов, сдал зачет – еще баллы, помог товарищу – еще несколько и так далее. В конце некоторого периода все баллы, набранные учеником, суммируются и сравниваются в процентном отношении с максимально возможной суммой. После этого учеников можно ранжировать, определив их рейтинг [1, с. 7].

Кажется все просто, но почему-то широкого применения, особенно в школе, рейтинговая система не получила. Причин здесь несколько: дополнительная нагрузка по регистрации баллов и их обработке; недостаточно дидактического материала по применению системы на конкретных уроках.

2.Подготовительный этап для рейтинговой системы

Начинать необходимо с составления списка всех учебных действий, которые вы собираетесь учитывать при оценивании учеников. Затем полученный список следует ранжировать, т.е. расположить все действия по значимости для обучения, и определить стоимость каждого действия в баллах, в результате вы получите «таблицу стоимости». Более подробно теория составления таких таблиц описана Гузеевым В.В. [1, с. 10-16].

После этого необходимо решить ряд вопросов:

1. Полностью ли Вы хотите перейти на рейтинговую систему или будете использовать ее параллельно с общепринятой оценочной системой?

Для желающих использовать второй вариант предлагаю завести личный журнал, в который вы будете отмечать выполненные действия учеников или баллы за их выполнения. Тогда в классный журнал можно выставлять не все отметки, а только за отдельные виды работ, например, за самостоятельные, за контрольные и т.п. Отметку в этом случае можно рассчитать по формуле (1):

                                        (1)

где Р – набранные за работу баллы; Рmax – наибольшее число баллов, которые можно было набрать за данную работу; Omax – наибольшая отметка за данную работу. При отсутствии компьютера, для уменьшения числа расчетов, предлагаю составлять для каждой работы таблицы перевода баллов в отметки (таблица 1 приложения).

2. Будете ли Вы учитывать действия, которые напрямую не относятся к учебному процессу? Если учитывать, то какова их доля в итоговом балле (итоговой отметке)?

Считаю, что чем больше действий будет учтено, тем лучше для объективности отметки. Но нельзя сравнивать, например, написание самостоятельной работы с ксерокопированием материала. Поэтому предлагаю все действия учеников разделить на основные (оценочные) и дополнительные. Тогда при подведении итогов возможны следующие варианты:

а) в равной мере учитывать и оценочные баллы, и дополнительные (но, в этом случае есть возможность за счет не учебных действий получать завышенные отметки, не соответствующие действительным знаниям и умениям ученика);

б) можно учитывать только оценочные баллы, а дополнительные – при спорной отметке (но, в этом случае у учеников нет никакого стимула получать дополнительные баллы в большом количестве);

в) учитывать оценочные баллы и дополнительные, но ограничить максимум последних. Например, максимум дополнительных баллов не может превышать максимум основных баллов.

г) учитывать оценочные баллы и дополнительные, но ввести при этом коэффициент соответствия. Например, при выставлении итоговой отметки добавлять к оценочным 10% дополнительных баллов, т.е. коэффициент соответствия равен 10%.

В последнее время в моей системе применяются варианты 3 и 4. Тогда, с учетом приведенных примеров (максимум дополнительных баллов не может превышать максимум основных баллов и коэффициент соответствия равен 10%), ученик за счет дополнительных баллов сможет увеличить свою отметку не более чем на единицу. Отметка в этом случае будет рассчитываться по формуле (2):

 
                                              (2)

 
где Рдоп – дополнительные баллы; Рmax – наибольшее число оценочных баллов, которые можно было набрать за данную работу. При таком подходе отметка может оказаться больше наибольшей (Omax).

3.  «Таблица стоимости» отражает вкусы и пристрастия учителя-автора. И это является основным недостатком рейтинговой системы [1, с. 7]. Как уменьшить данный субъективизм?

Гузеев В.В. [1, с. 13] предлагает при составлении таблицы привлекать других учителей, учеников. Причем, чем больше человек примет участие, тем таблица получится более объективной.

При составлении моей таблицы баллов (таблица 2 приложения) учитывались замечания участников курсов МОИПК и ПРР и СО, а так же мнения учеников, занимающихся по этой системе.

К обсуждению полученной таблицы приглашаю и других учителей республики. Жду ваши предложения и замечания. 

3. Рекомендации по совершенствованию рейтинговой системы

1. Одно из обязательных свойств системы является ее открытость –ученики должны знать «правила игры»: знать «стоимость» любой деятельности, знать, как можно получить баллы, и за что может их потерять и т.д. Для выполнения этого свойства «таблица стоимости» должна быть доступна ученикам. Можно сделать ее в виде плаката и повесить в кабинете; можно сделать распечатки таблицы для каждого ученика.

2.  При поуровневом подходе к оценке знаний, одни и те же действия, выполненные на разных уровнях, оцениваются разным числом баллов. Например, баллы за решение задач разных уровней будут меняться от 3 до 10.

3. «Таблицу стоимости» можно варьировать. Так, например, если учитель считает, что ученикам необходимо больше внимания уделять решению задач, баллы за данную деятельность можно увеличить. Многие ученики не умеют правильно оформлять задачи: введите в таблицу баллов такую строку: «Правильное оформление задачи», – и при выставлении отметки за задачи учитывайте выполнение и этого действия. После закрепления этого навыка, его можно исключить из таблицы.

4. Использовать стимулирующую роль дополнительных баллов:

а) поощрять более быстрое выполнение заданий на уроке. Например, при выполнении письменной работы применять временной коэффициент, т.е. чем раньше сдал работу, тем больше дополнительных баллов получил. Эти баллы можно рассчитать по формуле (3):

                                             (3)

где Рдоп – дополнительные баллы; Р – набранные за работу баллы; tmax – максимальное время, отведенное на работу; t – время, за которое ученик выполнил работу. При этом ученики, не спешащие сдавать работу вовремя, могут получить и отрицательные баллы;

б) поощрять более быстрое прохождение программы отдельными учениками. Например, если учащийся готов сдавать зачет или писать самостоятельную работу на 5 дней раньше всего класса, можно добавить ему за каждый день по 1 баллу;

в) поощрять учащихся, оказывающих помощь другим ученикам и учителю. Например, выставлять дополнительные баллы за объяснение или проверку темы; за ксерокопирование материала к урокам и т.д.

Все указанные дополнительные баллы примерные, и могут изменяться в зависимости от активности учеников: при большой активности баллы можно уменьшить и наоборот (но изменения делать аргументировано, и лучше всего, в новом учебном году). 

Подведение итогов

При подведении итогов необходимо определиться с выбором рейтинга. Возможны следующие виды:

·          рейтинг по предмету или по ряду предметов;

·          рейтинг по предмету общий или отдельно по теоретическим вопросам, отдельно по решению задач и по дополнительным баллам;

·          рейтинг временной – за некоторый промежуток времени (четверть, полугодие, год и т.д.) или тематический – по отдельным разделам (темам).

Общий рейтинг ученика рассчитывается как доля выполненного задания:

                                     (4)

 где D – доля выполненного задания;  – сумма всех набранных оценочных баллов;  – сумма всех набранных дополнительных баллов;  – сумма всех наибольших оценочных баллов, которые можно было набрать за все работы.

Для перевода доли выполненного задания в 10 балльную систему можно применять формулу (5):

                                           (5)

И здесь можно привести несколько рекомендаций:

1.Для более точного оценивания знаний учеников 10-бальную шкалу оценок можно расширить за счет использования десятичных значений. Например, первый ученик получил предварительную итоговую отметку «4,6», а второй – «5,3». Если никто из них не будет больше работать, то оба получат «5». Но, чтобы улучшить итоговую отметку хотя бы до «6», первому ученику необходимо выполнить заданий еще на 27 оценочных баллов (при максимальном числе баллов 300), а второму достаточно 6 баллов. Это позволяет ученикам реальнее оценить свои способности и возможности по улучшению отметки.

2.При подведении итогов использовать и относительную шкалу, которая «предполагает сравнение текущего состояния ученика с его же состоянием некоторое время назад» [1, с. 4]. Для этого можно сравнивать отметки за аналогичные работы или долю выполненных заданий (в %) данной темы с предыдущей и т.п. Кроме того, относительная шкала позволяет оценить эффективность обучения в данной группе учащихся: наблюдается ли развитие учеников или нет.

3.Для рейтинговой системы не маловажное значение имеет и ранг (место) учеников. Можно определять его в классе, параллели и в школе.

Ранг позволяет поощрять лучших и наказывать худших. Так в ряде институтов на основании семестрового или курсового рейтинга деканат может отчислить студента или назначать дифференцированные стипендии, может награждать ценными подарками. «В одной из негосударственных школ было принято решение о дифференциации оплаты за обучение детей в зависимости от их успехов, выражаемых рейтингами. В результате родители наиболее способных детей были освобождены от платы совсем, а родителям детей, создающих наибольшие проблемы и требующих особого усиленного внимания, пришлось за дополнительный труд педагогов раскошелиться. В другой негосударственной школе, пользующейся большой популярностью, а потому имеющей конкурсный набор, приняли решение ежегодно отчислять десять учащихся из трехсот, составляющих весь контингент школы, занимающих нижние строки рейтингового списка, а на их места принимать десять новичков «с улицы», предоставляя последним счастливый шанс» [1, с. 10].

Трудности выполнения расчетов при использовании рейтинговой системе можно во много раз уменьшить, если применять компьютер. Для обработки результатов можно использовать программу Excel (электронные таблицы). В приложении приводятся примеры расчета рейтинга и ранга учеников при помощи этой программы.

4.Значение рейтинговой системы

1. Снижается субъективизм итоговой отметки, она не зависит от взаимоотношениях учителя и ученика [1, с. 10].

2. Придает обучению элемент соревнования, что играет большую роль в школе.

3. Стимулирует как обязательную, так и дополнительную самостоятельную работу школьников.

4. Позволяет снизить возможность получения случайной итоговой отметки, так как учитывается работа ученика в течение длительного промежутка.

5. Возрастает роль текущего и промежуточного контроля (самостоятельные работы, опросы, тесты). На этих этапах обучаемому предоставляется возможность набрать до 80% всех баллов, что стимулирует повседневную систематическую работу учеников.

6. Позволяет учитывать поуровневый подход в обучении.

7. Позволяет обращать внимания на незначительные ошибки при выполнении заданий. Например, при решении задач ученики не всегда записывают единицы измерения величин. Учитель может за это снять 0,5 балла, и хотя, по сравнению с 25 баллами за работу, это мелочь, таких ошибок в работе может быть несколько.

8. Устраняются негативные стороны уравнительной системы обучения. Уже нет отличников, хорошистов. Вместо них появляются «первый» ученик, «десятый», «двадцатый». «При этом у ученика возникает вполне оправданное ощущение, что ему нужно совсем не так уж много усилий, чтобы передвинуться с 16-го места на 15-е, и успех вполне возможен. Усилия же, необходимые для того, чтобы из «троечника» стать «хорошистом», могут не без основания показаться ему неоправданно значительными» [1, с. 7].

9. Позволяет ученику выбирать стратегию своей деятельности, так как отметки предлагаемых видов деятельности определены заранее [1, с. 10].

5. Обработка результатов по 10 бальной системе в табличном редакторе

Excel

Письменная работа

Предположим, что ученики написали самостоятельную работу, состоящую из четырех задач. Учитель определяет максимальную отметку за работу (в данном примере это «9») и вводит ее в ячейку С11 (рис. 1); в D11-G11 вводятся максимальные значения соответственно за задачи №1-4; в I11 – время, отведенной на работу. Затем выставляются полученные баллы в ячейки D4-G8 и время выполнения работы в I4-I8. Если ученик пишет работу на несколько уроков раньше, то получает дополнительные баллы в K4-K8 (в примере дополнительные баллы получил только Асташкин А.).

Рис. 1.

Остальные значения просчитывает и заполняет программа. Для этого определите формат всех ячеек с числами как числовой и выберите число десятичных знаков для каждой.

Затем в ячейку C4 (отметка за работу, см. формулу 1) вводим формулу «=L4/H$11*C$11» (не забудьте нажать «Enter»), копируем ячейку и вставляем в С5-С8.

В H4 (сумма набранных баллов) вводим формулу «=СУММ(D4:G4)» и копируем ее в H5-H8, H11.

В J4 (расчет дополнительных баллов за более быстрое выполнение работы, см. формулу 3) – формулу «=H4*(I$11/I4-1)» и копируем ее в J5-J8.

В L4 (сумма набранных баллов с учетом 10% дополнительных, см. формулу 2) – формулу «=H4+0,1*(J4+K4)» и копируем ее в L5-L8.

В M4 (место-ранг ученика по данной работе в классе) – формулу «=РАНГ(L4;L$4:L$8;0)» и копируем ее в M5-M8.

В С9 (среднее значение данного столбца) – формулу «=СРЗНАЧ(C4:C8)» и копируем ее в D9-I9, L9 и O9.

В D10 (средний процент выполнения данного задания) – формулу «=D9/D11*100» и копируем ее в E10-H10.

В O4 (относительная отметка) – формулу «=С4-Х4» (предположим, что отметки за предыдущую работу были в ячейке Х4) и копируем ее в O5-08.

В примере есть еще ячейки N4-8 (место-ранг ученика по данной работе среди всех классов) и N11 (число писавших эту работу учеников). Для заполнения этих ячеек используется обобщенный файл, в котором собраны сведения о результатах работы по всем классам.

Устные темы

Предположим, что ученики по кинематике сдали три темы. Учитель определяет максимальные отметки за темы (в данном примере это «5» за темы №1 и №2, «7» за тему №3 и «9» за итоговую отметку по темам) и вводит их в ячейки R11, T11, V11 и Z11 (рис. 2); в S11 вводит дополнительные баллы за опрос другого ученика. Затем выставляются полученные отметки за темы в ячейки R4-R8 (за тему №1), T4-T8 (за тему №2) и V4-V8 (за тему №3). Если ученик отвечал тему другому ученику (взаимоконтроль), то рядом с отметкой ставится порядковый номер фамилии спрашивающего в ячейки S4-S8, U4-U8 и W4-W8. Например, Чернобылец О. отвечала тему №1 Асташкину А. (номер 2), тему №2 Асташкину А. (номер 2), тему №3 Боброву Д. (номер 3). При опросе ученик может получить как дополнительные баллы, которые выставляются в ячейку X4-X8, так и штрафные баллы – в Y4-Y8. 

Затем в ячейку Z4 (отметка за работу) вводим формулу «=(AC4)/AA$11*Z$11», копируем ячейку в Z5-Z8.

В АA4 (сумма полученных оценочных баллов) – формулу «=СУММ(R4;T4;V4)» и копируем ее в АA5-АA8, АA11. 

В АB4 (расчет дополнительных баллов за темы; здесь же рассчитывается сколько тем проверил каждый ученик) – формулу «=СУММ(СЧЁТЕСЛИ(S$4:S$8;A4);СЧЁТЕСЛИ(U$4:U$8;A4);СЧЁТЕСЛИ(W$4:W$8;A4))*S$11+X4-Y4» и копируем ее в АB5-АB8.

В AC4 (сумма набранных баллов с учетом 10% дополнительных) – формулу «=AA4+0,1*AB4» и копируем ее в AC5-AC8.

В AD4 (место-ранг ученика по данной работе в классе) – формулу «=РАНГ(AC4;AC$4:AC$8;0)» и копируем ее в AD5-AD8.

В AE4 (относительная отметка) – формулу «=Z4-Х4» (предположим, что отметки за предыдущие темы были в ячейке Х4) и копируем ее в AE5-AE8.

Строки 9 и 10 заполняются так же, как и в предыдущем примере.

Рис. 2.

Дополнительные баллы

Предположим, что учитываются баллы за дополнительные задачи (столбец АН), за объяснение задач (AI), за объяснение тем (AJ) и за ксерокопирование материалов (AK) (рис. 3). Учитель определяет баллы за эти виды деятельности и вводит их в ячейки АН11, AI11, AJ11 и АK11.

В ячейку AL4 (расчет суммы дополнительных баллов) вводим формулу «=СУММ(AH4*AH$11; AI4*AI$11;AJ4*AJ$11;AK4*AK$11)» и копируем ее в AL5-AL8.

Подведение итогов

Рассмотрим способ расчета итоговой отметки за приведенные выше работы. Для этого необходимо определить максимальную итоговую отметку и ввести ее в ячейку АМ10 (рис. 3).

В ячейку АМ4 (итоговая отметка) вводим формулу «=AM$11*AQ4/100» и копируем ячейку в АМ5-АМ8.

В AN4 (сумма всех набранных оценочных баллов) вводим формулу «=СУММ(H4;AA4)» и копируем ее в AN5-AN8, AN10.

В AO4 (сумма всех набранных дополнительных баллов) – формулу «=СУММ(J4;K4;AB4;AL4)-Y4» и копируем ее в AO5-AO8.

В AP4 (сумма всех набранных баллов с учетом 10% дополнительных, если они не превышают максимальному значению в ячейке AN11) – формулу «=AN4+ЕСЛИ(AO4

В AQ4 (доля набранных баллов от максимума в %) – формулу «=AP4/AN$11*100» и копируем ее в AQ5-AQ9.

В AR4 (место-ранг ученика по данной работе в классе) – формулу «=РАНГ(AP4;AP$4:AP$8;0)» и копируем ее в AR5-AR8. 

В AT4 (относительная доля в процентах) – формулу «=AQ4-Х4» (предположим, что доля за предыдущую работу были в ячейке Х4) и копируем ее в AT5-AT8. В данном примере четыре ученика улучшили свои результаты в сравнении в предыдущей темой, и только один ученик (Чернобылец О.) работал по этой теме хуже.

Ячейки AS4-8 (итоговое место-ранг ученика среди всех классов) и AS11 (число учеников во всех классах). Для заполнения этих ячеек используется обобщенный файл, в котором собранны сведения об итогах по всем классам.

Строки 9 и 10 заполняются так же, как и в первом примере.

Рис. 3.

 Приложение 1

Таблица 1

Таблица перевода баллов в отметки

(для Рmax = 40 баллов; Оmax = 10)

Таблица 2

Таблица баллов

Литература

1.  Гузеев В.В. Оценка, рейтинг, тест // Школьные технологии. – 1998. – №3. – 40 с.
2. Киселева А.В. Критерии оценки знаний учащихся по физике // Фізіка: праблемы выкладання. – 2002. – №2. – С. 23-35.
3. Десятибалльная система оценки результатов учебной деятельности учащихся: Инструктивно-метод. материалы / Под ред. О.Е. Лисейчикова. – Мн.: НИО, 2002. – 400 с.
4.   Лаўрыненка А.У., Марковіч Л.Р. Рэйтынг-кантроль замест адзнакі //АіВ. – 1993. –   №10. – С. 72-75.

5.  Ткачев М.В. Рейтинговая система оценки знаний учащихся по физике // Фізіка: праблемы выкладання. – 1998. – №3. – С. 13-16.
6.   Устинова Л.Г. Творческий потенциал и рейтинговая технология обучения // Школьные технологии. – 2002. – №2. – С. 25-30.

7.Сакович А.Л. Рейтинговая система оценки знаний учащихся  // Фізіка. Праблемы выкладання. — 2004. — №4. — С. 44-51.

Интернет источники:

1.http://festival.1september.ru/articles/584428/

2. http://nsportal.ru/nachalnaya-shkola/vospitatelnaya-rabota/2012/09/09/reytingovaya-sistema-otsenivaniya-znaniy

3. http://www.distedu.ru/mirror/_fiz/archive.1september.ru/mat/1999/no42_1.htm

4. http://dmee.ru/docs/200/index-37990.html

5. http://window.edu.ru/resource/907/40907/files/dvgu028.pdf

6. http://pedlib.ru/Books/1/0209/1_0209-44.shtml