Методы подбора экспертов в педагогической деятельности
статья по литературе

Выступление. Тема

«Методы отбора экспертов»

В переводе с английского «expert» - это специалист. Однако в русском языке слово «эксперт» приобрело дополнительные коннотации. Под экспертом понимают не просто специалиста (например, выпускника вуза), а только такого, кто обладает высокой квалификацией и умеет использовать свою интуицию для решения поставленных перед ним задач, например, для диагностики, прогнозирования, выбора варианта технического или управленческого решения. Эксперт, таким образом, это компетентное лицо, имеющее глубокие знания о предмете или объекте исследования.

Ударение в слове «эксперт» можно ставить как на первый слог, так и на второй. Оба варианта - норма. Ударение на первый слог соответствует английскому языку, ударение на второй слог больше подходит для русского языка.

Реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:

1. креативность, то есть способность творчески решать задачи, метод решения которых полностью или частично не известен;

2. эвристичность, то есть способность видеть или создавать неочевидные проблемы;

3. интуиция – способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению;

4. предикаторность, то есть способность предсказывать, предчувствовать будущее состояние исследуемого объекта;

5. независимость, то есть способность противопоставлять предубеждениям и массовому мнению свою точку зрения;

6. всесторонность, то есть способность видеть проблему с различных точек зрения.

Критерии и методы подбора экспертов. В экспертном опросе не применяется метод случайного отбора респондентов. В качестве экспертов выступают люди, обладающие определенными характеристиками.

Основной критерий отбора – компетентность в исследуемой области. По мнению некоторых авторов, специалист, привлекаемый в качестве эксперта должен являться человеком, который сам пережил трудности проблемных ситуаций, сложившихся в той предметной области социальной действительности, где он занят, который имеет суждения относительно того, какова природа этих проблемных ситуаций, и что, по его мнению, необходимо делать, чтобы разрешить их.

В зависимости от целей исследования, компетентность может включать в себя как теоретические знания, так и практические навыки. Здесь важно отметить, что в профессиональном сознании следует различать зону компетентности – узкую предметную область, в которой непосредственно работает эксперт и зону некомпетентности, составляющую его более широкий профессиональный кругозор.

Кроме того, необходимо, чтобы эксперт был готов делиться с интервьюером имеющимися знаниями. На это оказывают влияние многие факторы, начиная от коммуникативных характеристик (коммуникабельность, креативность) потенциального эксперта, до специфики его должностной позиции, которая способствует или препятствует откровенному высказыванию собственного мнения.

Как правило, эксперт не должен быть лицом, принимающим решения по исследуемой проблеме.

Численность группы экспертов, как правило, составляет 7 – 15 человек при очном опросе; 20 – 70 человек при заочном опросе. Важной проблемой при формировании групп экспертов является вопрос об их составе. Считается, что в группах с однородным составом (по должностному, образовательному, возрастному, профессиональному статусу) бывает меньше расхождений между экспертами, быстрее происходит процесс согласования группового решения. В разнородных группах эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок.

Методы подбора экспертов:

I. Объективные методы:

1) документальный — подбор на основе объективных «символов компетентности». К ним могут относиться: ученая степень, звание, должность, стаж работы по специальности и в области, связанной с предметом исследования, число опубликованных работ, число ссылок на них в научной литературе, участие в специализированных советах, комиссиях, симпозиумах и т.д.;

2) экспериментальный метод — более дорогостоящий, проводится на основе испытания, тестирования кандидата в эксперты или по результатам его прошлой экспертной деятельности. Применение тестов целесообразно использовать в том случае, если отобранным экспертам в дальнейшем придется многократно решать однотипные узкоспециальные задачи.

II. «Субъективные» методы:

1) метод самооценки. Одна из форм самооценки — совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий».

Пример. Как Вы оцениваете уровень Вашей компетентности по проблеме «....» ? (Отметьте соответствующую оценку в строке против каждой из трех перечисленных характеристик).

Из данного примера следует, что коэффициент уровня компетентности эксперта по определенной проблеме:

1+ 0,5 + 0,5

Кк = —————— = 0,7

Обычно в группу экспертов принято включать тех, у кого уровень компетентности выше 0,5. При отборе экспертов методом самооценки возникает проблема ее завышения. Однако, как отмечают специалисты, из опыта многочисленных экспертиз следует, что группы с высокой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше других.

Иногда самооценку экспертов применяют в сочетании с анализом структуры аргументов.Эксперту предлагается анкета (см. табл.) без проставленных в ячейках коэффициентов с тем, чтобы он отметил степень влияния перечисленных источников на формирование его мнения по экспертируемой проблеме.

Коэффициенты из отмеченных ячеек складываются и, таким образом, вычисляется коэффициент аргументированности (Ка). Далее эксперт по шкале от 0,1 до 1 указывает степень знакомства с проблемой, что представляет собой коэффициент знакомства Кз.

Коэффициент компетентности вычисляется по формуле:

Ка + Кз

Кк = -------------

2) Методы коллективной оценки применяются в тех случаях, когда потенциальные эксперты знают друг друга как специалисты. Два вида методов коллективной оценки — аттестация и метод взаимной оценки.

Аттестация — открытое или тайное голосование потенциальных членов будущей экспертной группы, с отводом тех. кто не набрал определенного минимума голосов.

Пример — методика с расширяющимися кругами экспертов в несколько туров («метод снежного кома»). 1 тур — круг экспертов составляет список кандидатов в эксперты. 2 тур — сформулированный в 1 туре круг экспертов также составляет список кандидатов в эксперты. Туры повторяются до тех пор, пока состав экспертов не стабилизируется, т. е. число повторений больше или равно 95 %.

Метод взаимной оценки — отбор экспертной группы из заранее сформированного списка путем балльной оценки или ранжирования. Сначала путем ряда итераций составляется предварительный список экспертов. Для этого можно использовать метод "снежного кома". Отобранные на первом этапе эксперты называют компетентных, по их мнению, специалистов, которые, в свою очередь, включаются в процесс отбора. Следующая итерация заключается в том, что эксперты, отобранные в результате второй итерации, также рекомендуют специалистов и т.д. Этот процесс заканчивается после стабилизации совокупности рекомендуемых экспертов, т.е. на той стадии, когда список экспертов перестает пополняться новыми фамилиями. После составления исходного списка экспертов возникает проблема оценки каждого из специалистов, попавших в список. Эта оценка производится с помощью социометрической процедуры, когда критерием оценки специалиста является частота его упоминания другими экспертами.

Например, если имеется список из десяти экспертов, мы просим каждого из указанных в списке выбрать пять наиболее компетентных коллег.

Контрольные вопросы:

1. Понятие эксперта. Каковы качества «идеального» эксперта?

2. Каковы основные критерии отбора экспертов?

3. Какие объективные методы отбора экспертов Вы можете назвать? Приведите примеры.

4. В чем заключается метод самооценки? Как вычисляется коэффициент компетентности эксперта?

5. Какие методы коллективной оценки экспертов Вы можете назвать?