Статья 1

О методических подходах к построению оценочных систем учреждений профессионального образования с учетом субъективного фактора

Минаев Д.В. О методических подходах к построению оценочных систем учреждений профессионального образования с учетом субъективного фактора.// Вестник ИНЖЭКОНА. Серия «Экономика». Вып. № 4.// СПб.: СПбГИЭУ,2004 - 200 стр. 107-112 стр.

 Одним из общих мест критики существующих оценочных механизмов (рейтингов, систем оценки при аттестации и аккредитации и так далее), применяемых в отношении системы профессионального образования является субъективность определения отдельных ее элементов. Чаще всего подвергается критике выбор весов: «Почему одному показателю придали такой-то вес, а другому меньший?» Вопросы такого рода порождают бесконечные и, в общем-то, бесплодные дискуссии. Иногда критике подвергается характер и способ «сборки» множества параметров в один обобщенный параметр, который должен одним «махом» (значением) отобразить всю палитру реальной действительности. Другими спорными моментами становятся вопросы, связанные с отбором оценочных параметров: «Почему измеряются такие-то параметры и не используются другие?», «Правильно, ли показатель отражает заявленный аспект системы ПО?». Есть и другие дискутируемые моменты.

Дискуссии вокруг субъективности оценок крайне эмоциональны и политизированы. Удивительно, но никто не стремиться подойти к этому вопросу бесстрастно - методично исследовать канализацию субъективного фактора в конструируемых оценочных системах. Попробуем восполнить этот пробел и систематизировать те аспекты конструирования оценочной системы, в которых проявляется субъективизм (некоторые другие аспекты обсуждения этой проблематики можно найти в [1,2]).

Прежде чем приступать к дальнейшим рассуждениям, необходимо сделать небольшое замечание, касающееся проблемы субъективизма. Так сложилось, что в российском коллективизированном менталитете слово «субъективность» носит определенно негативный оттенок. Вспомним, к примеру, какую уничижительную окраску несло слово «волюнтаризм» в политической лексике, во многом потому, что связывалось с сугубым индивидуализмом решений отдельных партийных руководителей, идущих в разрез с объективностью исторического развития (под которым понималось движение к коммунизму).

Однако, слово «субъективизм» происходит от существительного «субъект» - некто, кто наблюдает, исследует, принимает решения, то есть занимает активную позицию по отношению к реальной действительности, «отображает» ее в своем сознании. Конструируемые системы оценок в первую очередь решают прагматические задачи, то есть обслуживают интересы конкретных субъектов и с этой точки зрения по определению исходно субъективны. Субъективизм оценочных систем объективен! Бессмысленно, настаивать на том, что бы оценки были чистыми от субъективизма. Боле конструктивно прояснить вопрос: где именно проявляется субъективность в оценочном механизме, как конкретно она влияет на конечный результат оценки и донести все это до любого субъекта, существование которого зависит от результатов оценки.

Характер влияния субъективного фактора на результат оценки по первому направлению можно интерпретировать как качество первичного «датчика». Даже в технических системах любой измерительный прибор имеет свою точность и надежность. При реализации измерения в социальных системах, непредвзятые ошибки «человеческих датчиков» (экспертов) могут быть сопоставлены классическим погрешностям измерительных приборов. Однако, здесь может присутствовать и преднамеренное искажение данных поставщиком информации, если результаты оценки в конечном итоге влияют на его целевую деятельность. Полностью устранить такой эффект невозможно, хотя можно предпринять некоторые шаги в этом направлении. Можно, например, минимизировать такие ошибки организационным путем (допустим, - специальные процедуры сбора информации и штрафы за предоставление искаженной информации).

«Объективизировать» сбор информации можно и на этапе конструирования модели оценки. Для этого модель оценки должна иметь, так называемый, робастный характер, при котором точность результатов оценки в минимальной степени зависит от точности входных данных. Другим направлением повышения робастности становится использование таких методов, в которых исказить исходные данные трудно. Например, этого можно достичь путем «загрубления» шкал, используемых для измерения первичных показателей объекта оценки. Нужно максимально использовать порядковые (ранговые) и номинальные шкалы. Основной недостаток такого подхода связан с тем, что для порядковых и номинальных данных математико-статистический аппарат разработан хуже, чем для традиционных данных и, в целом, они менее богаты в смысле аналитических выводов, которые из них можно извлечь. Однако, и здесь наблюдается определенный прогресс.

Можно минимизировать эффект от возможных ошибок путем использования соответствующих алгоритмов (например, таких, которые задействуют многократные внутренние перекрестные проверки и восстановление данных, исходя из логики устройства отображаемой предметной области).

Таким образом, влияние субъективного фактора на этапе подготовки исходных данных можно разделить на два типа.

Первый, связанный со случайными ошибками и преднамеренными ошибками, которые могут быть устранены за счет организационных методов. Появление таких ошибок может проявляться в любой методике оценки и в любом смысле нежелательно. Специально мы его рассматривать не будем, так как эта проблема носит общий характер.

Вторым «каналом» влияния субъективного фактора является процедура конструирования оценочной модели. Здесь есть два аспекта рассмотрения: «качественный» и «количественный». Первый связан с выбором вида и конструкции модели. Здесь важны структурные свойства модели, последовательность и алгоритм вычислений, используемые операции и преобразования. Второй, - «количественный» аспект, завязан на определение внутренних параметров модели - весов, коэффициентов и так далее в условиях, когда ее основная конструкция зафиксирована.

Обсуждение второго аспекта «субъективизма» должно иметь совсем другую «позитивную» тональность. Так как сама система оценки в конечном итоге создается в интересах субъекта оценки, то ее «субъективизм» является естественным.

Действительно, система оценки может являться инструментом трансляции целей ее основателя (владельца) в отношении объектов оценки. Веса коэффициентов, характер учета отдельных параметров указывают объектам оценки (например, образовательным учреждениям), что сейчас важнее для внешнего субъекта, производящего оценку. Если, объекты оценки не имеют собственных целей и полностью подчиняются целям внешнего субъекта, то вопрос состоит только в том, насколько оценочная модель соответствует целям этого субъекта.

Если объекты оценки имеют собственные цели и используют результаты мониторинга в установлении и оценке своего собственного положения среди других объектов, то они в этом случае сами становятся субъектами оценки. В этом случае «субъективизм» (собственные цели) конструктора оценочной модели должен быть сведен к минимуму или, по крайней мере, должен быть сбалансирован относительно субъективных целей объектов оценки. В этой ситуации, оценочная модель мониторинга должна в первую очередь отражать объективные, сущностные аспекты объектов/субъектов оценки по отношению к метасистеме в которой они функционируют.

Те же соображения могут быть высказаны и в отношении третьей формы субъективности оценки, связанной с интерпретацией полученных значений показателей. Субъективность оценки может проявляться в определении критериальных значений (порогов, диапазонов, направлений изменения), используемых для классификации объектов оценки («хороший/плохой», «большой/маленький», «развивающийся/стагнирующий» и т.д.). Отличие от предыдущего случая (конструирование оценочной модели и выбор коэффициентов) заключается в том, что «субъективизм» конструктора оценочной модели проявляется здесь непосредственным образом. Механизм целевого влияния субъекта оценки (владельца оценочной системы) на объекты оценки в этом случае оказывается более гибким и прозрачным. Установление критериальных значений может быть, даже, привязано к некоторым статистическим параметрам самих объектов оценки (нормирование). Эти значения будут меняться автоматически в процессе количественной эволюции системы. (Опасность заключается в том, что объекты оценки, уловив эту обратную связь, начнут искажать поставляемые данные с целью дальнейшей максимизации своей выгоды и минимизации собственных усилий, как это, например, происходило с нормированием труда рабочих. Каждого молодого рабочего бывалые работники быстро учили уму-разуму: «не проявляй излишнего энтузиазма - из за тебя завтра поднимут нормы».)

Качественное и структурное изменение оцениваемой системы неизбежно связано с пересмотром самой оценочной модели. В общем случае это происходит гораздо реже, что, собственно, и закладывает потенциальную возможность осуществления процедур мониторинга.

Таким образом, субъективный фактор может проявляться в:

-      подготовке исходных данных (непреднамеренные ошибки измерения, целевое искажение),

-      конструировании оценочной модели и выборе ее коэффициентов,

-      интерпретации полученных оценочных показателей и определении критериальных значений (порогов, диапазонов, направлений изменения) для классификации объектов оценки.

Эти виды проявления «субъективизма» можно назвать «точками» или «каналами» субъективного влияния в оценочной модели.

Рассмотрим в русле наших рассуждений некоторые существующие системы оценок, предусматривающие определение рейтингов образовательных учреждений [3, 4]. В качестве таковых будем использовать официальные и реально используемые системы рейтингования вузов и ссузов:

-      методики определения рейтингов специальностей и вузов, утвержденной приказом Минобразования России от 26.02.2001 №631 (с изменениями от 19.02.2003 пр. № 593),

-      методики определения рейтинга учреждений среднего профессионального образования, разработанной группой специалистов НовГУ им. Ярослава Мудрого. (Тимофеев В.В., Ренкас Н.Н., Старкова Л.Г., Рак А.А., Амосова А.Г., Петрова О.В., Грошев Е.И.),

-      методики определения рейтинга вузов журнала «Карьера», публикуемой начиная с 1987 г.

Общим во всех представленных моделях является то, что они реализуют отображение состояния объекта мониторинга (образовательного учреждения), на одномерную ось - рейтинг с использованием иерархической свертки первичных измеримых (объективных, технических) показателей. Поэтому все эти оценочные модели порождают рейтинговые оценки, которые можно отнести к классу технических оценок объективного состояния, не учитывающих субъективное восприятие потребителей. Субъективная компонента оценки реализуется через введенную модель свертки и используемые веса. Все эти компоненты оценочной модели устанавливаются на базе экспертного подхода (в большинстве случаев - неопределенного).

Наиболее «прозрачным», с точки зрения учета субъективных аспектов восприятия формируемой оценки, является рейтинг «100 лучших вузов России», публикуемый журналом «Карьера». В нем все операции преобразования носят механический, чисто расчетный характер. Единственный этап, связанный с использованием экспертной оценки - это установление весов в конечном алгоритме свертки. Сама модель расчета итогового балла, предопределяющего конечный субординационный рейтинг, так же, весьма проста - обычная линейная свертка с весовыми коэффициентами. Все это способствует тому, что любой пользователь достаточно просто может уяснить себе связь конечного результата оценки положения вуза с его параметрами. Это безусловный плюс методики. По остальным параметрам эта методика ничем не выделяется. Более того, она опирается на достаточно бедный набор показателей и параметров. Соответствующие данные, конечно, достаточно просто собрать, что еще раз подтверждает ее техническую простоту. Однако, такой набор параметров справедливо может вызывать сомнения в адекватности представления столь сложной системы, как образовательное учреждение.

Используемая модель свертки формирует платформу оценки и для стороннего пользователя, например, - для абитуриента. В связи с тем, что, как правило, такие потребители рейтинговой оценки не являются специалистами и не в состоянии рационально оценить конечные ее результаты, критериальная модель свертки должна отражать логику их потребительского выбора. В этой связи вовсе не очевидной является адекватность используемого компенсационного механизма свертки - вполне возможно, что потребитель по ряду параметров может использовать нелинейные стратегии оценки. Например, если какой либо параметр ниже некоторого порога (предположим, нет общежитий) - вообще отказываться от рассмотрения данной альтернативы, какими бы хорошими ни были другие показатели.

Методики расчета рейтингов вузов (МО РФ) и расчета рейтингов ссузов НовГУ являются более развитыми и более полно отражающими различные аспекты объектов оценки. При этом методика МО РФ единственная, в которой явно применяется принцип отбора параметров на основе, хоть и упрощенной, но обладающей свойствами системности, модели представления объекта оценки. В связи с этим другие рассмотренные методики в большей степени могут критиковаться за произвольность отобранного состава параметров. Отметим, что отбор параметров в этих вариантах оценочных систем, видимо, не является совершенно произвольным, - он, скорее всего, опирается на некоторое экспертное знание и управленческую практику. Однако, мотивы и аргументы отбора именно таких, а не иных параметров в пояснительных записках к методиками расчета не приводятся. Структура их преобразования в конечную оценку тоже не отражает внутренней логики строения системы образовательного учреждения.

Методики расчета рейтингов вузов (МО РФ) и расчета рейтингов ссузов НовГУ имеют более развитую структуру влияния субъективного фактора. Он проявляется на разных уровнях и в различных элементах алгоритма преобразования:

-      в установлении коэффициентов в расчетных моделях параметров (определяет степень влияния исходных показателей на величину конечного параметра),

-      в выборе базы приведения и способе нормирования и масштабирования (по сути - это всего лишь разновидность предыдущих двух пунктов),

-      в установлении коэффициентов в расчетных моделях сверток параметров различного уровня, вплоть до получения конечной оценки рейтинга (определяет степень влияния исходных параметров на величину конечной оценки).

«Канал субъективного влияния», связанный с выбором моделей свертки первичных параметров, интегральных параметров и конечных оценок (рейтингов) в данном случае мы сознательно не отмечаем, так как он присутствует во всех случаях.

Кроме этого, в рейтинге ссузов, как это уже отмечалось, введен специальный механизм кодирования (нелинейного преобразования) первичных параметров в критериальную форму. Причем он достаточно прост и понятен, так как реализуется на уровне первичных параметров, имеющих конкретное, а не абстрактное толкование. Единственной проблемой является эффект «масштаба» - число параметров, подвергающихся критериальной оценке больше 70 и для того, чтобы их просто просмотреть требуется значительное время. В целом, используемый механизм значительно повышает гибкость целевой «настройки» оценочного механизма, что можно рассматривать как существенный плюс методики. Другие две методики обладают в этом смысле крайне скудными возможностями - их критериальная оценка ограничивается одномерным сравнением величины конечного метрического рейтинга (итогового балла) по принципу «больше - это лучше».

Побочным следствием различий в механизмах критериальной оценки является разные требования к подбору и конструированию первичных показателей. Методика оценки ссуза допускает использование параметров с произвольным поведением (характером изменения), так как на этапе кодирования они все приводятся к виду критериального показателя подчиненного логике «больше-лучше». В обеих методиках оценки вузов, показатели исходно обязаны конструироваться по принципу «больше-лучше», так как конечная оценка формируется как линейная их свертка. Кроме этого, так как, в свою очередь, параметры представляют собой линейные свертки первичных показателей, то и на последние переноситься это требование. Получается, что в качестве первичных показателей можно использовать только те из них, которые при совершенствовании системы монотонно увеличиваются или уменьшаются (в последнем случае можно использовать обратную им величину). Таких показателей не так много, а строго говоря, вообще нет. Любое абсолютное увеличение или уменьшение какого-либо свойства, если это можно воспринимать как положительное явление, рано или поздно, оборачивается своей противоположностью.

Нелинейность критериальной оценки, используемой в оценочной модели рейтингования ссузов это то же существенное достоинство методики, так как большинство параметров в реальных социально-экономических системах, исходно, - нелинейно. Поэтому, когда встает вопрос об оценки параметра в системе координат «хорошо-плохо», абсолютное наращивание или кратность прироста на разных концах диапазона изменения имеет совершенно разное значение. (Проще всего удвоить ноль! Пример: удвоение российского ВВП, наверно, более простая задача, чем удвоение ВВП США).

В таблице 1 приведены общие характеристики рассмотренных нами оценочных моделей учреждений профессионального образования, а в таблице 2 представлены сводные данные, отражающие их основные пользовательские качества. Некоторые из этих качеств носят конфликтный характер. Так, например, простота понимания оценочного механизма, в общем случае, ухудшается с ростом технической сложности и полнотой охвата объекта оценки.

В заключение отметим, что рассмотренные моменты не исчерпывают всей заявленной проблематики. Дальнейшее развитие методических подходов к построению оценочных систем, учитывающих субъективный фактор позволит повысить их действенность за счет большего доверия потребителей оценок.

Табл. 27. Общие характеристики оценочных моделей учреждений профессионального образования.

Характеристика

Методика расчета рейтинга

вуза
(журнал «Карьера»)

вуза
(МО РФ)

ссуза

(НовГУ)

1

Количество первичных показателей

16

41

266

2

Количество параметров (нижнего уровня)

16

19

72

3

Количество ступеней преобразования

3

6

5

4

Количество точек субъективного влияния

1

3

4

5

Модель системы в представлении набора

нет

есть

нет

6

Превалирующая системная структуризация набора параметров

ресурсная (потенциал)

потенциал-активность

комбинированная (но неструктури-рованная)

7

Уровень применения критериальной оценки

конечный рейтинг

первичные параметры

8

Характер критериальной оценки

качественный

количественный

8

Характер (тип) критериальной оценки

модель монотонного роста
(«больше-лучше»)

нелинейные модели оценки

 

Общий характер свертки

линейная иерархическая свертка

Табл. 28. Пользовательские качества оценочной модели

Качества

Методика расчета рейтинга

вуза
(журнал «Карьера»)

вуза
(МО РФ)

ссуза

(НовГУ)

Простота понимания оценочного механизма

+++

+

+

Прозрачность субъективной нацеленности

+++

+

+

Гибкость критериальной оценки

+

+

+++

Полнота
(глубина охвата)

+

++

+++

Техническая простота

+++

+

+

 

 

 

 

Примечание:

+++ - высокая (хорошая в пользовательском смысле) оценка,

++ - средняя оценка,

+ - низкая (плохая в пользовательском смысле) оценка

Литература:

1.                          Минаев Д.В. Методические основы формирования системы мониторинга рынка профессионального образования на региональном уровне/ Препринт - СПб: СПбГИЭУ.,2004

2.                          Минаев Д.В., Матюхин А.Б., Бабич П.В. Принцип «субъективного качества» в построении оценочных моделей учреждений и систем профессионального образования. /СПб: СПбГИЭУ, Сборник, 2004

3.                          Временная методика определения рейтингов специальностей и вузов Приложение к приказу Минобразования России от 19.02.2003 № 593 «О внесении изменений в приказ Минобразования России от 26.02.2001 № 631 «О рейтинге высших учебных заведений"»

4.                          Тимофеев В.В., Н.Н. Ренкас, Старкова Л.Г., Рак А.А., Амосова А.Г., Петрова О.В., Грошев Е.И. Методика определения рейтинга учреждений среднего профессионального образования /г. Великий Новгород, изд. НовГУ им. Ярослава Мудрого. 2003

Comments