Разработка системы критериев. Разработка системы показателей

Известно, что определение показателей (характеристик) качества процессов, продукции и системы качества в целом необходимо, прежде всего, для проведения мониторинга и измерения в системе качества вуза. В представлено определение термина «мониторинг» - это постоянное наблюдение за каким-либо процессом с целью выявления его соответствия желаемому результату. В стандарте ГОСТ Р ИСО 9000-2008 нет определения термина «измерение», но есть определение «процесса измерения» - это совокупность операций для установления значения величины.

К.М.Рахлиным был сделан анализ многочисленных трактовок понятия «измерение», в результате которого он выделил три группы. В первую группу входят определения наиболее общего характера, например: «Измерение предполагает сравнение объектов в определенном отношении». Во второй группе определений главным признаком измерений называют выражение результата числом. В третьей группе измерение связывается с обязательным наличием единицы измерения или эталона. Все эти группы не противоречат друг другу, но отражают особенности измерения различных объектов. Переход от первой группы определений к третьей есть переход от менее строгих к более строгим представлениям об измерении.

В соответствии с этими группами определений можно выделить три уровня измерений . Первый уровень предполагает сравнение объектов по наличию или отсутствию у них исследуемого свойства с использованием методов номинации, классификации и нумерации. На втором уровне происходит сравнение объектов по интенсивности проявляемых свойств с использованием методов шкалирования, упорядочивания, топологии. Третий уровень предполагает сравнение объекта с эталоном. Следовательно, третий уровень измерений является объектом метрологии.

Существуют различные классификации видов измерения. Так, К.М.Рахлин предлагает выявленные им три уровня измерений подразделить на физические и внефизические (метрические и неметрические). К внефизическим относятся все экономические и социально-экономические измерения . Именно эти измерения, в основном, и осуществляются в системе качества вуза.

Здесь мне хотелось бы упомянуть о следующем. В ряде отечественных публикаций, касающихся методологии измерений, указывается , что измерением понимают сравнение путем эксперимента измеряемой физической величины с однородной (одноименной) физической величиной, принятой за единицу. Поэтому говорить об измерении, без измерений с помощью средств измерений, В.И.Колмановский считает невозможным, и все другие измерения правильнее называть процедурой оценки соответствия. Но в работах Ю.П. Адлера и

В.Л.Шпера , которую критикует В.И.Колмановский, как раз высказывается противоположная точка зрения, и оценка таких показателей, как успешность фирмы, имидж, любовь потребителя, качество сотрудника также относятся к измерениям. В настоящей работе мы также придерживаемся точки зрения вышеуказанных авторов.

В работе Б.Андерсена также представлена классификация видов измерений:

1) прямые и косвенные (прямые измерения, которые можно измерить инструментально; косвенные, которые можно измерить на основе индикаторов, например индекс удовлетворенности);

Для того чтобы измерить качество воздуха в зале заседаний можно измерить температуру, влажность - это прямые меры, однако достаточно сложно установить их оптимальное соотношение. В этом случае можно измерить число лиц, активно участвующих в обсуждениях или число лиц, по разным причинам покинувших зал. Такие измерения дадут косвенную интерпретацию качества искусственного климата в зале.

2) финансовые и нефинансовые

Финансовые показатели используются наиболее часто. Однако нефинансовые показатели иногда могут дать больше оперативной информации, которая в конечном итоге отразится и на финансовых показателях. Поэтому необходимо совместное использование таких показателей.

3) меры результата и меры процесса

Показатели процесса имеют сильное влияние на результат, и было бы неправильно судить об успешности, только по результату. Поскольку низкий уровень брака на выходе может быть вызван высокими затратами на 100% контроль.

Меры, определяемые в соответствии с целью:

• - меры результата (дают представление о том, что удалось достигнуть, не говоря о том, как это было достигнуто);
• - диагностические меры (это косвенные меры достигнутого, позволяют прогнозировать показатели результата на ближайшую перспективу, их использование дает возможность вовремя определить проблемные места и выбрать способ совершенствования процесса);
• - меры компетенции (определяет способность в целом в дальнейшем достигать запланированных результатов).

Для достижения наибольшей информативности и результативности измерений, применяемые прямые и косвенные, финансовые и нефинансовые показатели, показатели результата и показатели процесса, должны быть сбалансированными. При этом не всегда от измерений требуется предельная точность. Чаще нужно узнать общую тенденцию, достигнуто улучшение или нет, как повлияло принятое решение на показатели. Поэтому здесь важное значение имеет практическая пригодность измерений . Э.Деминг отмечал, что «Функционирование любого составляющего систему подпроцесса должно оцениваться в терминах его вклада в цели всей системы, а не по его индивидуальной производительности или прибыли и ни по какому другому соревновательному критерию»

К.М.Рахлин в работе высказывал мысль об установлении критериев измеримости, исходя из особенностей процессов. Об этом же упоминает и В.В.Ященко , указывая, что очень часто в определении уровня достигнутого значения показателя используются понятия «удовлетворительно», «достаточный», «соответствующий», которые разными людьми могут быть по-своему интерпретированы. Операциональные определения же позволяют всегда понимать друг друга однозначно. Особенно это важно при проведении измерений и сборе данных. Понятие операционального определения ввел Э.Деминг. Подразумевается, что слова и понятия в разных ситуациях могут иметь разный смысл. Например, стол «чистый» означает, что за ним можно обедать или на нем можно проводить хирургические операции. Операциональное определение придает точный смысл слову, исключая двоякость понимания посредством установления того, как понятие измеряется и применяется в конкретном наборе обстоятельств. Для начала работ по измерению и анализу показателей (характеристик) команде необходимо согласовать и в дальнейшем использовать операциональные определения внутри команды. В дальнейшем это позволит избежать ошибок из-за непонимания, которые ведут к потере времени и увеличению вариабельности процесса. Кроме того, необходимо быть осторожными и разумно выбирать количество показателей для измерений. Когда измерений слишком много, появляется избыточная информация, которую невозможно проанализировать. Вследствие этого появляется пренебрежение к информации, и некоторая действительно важная информация может быть пропущена.

Анализируя классификации методов измерений, применяемых в науке о количественной оценке качества - квалиметрии, нами определено, что для измерения и оценивания результатов процессов и продукции системы качества вуза могут применяться следующие методы:

• измерительный - основан на информации, получаемой с использованием технических средств (например, измерение температуры в аудитории, уровня излучения от ПЭВМ и т.д.). Как уже отмечалось, этот метод используется для измерения и оценивания системы качества вуза достаточно редко;
• регистрационный - основан на информации, получаемой путем подсчета числа определенных предметов, событий или затрат (например, число срывов учебных занятий, количество учебных пособий и т.п.);
• расчетный - основан на информации, получаемой с помощью теоретических и эмпирических зависимостей, например, процент охвата социологическими опросами;
• экспертный метод - проводится группой специалистов, например, оценка соответствия программы учебной дисциплины требованиям федерального государственного образовательного стандарта;
• социологический - проводится методом опросов, например, внутренних и внешних потребителей.

Одной из важнейших задач, стоящих перед разработчиками системы качества в соответствии с требованиями ГОСТ Р ИСО 9001-2008, то есть создание системы «как надо», является создание системы показателей качества вуза, необходимой для управления его деятельностью. Но известно, что в результате многолетней деятельности вузов, в каждом из них сложились свои системы качества (системы управления) «как есть», во многом имеющие общие черты. Каждый вуз, создавая свою систему управления, разрабатывал также и систему показателей для ее измерения. Как правило, ежегодный анализ этих показателей, проводимый в вузе, основывается на измерении (оценке) работы по направлениям деятельности: учебно-воспитательная, научная, методическая и другие. Это перекликается с основными процессами его системы качества. Хотя в реестре процессов СибГТУ (таблица 2.5) мы видим несколько другие их наименования: «Реализация основных образовательных программ», «Воспитательная и внеучебная работа с обучаемыми», «Научные исследования и разработки», «Проектирование основных образовательных программ». В вузе собираются сведения, и осуществляется измерение показателей по направлениям деятельности, которые частично «перекрывают» некоторые процессы системы качества. Эти показатели затем сравниваются с показателями стратегического (и ежегодного) планирования вуза, показателями лицензирования и государственной аккредитации, критериями отбора ведущих вузов России и другими. Особое внимание уделяется динамичному развитию вуза. Следовательно, можно утверждать, что при измерении деятельности вуза, в первом приближении, используется процессный подход, в части измерения качества некоторых процессов (аналогов видов деятельности). Но, кроме измерения показателей по направлениям деятельности, в некоторых вузах определяется рейтинг факультета, кафедры, руководителей, преподавателей. То есть в данном случае можно говорить о применении функционального подхода.

Все это можно использовать при формировании системы качества вуза в соответствии с требованиями ГОСТ Р ИСО 9001-2008. В.Г. Елиферов и В.В. Репин также считают, что если в организации существует система показателей деятельности, то необходимо провести декомпозицию этих показателей в показатели процессов. То есть показатели процесса должны быть интегрированы в общую систему показателей деятельности организации (которая достаточно часто применяется в вузах). Это должно привести к интеграции уже существующей и требуемой систем показателей измерения.

• однозначная связь со стратегическими показателями организации (увязка с верхним уровнем);
• «прозрачность» для руководителей организации;
• удобство для владельцев процессов, управляющих своими процессами на основе этих показателей;
• понятность персоналу, выполняющему процесс;
• измеримость (показатели должны быть измеримы в цифровом выражении).

Разрабатываемая система показателей измерения должна являться, прежде всего, инструментом управления для высшего руководства вуза, для которого основными целями измерения является оценка:

• деятельности вуза в целом (динамика развития, сравнение с показателями государственной аккредитации, критерии ведущих вузов России и другие);
• отдельных процессов вуза, работы его конкретных подразделений;
• работы каждого руководителя;
• работы каждого преподавателя и сотрудника.

По нашему мнению, создание системы показателей вуза, также как и определение измеримых целей в области качества вуза и его структурных подразделений (рисунок 3.4), должно происходить по «вертикали» и по «горизонтали». То есть, когда (как было показано в п.3.2), стратегические цели вуза «по вертикали» декомпозируются на структурные подразделения, то в стратегии для каждой стратегической задачи уже определены «измеряемое значение для показателя стратегической задачи» и «величина индикатора достижения стратегической задачи» (таблица 3.6), и их можно использовать для создания системы показателей измерения вуза и его структурных подразделений. В дополнении к ним из информационных карт процессов также можно выделить показатели измерения, полученные по «горизонтали», на основании процессного подхода.

В работе М. Коуэна рассматривается функциональнопроцессная матрица Пола Хэриона, в которой по горизонтали представлено управление по процессам, а по вертикали управление по функциям. Основываясь на этой работе, мы также решили использовать матрицу как инструмент для интеграции различных показателей качества вуза и формирования их в единую систему.

Принимаем, что большинство показателей оценки деятельности вуза можно разделить на три множества:

• 1) Множество А, объединяющее показатели, определенные на основании стратегии вуза;
• 2) Множество В, включающее показатели, полученные из информационных карт процессов;
• 3) Множество С, состоящее из федеральных государственных требований (лицензионных и аккредитационных показателей) и требований ФГОС ВПО.

Все эти три множества являются пересекающимися, то есть некоторые из этих показателей могут входить в два и/или три множества.

Поэтапно показатели множеств А, В и С мы объединяем в подмножества к>п, которые располагаем в блочную матрицу (таблица 3.8). Матрица состоит из трех блоков, расположенных вертикально и соот-

ветствующих различным уровням управления вуза: верхнего (В), среднего (С), нижнего (Н). В каждом блоке есть некоторое число руководителей (от 1 до п), например, для высшего уровня управления эти руководители обозначены Х Ь Х 2 ......Х„. В левой части матрицы представлены процессы: процесс 1, процесс 2......процесс N. Это могут быть ос

новные процессы и/или обеспечивающие. Следовательно, индексы в подмножествах П >, т, к, п означают: верхний - указывает к какому процессу относится подмножество; нижний - порядковый номер руководителя и к какому уровню управления он относится. Например, подмножество П 2 кс означает, что оно относится к процессу 2 и к-ому руководителю среднего уровня управления.

Таблица 3.8

Матрица распределении показателей но процессам и ответственным

руководителям

Для каждой ячейки матрицы проводится анализ с целью исключения дублирования показателей и получения непересекающихся подмножеств П 1 " 1 п1?к, п . Причем часть этих подмножеств для какого-то процесса и руководителя будет «пустой», то есть не будет содержать никаких показателей.

На примере СибГТУ рассмотрим это для двух основных процессов и двух руководителей:

• подмножество П’пв, относящееся к процессу 1 и к п-ному руководителю блока высшего руководства;
• подмножество П 2 1 С, относящееся к процессу 2 и к первому руководителю блока среднего руководства.

Предположим, что к подмножеству п’ пв можно отнести процесс «Проектирование и разработка основной образовательной программы ООП». Это сквозной процесс, в котором участвуют различные структурные подразделения и его управление осуществляется на различных уровнях: вуза, факультетов и кафедр. К подмножеству П 2)с - процесс «Довузовская подготовка», который является функциональным и, в основном, осуществляется силами деканата довузовской подготовки.

На основании стратегии СибГТУ была осуществлена декомпозиция стратегических задач на процессы системы качества вуза (таблица 3.9).

Из информационных карт анализируемых процессов СибГТУ было проведено распределение показателей цели процессов между ответственными руководителями (таблица 3.10).

Декомпозиция показателей стратегических задач на процессы системы качества вуза (фрагмент)

Таблица 3.9

Для формирования подмножеств П 1 , П 2 ]с для каждой ячейки, относящейся к конкретному процессу и руководителю, объединили показатели: «измеряемые значения показателей и стратегических задач» из таблицы 3.9 и «измеряемые значения показателей цели процесса» из таблицы 3.10. Следует обратить внимание, что при разработке стратегии СибГТУ и создании информационных карт процессов использовались федеральные государственные требования и требования ФГОС ВПО, но рекомендуем еще раз проверить, нельзя ли эти требования и соответствующие им показатели применить к формируемым подмножествам П" пв, П 2 1с , для исследуемых процессов и соответствующих руководителей. Следовательно, должна появиться новая таблица, в которой эти показатели объединены. В монографии она не приводится.

Далее проводится экспертная оценка каждой ячейки новой таблицы, то есть собранных в ней показателей для каждого исследуемого подмножества - П" пв, П 2 1с , с целью исключения коррелируемых или дублирующих показателей. Рекомендуется также исключать показатели, ориентированные на процесс, а не на его результат. Например, показатель «количество проведенных профориентационных мероприятий» для процесса «Довузовская подготовка».

Таблица ЗЛО

Распределение показателей цели процесса между ответственными

руководителями (фрагмент)

В результате мы получаем таблицу 3.11, содержащую селективные подмножества показателей. Эти показатели можно отнести к ключевым показателям деятельности (КПД). Известно (ГОСТ Р ИСО 9004-2010, п.8.3.2), что «эти показатели должны поддаваться количественному измерению и должны давать возможность организации устанавливать измеримые цели, идентифицировать, вести мониторинг и прогнозировать тенденции и осуществлять корректирующие и предупреждающие действия и действия по улучшению в случае необходимости».

Следует подчеркнуть, что окончательный перечень КПД должен быть подвергнут экспертизе и согласованию со всеми заинтересованными сторонами. В результате в него войдет оптимальный набор КПД,

которые вуз выберет для себя в качестве «универсальной линейки», с помощью которой будут формироваться цели организации, а затем, по истечении определенного временного периода, осуществляется оценка (измерение) их достижения. Это даст возможность рассчитать результативность процессов, дать оценку деятельности руководителей. Кроме того, по мере необходимости, эти показатели можно использовать для мониторинга процессов. Значение этих показателей должно подвергаться анализу с помощью статистических методов управления качеством.

Ключевые показатели деятельности вуза, распределенные по процессам и ответственным руководителям (фрагмент)

Таблица 3.11

Разработанная система ключевых показателей деятельности (КПД) вуза (таблица 3.11) не исключает сбор и других показателей или сведений, характеризующих процессы и деятельность вуза по всем направлениям. Это, как правило, мы видим в традиционных годовых отчетах образовательных организаций. В них освещается, что было сделано, сколько и каких мероприятий проведено, достижения вуза и т.д. В работе А.А.Факторович обоснована методология и технология ценностно-мотивационного управ-

ления качеством педагогической деятельности преподавателя вуза. Ценностно-мотивационный подход в управлении качеством образовательного процесса в вузе не отменяет процессный, но расширяет его возможности. Представлены основные показатели и критерии эффективности внутриву-зовской системы управления качеством образования, построенной в соответствии с ценностно-мотивационным подходом. На наш взгляд, эти показатели и критерии могут также быть использованы при формировании системы ключевых показателей деятельности вуза.

Разработанная система ключевых показателей деятельности образовательной организации позволит:

• исключить дублирование показателей;
• более четко распределить ответственность между руководителями различного ранга;
• повысить управляемость процессов системы качества образовательной организации.

На наш взгляд, система КПД позволит провести оценку качества системы управления, по принципу: цели были поставлены, и как (насколько) они были реализованы. Это будет продвигать вузы к переходу реализации их деятельности на основе принципов менеджмента качества.

При подготовке курса важно заранее спланировать некоторые аспекты оценоч­ной системы:

1. Общий принцип оценивания: 1) по «кривой нормального распределения» или 2) в соответствии с определенными заранее заданными критериями.

2. Из каких проверочных процедур (тестов, контрольных заданий, письменных самостоятельных работ, зачета, экзамена) будет складываться общая оценка успешности изучения студентами курса.

3. Значение, которое будет придаваться различным заданиям и экзаменацион­ным процедурам в оценивании успешности освоения студентом курса в целом.

4. Критерии в оценке успешности выполнения проверочных заданий и сдачи эк­замена.

5. Какие «премиальные» и «штрафные» баллы будут начисляться в процессе учеб­ных занятий, выполнения самостоятельных заданий, при сдаче экзамена, тестов.

6. Минимальные критерии для получения удовлетворительной отметки по курсу.

7. Требования в отношении сроков и способов пересдачи не­удовлетворительно выполненных заданий.

Планирование отдельных учебных занятий и составление конспектов

Задачами подготови­тельной работы преподавателя к занятию являются:

1) определение целей занятия;

2) выбор знаний и умений, которые должны быть изучены в ходе занятия;

3) подбор методов и приемов обучения;

4) разработка методов контроля и оценки успешности занятия;

6) подготовка конспекта (плана) занятия.

Вопросы для самоконтроля:

1. Охарактеризуйте основные технологические этапы разработки учебного курса по психологии.

2. На какие критерии необходимо ориентироваться при выборе учебника и учеб­ных пособий?

3. Какие критерии отбора содержания учебного курса могут быть взяты за основу?

4. Приведите примеры постановки учебных целей при изучении психологии.

5. На какие вопросы следует обратить внимание при разработке формата прове­дения учебного курса?

6. На какие вопросы важно обратить внимание при разработке оценочной систе­мы, которая будет использоваться в процессе проведения курса?

7. Как следует планировать учебные занятия?

8. Что должна содержать рабочая программа учебного курса?

9. Что представляет собой тематический план занятий и как он оформляется?

10. На что важно обратить внимание при подготовке к отдельным занятиям?

Тестовые задания:

1. Критерием выбора учебного пособия является:

А) Систематизированность изложения учебной дисциплины;

Б) Доступность изложения учебного материала;

В) Наличие методического аппарата для лучшего усвоения учебного материала;

Г) А, Б и В

2. Какое количество тем учебного курса считается оптимальным?

А) названием курса и его ролью в учебном плане;

Б) требованиями, содержащимися в об­разовательном стандарте по дисциплине;

В) спецификой групп обучающихся, на которые рассчитан курс;

Г) А, Б и В

4. Рабочая программа разрабатывается:

А) отдельно для дневной и вечерней форм обучения;

Б) отдельно для заочной формы обучения и экстерната;

В) является еди­ной для всех форм обучения;

5. Функциями тематического плана занятий являются (выбрать несколько):

А) Планирование загрузки преподавателей на учебный семестр;

Б) Распределение учебных часов и учебных занятий по разделам, темам и формам;

В) Определение сроков и форм контроля и оценки усвоения учебного материала;

Г) Раскрытие последовательности изучения разделов и тем программы.

6 . Расположите этапы подготовки преподавателя к отдельному учебному занятию в логически верном порядке:

1) подбор методов и приемов обучения;

2) подготовка конспекта (плана) занятия;

3) разработка методов контроля и оценки успешности занятия;

4)выбор знаний и умений, которые должны быть изучены в ходе занятия;

5) планирование этапов занятия;

6) определение целей занятия.

УДК 338.23

разработка системы критериев

и методических подходов

к экспертной оценке эффективности

деятельности научных организаций*

с. В. ПРОНИЧКИН, кандидат технических наук, старший научный сотрудник E-mail: pronichkin@mail. ru Институт системного анализа РАН И. П. ТИХОНОВ, кандидат технических наук, ведущий научный сотрудник E-mail: 8tat@mail. ru Институт химической физики РАН

В статье представлены результаты сравнительного анализа существующих подходов к оценке эффективности деятельности научных организаций в России и за рубежом. Для оценки эффективности деятельности научных организаций предложено использовать вербальные экспертные методы, которые не требуют проведения громоздких и трудоемких вычислений множества числовых показателей и весовых коэффициентов, основываются на предлагаемой оригинальной системе качественных критериев.

Ключевые слова: критерий, вербальный анализ решений, экспертиза, компетентность.

Экономика современных промышленно развитых стран все в большей степени основывается на знаниях, которые воплощаются в результатах научно-технической деятельности. Одним из главных источников развития научно-технического комплекса России, его реструктуризации, модернизации и устойчивого подъема при переходе к инновационному типу развития являются результаты фунда-

* Статья подготовлена при поддержке РФФИ (проект № 12-07-00509).

ментальных исследований. Большинство государственных инвестиций в исследования и разработки фундаментального характера имеют своей целью содействие расширению фундаментальной базы знаний. Оценка эффективности деятельности научных организаций позволит различным федеральным органам более эффективно разрабатывать политику развития научного комплекса России .

Анализ опыта деятельности научных организаций зарубежных стран показал, что можно выделить два подхода к оценке эффективности их деятельности, которые лучше рассмотреть на примере. Обратимся сначала к опыту Европы (выделим Великобританию), а затем рассмотрим опыт России.

Фундаментальными исследованиями в Великобритании занимаются так называемые классические университеты. Оценка их деятельности осуществляется регулярно, раз в три года университет направляет на экспертизу отчет, в котором указывает наиболее значимые результаты своей деятельности. Отчет поступает на экспертизу (peer review), которая является анонимной с двух сторон (double blind). В качестве экспертов выступают ведущие

специалисты от бизнес-сообщества и ученые из образовательных учреждений.

Научная деятельность в Великобритании оценивается по полученным результатам с использованием всего трех критериев :

1) новизна, значимость и глубина проработки;

2) масштабность результата исследования;

3) конкурентоспособность.

Каждый из критериев имеет пять градаций оценок. Каждая градация имеет словесное описание применительно к конкретной сфере научного знания (например, физика, химия, социология). Всего выделено 36 областей научного знания.

Критерию сопоставлен коэффициент его важности: 1 - 0,65; 2 - 0,2; 3 - 0,15.

Градации шкалы критерия сопоставлены баллы: 0, 1, 2, 3, 4, 5.

Подход к оценке результатов научной деятельности в Великобритании основывается исключительно на экспертных количественных оценках.

Рассмотрим российский опыт. Согласно официально принятой типовой методике, утвержденной приказом Министерства образования и науки РФ от 14.10.2009 №№ 406, оценка результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, проводится на основе анализа и сопоставления показателей результативности их деятельности . Оценка проводится ежегодно, причем установлены шесть основных направлений оценки, по каждому из них выбраны несколько критериев и соответствующих количественных показателей:

1) научный потенциал и эффективность научных исследований;

2) вовлеченность научной организации в национальное и мировое научно-образовательное сообщество;

3) коммерциализация и прикладное значение результатов исследований;

4) кадровая обеспеченность научной организации;

5) ресурсная обеспеченность научной организации;

6) состояние финансовой деятельности научной организации.

Предусматривается также, что возможна одновременная оценка группы научных организаций, имеющих сходные цели, работающих в одной области науки или осуществляющих деятельность в

сходных условиях (референтные группы). Однако отсутствуют ясные правила формирования референтных групп, в типовой методике указывается, что референтые группы формируются по мере необходимости. В референтной группе организации сравниваются по общим для всех организаций показателям.

В указанные шесть групп критериев включаются исключительно количественные «измеримые» показатели, а именно: удельный вес внутренних затрат на исследования и разработки в общем объеме выполненных научной организацией работ; число публикаций работников научной организации, индексируемых в базе данных Web of Science; число охраняемых объектов интеллектуальной собственности.

Подход к оценке результатов научной деятельности в России основывается исключительно на количественных показателях.

Отметим ключевые методологические отличия официального подхода к оценке деятельности научных организаций, принятого в России, по сравнению с подходом, принятым в Великобритании.

В России не учитывается длительность цикла производства фундаментального научного результата. Если взять такие области знания, как физику, химию, биологию, то длительность цикла научного исследования и соответственно публикация его результатов, как правило, занимает гораздо больше времени, чем для гуманитарных наук (например экономики). Таким образом, классифицировать и ранжировать научные организации разных профилей по числу публикаций просто нецелесообразно, поскольку они практически несравнимы.

Отличительной особенностью подхода в России является большое количество показателей оценки - 48. Такое количество показателей создает известные трудности по их сбору, обработке и анализу, причем предопределяет невозможность выделить главное. Видимо, кто-то основывается на вере в то, что с помощью большого числа показателей в науке можно что-то точнее охарактеризовать. Однако получается, что «вместе с водой выплескиваем и ребенка»: хотели как лучше, а получается как всегда. Обстоятельная критика такого подхода, применяемого в настоящее время для оценки высших учебных заведений категории «национальный исследовательский университет», представлена в работе С. В. Проничкина, В. И. Круглова, В. П. Соловьева, А. И. Кочетова .

В работе А. Ф. Яковлева справедливо отмечено, что ряд показателей типовой методики не могут быть применены при оценке социогумани-тарных исследований: патентные исследования, коммерциализация результатов и взаимодействие с реальным сектором экономики. Эти показатели должны быть заменены на другие, релевантные гуманитарным исследованиям.

Важно отметить, что системы оценки в России и Великобритании не разделяют науку на фундаментальную и прикладную. Если это фундаментальная наука, то нужно оценивать качество фундаментальных результатов, практическое использование которых часто трудно представить. А если это прикладные исследования, то надо оценивать те практические результаты, которые получены.

Ключевым недостатком подходов как в России, так и в Великобритании является то, что и те и другие используют так называемый количественный подход, основанный на числовом измерении показателей, которыми характеризуются объекты. Однако, несмотря на кажущуюся простоту и очевидность, количественный подход мало пригоден для работы с качественными характеристиками, ведь он содержит целый ряд методологических дефектов. Укажем наиболее важные из этих дефектов.

Практически невозможно априори назначить количественные шкалы оценок, сопоставив качественным факторам какие-либо числа так, чтобы они «правильно» и «объективно» выражали плохо формализуемые свойства научно-технических результатов и одинаково понимались разными людьми.

При этом не существует никакой содержательной аргументации в пользу выбора той или иной градации шкалы числовых оценок (например, использование шкалы с градациями 1-2-3, 1-3-5-7-9 или др.). Более того, как было убедительно показано, использование порядковых шкал, имеющих разные числовые шкалы, даже по одним и тем же критериям может привести к совершенно разным итоговым упорядочениям и разбиениям на классы исходной совокупности объектов. Тем самым, задавая произвольные градации оценок на шкалах, можно получить любую наперед заданную ранжировку и любую классификацию многопризнаковых объектов.

Наконец, при использовании шкал числовых оценок появляется искушение сформулировать один «простой» и «понятный» итоговый показатель, агрегирующий частные оценки (который

обычно задается в виде суммы, взвешенной суммы или некоторой усредненной оценки), по величине которого и проводится сравнение объектов. В этом случае происходит смешение разнородных показателей, важных и неважных факторов, оценок разных экспертов, что делает невозможным выделение наиболее значимых для выбора показателей, увеличивает возможность присвоения содержательно незначительным результатам научных организаций достаточно высоких итоговых оценок.

Предлагаемые в существующих методиках многочисленные числовые коэффициенты, получаемые, как правило, экспертным путем, а также огромный спектр оцениваемых параметров не только значительно усложняют процесс мониторинга и вычисления интегральной оценки, но и затрудняют объяснение вычисленных значений оценки. Поэтому достоверность получаемых результатов не может считаться достаточной для принятия решений о финансировании исследований за счет средств федерального бюджета.

Практика мониторинга деятельности научных учреждений, выполняющих фундаментальные и прикладные исследования, требует достаточно простой, понятной и недорогой в использовании методологии оценки эффективности их деятельности.

Анализ числовых показателей, используемых в типовой методике, позволяет определить состояние отдельных направлений деятельности научной организации, выделить ее «сильные и слабые стороны». Гораздо сложнее при таком подходе провести сравнительный анализ нескольких организаций. На сегодняшний день задача разработки адекватного методического подхода к определению обобщенных итоговых показателей для сравнительного анализа эффективности научных организаций по существу остается актуальной.

Эффективность деятельности научной организации (эффективность ее результатов) наиболее адекватно можно характеризовать исключительно разнообразными качественными показателями. При этом требуемая информация о разных аспектах результата деятельности научной организации может быть получена, главным образом, по результатам экспертизы.

В исследованиях А. Б. Петровского, Г. В. Рой-зензона, И. П. Тихонова, А. В. Балышева, Э. Н. Яковлева для оценки деятельности научных организаций используется разработанная специалистами

экспертно-аналитического центра Минобрнауки России и Института системного анализа РАН система из 11 качественных критериев, объединенных в две группы: 1) оценки научной деятельности (НД); 2) оценки финансово-экономической деятельности. Группа оценки НД включает пять критериев:

1) уровень научных результатов;

2) признание научных результатов;

3) квалификация научных кадров;

4) возраст научных работников;

5) степень обновления научного оборудования.

Среди этих критериев важнейшим является

первый - «Уровень научных результатов», ведь именно результаты, собственно научная продукция, являются первоосновой при оценке эффективности научных организаций. Поэтому применительно именно к этому критерию рассмотрим далее возможности применения адекватных методов оценки.

В данной работе предлагается новый подход к многокритериальной экспертной оценке и анализу эффективности деятельности научных организаций. Предлагаемая методология основывается на групповом упорядочивании многопризнаковых объектов с использованием оригинальных методов вербального (качественного) анализа решений .

Вербальный анализ решений представляет собой относительно новый подход в теории и практике многокритериальной оценки и сравнения альтернатив. Он разрабатывается в течение многих лет в Институте системного анализа РАН сначала под руководством академика РАН О. И. Ларичева, а затем доктора технических наук А. Б. Петровского, причем успешно применяется при решении различных задач. Особенностью этих задач является описание рассматриваемых объектов (вариантов, альтернатив) при помощи многих признаков как количественных, так и качественных (последние играют не меньшую роль, чем первые). Степень достижения требуемого значения показателя качества измеряется многими критериями с вербальными шкалами.

В развитие упомянутых исследований для более детальной оценки результатов научных организаций в рамках критерия «Уровень научных результатов» была разработана система, состоящая из семи качественных критериев:

1) характер результата:

Теоретический результат;

Экспериментальный результат, имеющий материальное воплощение и направленный на

создание и совершенствование промышленных технологий и продукции;

Информационный результат, не имеющий материального воплощения и направленный на создание и совершенствование социальных технологий;

Результат опытно-конструкторской разработки;

Тестирование, испытание, апробация;

2) вид результата:

Автоматизированный комплекс;

Автоматизированная система;

Агрегат;

Алгоритм;

Аппарат;

База данных;

Другие виды;

3) вклад результата в решение основных задач научной организации:

Результат вносит существенный вклад в решение основных задач научной организации;

Результат вносит определенный вклад в решение основных задач научной организации;

Результат вносит некоторый вклад в решение основных задач научной организации;

Результат не влияет на решение основных задач научной организации;

4) вклад результата в решение социальных проблем:

Создание условий для повышения качества жизни;

Повышение уровня образованности и информированности населения;

5) востребованность результата:

Актуальность результата;

Уровень научно-технической значимости результата;

Уровень конкурентоспособности результата;

Возможный спрос на результат;

Возможная сфера использования результата;

Возможный масштаб применения результата;

6) практическая реализуемость результата:

Степень проработки результата;

Возможность тиражирования результата;

Уровень правовой охраны результата;

Возможные сроки практической реализации результата;

7) готовность потребителей к освоению результата:

Готовность производственной базы к освоению результата;

Готовность производственного персонала к освоению результата;

Готовность системы материально-технического обеспечения к освоению результата;

Наличие финансовых средств для освоения результата;

Наличие опыта освоения результата.

Первые два критерия классифицируют результаты по характеру и виду. Третий критерий учитывает непосредственный вклад результата в решение основных задач научной организации. Четвертый критерий дает оценку вклада результата научной организации в решение социальных проблем. Пятый критерий позволяет получить оценку востребованности результата научной организации.

Возможность практической реализации результата научной организации служит основой научно-технического прогресса . Для оценки практической значимости результата предназначены шестой и седьмой критерии.

Критерии с четвертого по седьмой включают в себя подкритерии, их характеризующие.

Для каждого критерия (подкритерия) была разработана вербальная шкала с небольшим числом градаций, обеспечивающих ясную различимость оценок. Например, шкала подкритерия «Актуальность результата» имеет такой вид:

Требуется безотлагательное применение результата;

Результат потребуется в ближайшее время;

Результат потребуется в отдаленной перспективе;

Оценить неотложность применения результата затруднительно.

Для организации и проведения экспертизы результатов научных организаций разработаны методические рекомендации, в которых нашли отражение следующие ключевые моменты:

1) общие положения;

2) цели, задачи и принципы экспертизы;

3) объекты и субъекты экспертизы;

4) порядок проведения экспертизы;

5) нормативно-методическое обеспечение экспертизы;

6) организационно-техническое и финансовое обеспечение экспертизы.

Объектами экспертизы служат результаты научных организаций. Для инвентаризации и анали-тико-информационного представления результатов создается специализированный реестр, который

обеспечивает автоматизированный поиск требуемых данных по критериям оценки результатов, другим ключевым показателям и индикаторам. Организационно-методическое обеспечение, предназначенное для построения и ведения реестра результатов научных организаций, предусматривает реализацию следующих положений:

1) цели и основные принципы создания и функционирования реестра;

2) структура реестра;

3) права и обязанности держателя реестра;

4) пользователи реестра и их взаимоотношение с держателем реестра;

5) ликвидация реестра.

Субъектами экспертизы выступают эксперты - известные ученые и специалисты, работающие в институтах РАН, высших учебных заведениях, отраслевых научных организациях. Отбор экспертов представляет собой достаточно сложную задачу, от решения которой в значительной мере зависит эффективность использования методов сбора и обработки суждений экспертов и, в конечном итоге, качество экспертизы в целом и корректность решений, принимаемых на базе экспертных заключений.

Определенную помощь при отборе экспертов может оказать сопоставление кандидатов в эксперты по индивидуальным качествам, которыми должен обладать, по мнению психологов и специалистов по проведению экспертиз, «идеальный» эксперт . При формировании реестра экспертов целесообразно учитывать их компетентность, которую можно оценить, например, по следующим показателям:

1) профиль и уровень образования;

2) связь профиля профессиональной деятельности с областью экспертизы;

3) опыт и стаж работы по профилю;

4) характер и уровень проблем, рассмотренных ранее экспертом, выполненных экспертиз, сбывшихся прогнозов.

Процедура экспертизы результатов научных организаций предусматривает индивидуальную работу экспертов по многокритериальной оценке результатов и анализ итогов экспертизы по различным критериям.

В целях повышения обоснованности экспертной оценки каждый результат независимо оценивается несколькими (не менее чем двумя) экспертами. Эксперт изучает представленный ему объект экспертизы, оценивает полученный научный результат по критериям, приведенным в экспертной анкете, а также

дает свое письменное агрегированное заключение о значимости результата, которое служит основой для подготовки обобщенного экспертного заключения. Результатами индивидуальной экспертизы являются многокритериальная экспертная оценка научного результата и письменное экспертное заключение.

Формализацию понятия «эффективность деятельности научной организации» предлагается рассматривать как задачу классификации многопризнаковых объектов, где объектами служат различные комбинации вербальных оценок результата организации по приведенным выше критериям, а классами решений являются различные градации интегрального критерия «Эффективность деятельности научной организации». Градации порядковой шкалы интегрального (комплексного) критерия эффективности деятельности организации определяют агрегированные упорядоченные оценки результата по критериям, которые характеризуют деятельность как высокоэффективную, эффективную или низкоэффективную.

Ранжирование результатов научных организаций предлагается осуществлять, используя метод группового упорядочения объектов АРАМИС (агрегирование и ранжирование альтернатив относительно многопризнаковых идеальных ситуаций) . Метод основан на расчете близости объекта к идеальному объекту, имеющему наилучшие/наихудшие оценки по всем критериям, данными всеми экспертами. Преимущество метода АРАМИС заключается в том, что он позволяет ранжировать объекты, которые оценены несколькими экспертами по многим качественным критериям, без построения индивидуальных ранжировок, причем исключает необоснованную трансформацию исходной вербальной информации в числовую форму.

В заключение следует отметить, что предлагаемые методические подходы и система критериев представляют собой прозрачный механизм оценки деятельности научных организаций по их результатам. Методические подходы не требуют проведения громоздких и трудоемких вычислений сотен числовых показателей и весовых коэффициентов. Данная работа будет продолжена в дальнейшем в направлении детализации остальных критериев оценки результатов деятельности научных организаций.

Список литературы

1. Ларичев О. И. Вербальный анализ решений / под ред. А. Б. Петровского. М.: Наука, 2006.

2. Многокритериальный анализ деятельности научных организаций / А. Б. Петровский, Г. В. Рой-зензон, И. П. Тихонов, А. В. Балышев, Э. Н. Яковлев // XIII Национальная конференция по искусственному интеллекту с международным участием (КИИ-2012). Труды конференции. Т. 3. Белгород: Изд-во БГТУ. 2012. С. 64-71.

3. Неволин И. В., Хрусталёв О. Е., Хрус-талёв Ю. Е. Методология оценки финансовой значимости и реализуемости инновационных проектов создания интеллектуальной продукции // Финансовая аналитика: проблемы и решения. 2013. № 11 (149). С. 39-45.

4. Проничкин С. В., Круглов В. И., Соловьев В. П., Кочетов А. И. Разработка критериальной модели для независимой оценки деятельности вуза категории «Национальный исследовательский университет» // Высшее образование сегодня. 2010. № 7. С. 6-16.

5. Петровский А. Б. Теория принятия решений. М.: Изд. центр «Академия», 2009.

6. Проничкин С. В. Разработка компетентнос-тной модели эксперта для независимой оценки образовательной деятельности вузов // Сб. мат-лов Международной межвузовской и институтской научно-технической конференции «64-е дни науки студентов МИСиС», 14-21.04.2009, ГТУ ВПО «Московский институт стали и сплавов «МИСиС». М.: МИСиС, 2009. С. 399-400.

7. Рощин А. В., Тихонов И. П., Проничкин С. В. Методический подход к оценке эффективности результатов научно-технических программ // Экономический анализ: теория и практика. 2013. № 21 (324). С. 10-18.

8. Типовая методика оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения: утверждена приказом Министерства образования и науки РФ от 14.10.2009 № 406.

9. Яковлева А. Ф. Об основных подходах к оценке результативности научных исследований в России // Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований / Ин-т философии РАН; сост. и отв. ред. А. В. Рубцов. М. : ИФРАН, 2012. С. 144-156.

10. Higher Education Funding Council for England, Research Assessment Exercise 2014 «Assessment criteria and level definitions». Bristol: HEFCE, 2013.

Разработка контрольных заданий, зачетных и экзаменационных вопросов, заданий для тестирования - важная часть работы преподавателя по разработке учебного курса. Содержание и характер этих заданий определяются программой учебного курса, целями и задачами, которые ставит преподаватель. В процессе этой работы может оказаться полезным уже существующий опыт других преподавателей (Турусова, 1994; Полякова, 1995; Контрольные работы по психологии, 1998; Климов, 1999; Каган, 1999).

При подготовке курса важно заранее спланировать некоторые аспекты оценочной системы.

1. Общий принцип оценивания: по «кривой нормального распределения» или в соответствии с определенными заранее заданными критериями.

2. Из каких проверочных процедур (тестов, контрольных заданий, письменных самостоятельных работ, зачета, экзамена) будет складываться общая оценка успешности изучения студентами курса.

3. Значение, которое будет придаваться различным заданиям и экзаменационным процедурам в оценивании успешности освоения студентом курса в целом.

4. Критерии в оценке успешности выполнения проверочных заданий и сдачи экзамена.

5. Какие «премиальные» и «штрафные» баллы будут начисляться в процессе учебных занятий, выполнения самостоятельных заданий, при сдаче экзамена.

6. Какие «штрафы» будут предусмотрены за более позднюю сдачу заданий, тестов?

7. Каковы минимальные критерии для получения удовлетворительной отметки по курсу?

8. Какие требования существуют в отношении сроков и способов пересдачи неудовлетворительно выполненных заданий?

Подробнее о разработке оценочной системы, проверке и оценке знаний по психологии мы говорили выше.

Рабочая программа, тематический план, критерии оценки знаний студентов необходимы для методического обеспечения работы преподавателя. Однако не менее важно, чтобы они были известны студентам с самого начала учебного курса (желательно с первого дня занятий). В этом случае они будут служить им руководством в изучении курса, напоминанием об основных сроках и заданиях, которые они должны выполнить.

Общий обзор целей, содержания и организации учебного курса, детальное разъяснение рабочей программы, ответы на вопросы студентов дают им отличное введение в курс и обычно занимают значительную часть времени на первом занятии.

8. Планирование отдельных учебных занятий и составление конспектов

Следующей задачей преподавателя является подготовка учебных занятий - лекций, семинаров, практических занятий, уроков, а также разработка заданий для самостоятельной работы. Методика проведения каждого из перечисленных видов занятий имеет свою специфику, что, естественно, отражается и на подготовке к ним. Об этом речь шла в предыдущих главах.

Здесь мы остановимся на некоторых общих моментах. Задачами подготовительной работы преподавателя к занятию являются:

Ø определение целей занятия;

Ø выбор знаний и умений, которые должны быть изучены в ходе занятия;

Ø подбор методов и приемов обучения;

Ø разработка методов контроля и оценки успешности занятия;

Ø планирование этапов занятия;

Ø подготовка конспекта (плана) занятия.

При этом важно обратить внимание на следующие вопросы:

1. Какие цели ставятся на занятии? Что должны узнать студенты (учащиеся), что изучить, какими знаниями овладеть, какие умения приобрести? Какие ценности, личностные (или профессиональные) качества будут развиваться благодаря участию в занятии?

2. Какие знания приобретут студенты (учащиеся)? Какие психологические феномены, эмпирические факты, теории, понятия, связи, закономерности будут изучаться на занятии?

3. Какие примеры и иллюстрации будут использоваться для объяснения данного учебного материала? Будут ли это данные эмпирических исследований, практической психологической работы или примеры из жизни?

4. Каким образом будут демонстрироваться возможности практического применения психологических знаний?

5. Какие умения оперирования психологическими знаниями будут формироваться на занятии?

6. Какие методы учебной работы наиболее подходят для достижения поставленных целей занятия?

7. Какие методические приемы будут способствовать усвоению определенных знаний и умений?

8. Какие раздаточные и демонстрационные материалы потребуются?

9. Какие критерии и процедуры будут использоваться для контроля и оценки успешности занятия?

10. Какие основные этапы будет включать занятие? Каковы цели каждого этапа? Какова их ориентировочная длительность? Какие виды деятельности преподавателя, с одной стороны, и студентов (учащихся), с другой стороны, планируются на каждом этапе?

Заключительным этапом подготовки к занятию является составление его конспекта, в котором обычно отражаются ответы на все вышеперечисленные вопросы. Его полезно писать (или печатать) достаточно четким и крупным шрифтом, чтобы он был читабельным и удобным в использовании в любых условиях учебного занятия. Оформление конспекта может быть разным в зависимости от вида занятий (лекция, семинар, практическое занятие, урок), однако его расположение на листе бумаги должно помогать преподавателю быстро и четко выделять наиболее важные методические аспекты занятия.

Важными задачами при разработке преподавателем заданий для самостоятельной работы студента являются:

1. формулировка цели задания, а также знаний и умений, которые должны быть усвоены при его выполнении;

2. постановка задач, которые должны быть решены при выполнении задания;

3. характеристика средств выполнения задания;

4. характеристика источников, которыми можно пользоваться при выполнении задания;

5. примерная оценка времени, которое потребуется для выполнения задания;

6. определение срока, к которому задание должно быть выполнено, и места, куда оно должно быть сдано;

7. формулировка штрафных санкций за сдачу задания позже назначенного срока;

8. разработка и формулировка критериев оценки выполненного задания.

В соответствии с вышеперечисленными задачами должна быть подготовлена четкая (желательно письменная) методическая разработка указаний по выполнению задания для студентов.

Соглашение об использовании материалов сайта

Просим использовать работы, опубликованные на сайте , исключительно в личных целях. Публикация материалов на других сайтах запрещена.
Данная работа (и все другие) доступна для скачивания совершенно бесплатно. Мысленно можете поблагодарить ее автора и коллектив сайта.

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Подобные документы

Оценка и аттестация персонала на предприятии. Взаимосвязь оценки персонала и аттестации с элементами системы управления персоналом. Критерии оценки и стандарты работы. Пример критериев оценки и разработки ее систем. Структура процесса аттестации.

дипломная работа , добавлен 02.02.2009


Основные аспекты оценки работы персонала. Особенности аттестации государственных служащих, процедура и методы ее проведения. Критерии и методы оценки компетентности аттестуемых. Характеристика аппарата Государственной Думы, оценка труда его сотрудников.

дипломная работа , добавлен 11.03.2011


Основные понятия аттестации как метода оценки персонала. Цели аттестации и роль руководителя. Внедрение системы аттестации персонала в организации. Методы и критерии оценки аттестации персонала. Оценка результатов и решение аттестационной комиссии.

реферат , добавлен 22.02.2008


Место аттестации персонала в системе управления организацией, этапы проведения данного процесса, критерии и параметры оценки его практической эффективности. Характеристика исследуемого предприятия, анализ системы управления персоналом и его аттестации.

дипломная работа , добавлен 09.10.2014


Исследование сущности аттестации персонала и критериев ее оценки. Традиционные и нетрадиционные методы аттестации персонала. Изучение организационной структуры предприятия ООО "УГСМ". Оценка показателей развития личностных и деловых качеств сотрудников.

дипломная работа , добавлен 21.12.2014


Особенности проведения оценки и аттестации персонала гостиничного предприятия "Парк-отель Европа", анализ базовых методов и критериев. Направления аттестации руководителей и специалистов в организации. Разработка предложений по ее совершенствованию.

курсовая работа , добавлен 29.04.2014


Критерии оценки персонала. Характеристика организационной структуры, количественного и качественного состава сотрудников организации. Анализ системы аттестации педагогических работников. Выявление ее недостатков и рекомендации по совершенствованию.

дипломная работа , добавлен 10.03.2015


Рассмотрение основных функций аттестации: диагностическая, прогностическая. Общая характеристика деятельности ООО "Ашан", знакомство с особенностями и этапами разработки мероприятий по совершенствованию системы оценки и аттестации персонала организации.

дипломная работа , добавлен 10.03.2015