Методологические проблемы оценки эффективности мероприятий молодежной политики



Статья посвящена анализу подходов к оценке эффективности мероприятий молодежной политики, в ней предложена возможная структура показателей (индикаторов) количественного и качественного характера отдельного мероприятия, намечена классификация типов мероприятий и дальнейшие шаги по разработке общей системы качественной оценки

Ключевые слова: показатели, молодежная политика, мероприятие, эффективность, методология

То, что вы замеряете, оказывает влияние на то, что вы делаете... если вы не измеряете то, что нужно замерять, вы и не делаете того, что необходимо

Дж. Стиглиц

При оценке эффективности мероприятий молодежной политики, необходимо выявить методологические основы такой оценки. Это позволит определить, имеем мы дело с системой последовательных шагов в достижении целей молодежной политики или с разрозненными мероприятиями, не обеспечивающими необходимого системного эффекта. В качестве такой методологической основы должно выступать понимание того, что все реализуемые мероприятия являются осуществлением в различных формах государственной молодежной политики, то есть видение за каждым проводимым мероприятием политической подоплеки.

Такой подход предполагает четкое осознание того, что представляет собой на данный момент времени государственная молодежная политика, каковы ее актуальные и перспективные цели, какие последовательные шаги необходимо предпринять для их достижения.

Оценка эффективности того или иного мероприятия в конечном счете упирается в поиск ответа на вопрос, как предпринимаемые меры будут содействовать социальному развитию молодежи. Не менее важен ответ на вопрос: куда движется наше общество, которое старшее поколение передает молодежи.

Понятие «эффективность» как феномен, который имеет и политическую, и экономическую, и психологическую, и социальную компоненты, неизменно находится в центре внимания представителей различных областей знания. В отличие от термина «результативность», эффективность — это состояние результата, превышающее простую сумму слагаемых или выше планируемого. Там, где мы включаем термин эффективность, мы должны понимать, какими материальными и нематериальными стимулами она будет обеспечена, а самое главное — как оценена.

Основы государственной молодежной политики вывели задачи по развитию молодежного сообщества на федеральный уровень. При этом, регионы и муниципалитеты, отдельные отрасли (РЖД, Росатом, Газпром и т. д.) разрабатывают собственные программы поддержки молодежи, основываясь на общегосударственных принципах и приоритетах, но внося при этом свои существенные дополнения и изменения, в том числе, в систему оценки результатов. Зачастую, мы имеем разнообразные модели и методы сбора и обобщения информации о состоянии и динамике в социальной сфере в регионах РФ, свод которых невозможен на федеральном уровне.

Отсутствие модельного стандарта по оценке эффективности мероприятий молодежной политики требует серьезного анализа существующей практики, в том числе мировой в этой и близких областях. Анализ литературы свидетельствует, что общепринятой трактовки эффективности и результативности мероприятий на сегодняшний день не выработано, но подходы к их созданию есть. Так, в Концепции Федеральной Целевой Программы «Молодежь России 2015–2016 гг.» в части оценки работ было предложено:

– по направлению молодежной политики, ориентированной на создание благоприятных условий для проявления и развития инновационного потенциала молодых людей целевым индикатором считать «Количество проектов, представленных на мероприятиях по инновационному развитию» (целевое значение — 2 000 проектов в планируемом году).

– по направлению молодежной политики, ориентированной на создание возможностей для успешной социализации и эффективной самореализации молодых людей вне зависимости от социального статуса использовать следующий целевой индикатор: «Доля молодых людей, участвующих в деятельности детских и молодежных общественных объединений, в общем количестве молодежи» (целевое значение — 45 % в планируемом году).

– по направлению молодежной политики в части создания механизмов стимулирования инновационного поведения молодежи и ее участия в разработке и реализации инновационных идей показателем решения задачи считать «Долю молодых людей, участвующих в мероприятиях (конкурсах, фестивалях, олимпиадах) научно-технической направленности, в общем количестве молодежи» (целевое значение — не менее 60 % в планируемом году).

– по направлению молодежной политики в части обеспечения эффективной социализации и вовлечения молодежи в активную общественную деятельность показателем эффективности считать долю учащихся старших классов общеобразовательных учреждений, участвующих в программах по трудоустройству, профессиональной ориентации, в общем количестве молодежи (целевое значение — не менее 100 % в планируемом году);

– по направлению: формирование механизмов поддержки и реабилитации молодежи, находящейся в трудной жизненной ситуации показателем реализации задачи считать показатель «Количество молодых людей, находящихся в трудной жизненной ситуации, вовлеченных в проекты и программы в сфере реабилитации, социальной адаптации и профилактики асоциального поведения» (целевое значение — не менее 8 000 человек в планируемом году).

– по направлению молодежной политики, ориентированному на создание системных механизмов воспитания у молодежи чувства патриотизма и гражданской ответственности, привитие гражданских ценностей, формирование российской идентичности — показатель «Доля молодых граждан Российской Федерации, считающих себя «россиянами» и ассоциирующих себя с российской нацией» (целевое значение — не менее 65 % в планируемом году).

– по направлению обеспечение эффективной социализации и вовлечения молодежи в активную общественную деятельность» считать показателем долю молодых людей, принимающих участие в добровольческой деятельности, в общем количестве молодежи (целевое значение — не менее 18 % в планируемом году).

– по направлению повышения качества оказания услуг в сфере молодежной политики государственными и муниципальными учреждениями — показателем считать «Долю государственных и муниципальных учреждений по работе с молодежью, оборудованных в соответствии с требованиями стандарта работы учреждений по работе с молодежью, в общем количестве учреждений по работе с молодежью» (целевое значение — не менее 75 % в планируемом году) и т. д.

Как видим, все показатели и индикаторы носят количественный характер, выраженный в удельном весе значения в общем массиве (а не относительно целевой группы, например, количество трудоустроенных относительно нетрудоустроенных на конкретный период времени). Хотя при существующей динамике рынка труда важны также показатели качественного характера: трудоустроен ли молодой человек по специальности, каково количество месяцев, отработанных в одной организации /или одном рабочем месте, динамика карьерных ожиданий и потенциал (служебный рост) и т. д.

В связи с усложнением социальной реальности значительно возрастает потребность в новой методологии, которая сочетала бы в себе как классические, так и синтетические подходы к оценке эффективности конкретных мероприятий, в отдельности, и всей системы работы, в целом. В мировой практике имеются подходы к разработке такой методологии. Так, Комиссия по измерению эффективности экономической деятельности и социального прогресса (Commission on the Measurement of Economic Performance and Social Progress), учрежденная Президентом Франции Николя Саркози в 2008 г, предложила использовать для замера социального прогресса три направления показателей развития общества: экономические ресурсы, качество жизни и устойчивость развития. При таком подходе экономический прогресс характеризует только один из аспектов развития общества. В различных социальных науках неоднократно предпринимались попытки поиска объективных критериев, характеризующих благосостояние людей, то есть того, что, по сути, является субъективным понятием. Тем не менее, последние достижения социальных наук в этой области указывают на то, что надежные, неединичные пути для выяснения ряда аспектов благосостояния и качества жизни всё же существуют. Один из них основан на характеристиках субъективного восприятия деятельности, которая представляет собой объективное явление. Так, например, рабочая группа под руководством американского экономиста Алана Крюгера занимается разработкой методик замера показателей, характеризующих ценность жизни в ее различных деятельностных проявлениях.

В первую очередь исследователи выделили такие составляющие качества жизни, как должное образование, хорошее здоровье, политические свободы, угнетение, насилие, и т. д. Затем они проанализировали, насколько люди счастливы, занимаясь своей каждодневной деятельностью, и как они проводят свободное время. Теоретически уже один этот вид замера способен в определенной степени охарактеризовать гедонистические переживания деятельности. Надежность данного подхода базируется на том, что у людей запрашивают не только оценки отдельных сторон их жизнедеятельности, но и более объёмные, широкие качественные суждения о жизни в целом. Применение этого подхода к исследованию качества жизни в США позволило, например, сделать вывод, что половина населения Америки оценивает свою жизнь как «процветание», другая же половина считает, что «бьется», чтобы выжить. Применительно к молодежи, рассматриваемый подход позволяет не только определить средний уровень ее удовлетворенности своей жизнью, но и выявить, насколько различается уровень удовлетворенности жизнью у разных молодежных групп. Рассматриваемый подход включает также использование метода ранжирования, в соответствии с которым оценивается важность для людей дохода, отдыха, здоровья, достойной работы, безопасность и т. д. Ранжирование выявило, что для большинства обследуемых такие показатели, как здоровье, безопасность и отдых имеют большее значение, чем доход [6, с. 120].

Разрабатываемая методология позволила предложить мировому сообществу новые подходы к замеру национального прогресса, существенно расширившие область, подлежащую измерению, за счет включения следующих показателей и индикаторов не только объективного, но и субъективного характера.

Чистый индикатор прогресса (Genuine Progress Indicator) существенно расширяет содержание такого важного показателя, как ВВП (GDP). Его получают путем прибавления к значению ВВП стоимости домохозяйствования и работ на добровольных началах. Из полученного вычитаются потери, которые выражаются в неких коэффициентах стоимости, исключая коэффициенты загрязнения среды и преступления. Данный индикатор позволяет лучше понять изменения, происходящие в распределении дохода.

Замер Межнационального счастья (Gross National Happiness) включает такие объективные и субъективные индикаторы, как непрерывность развития, поддержание культурных ценностей, сохранение естественной окружающей среды и эффективного управления [5, URL: http://www.scribd.com/doc/19784660/Happiness-and-Measuring-Economic-rogress-by-Joseph-Stiglitz (дата обращения: 10.11.2016)].

Индекс счастья планеты сочетает в себе субъективную удовлетворенность жизнью, базирующуюся на ожиданиях от жизни, и экологическую составляющую, Последняя оценивается с помощью экологических показателей, которые измеряются на основе сложной формулы, описывающей эмиссию СО² и использование природных ресурсов.

В настоящее время ООН издает ежегодный Отчет о развитии человечества (Human Development Report — HDR), содержащий данные GDP по каждой стране — члену ООН, а также замеры по здоровью, жизненным ожиданиям, образованию, санитарии, питанию, распределению доходов, доступности чистой воды и дискриминации по полу. Цель Отчета о развитии человечества (HDR) состоит в оценке того, какое влияние это развитие оказывает на повседневную жизнь. При замере прогресса ООН зачастую обращается к Индексу развития человечества (Human Development Index — HDI) [3. URL: http://prodip.wordpress.com/tag/joseph-stiglitz/ (дата обращения: 21.11. 2016)], сочетающему в себе GDP, образовательный уровень и жизненные ожидания. Такие трансформации подходов и принципов к оценкам развития общества обусловлены в первую очередь глубокими трансформациями в природе государственности развитых стран.

Этот опыт позволяет говорить о том, что современная методология может охватить всю многоаспектность оценки эффективности результатов реализации молодежной политики в масштабах страны и отдельного мероприятия.

В России, на текущий момент, можно констатировать, что тематически и методологически взаимосвязанные и взаимодополняющие показатели социологического и статистического характера в сфере развития молодежи представлены недостаточно, хотя именно социология может стать фундаментом, на котором способен сформироваться механизм оперативной стандартизации качественных параметров мероприятий в сфере молодежной политики.

Анализ информационно-аналитических материалов о молодежи позволяет констатировать: мониторинг результатов реализации молодежной политики (статистический и социологический) как система требует модернизации. Конфликт данных начинается уже на уровне распределений по возрастным группам. В Основах государственной молодежной политики молодыми считаются люди от 14 до 30 лет, статистические базы Росстата агрегируют информацию в периодах от 15 до 29 лет, что затрудняет даже расчет удельных значений.

Кроме того, все многообразие мероприятий требует классификации, поскольку качественные параметры их оценки будут существенно отличаться. На текущий момент мы можем классифицировать мероприятия в сфере работы с молодежью по следующим основаниям:

По общеструктурным основаниям:

– периодичности проведения (регулярные, цикличные, единичное);

– охвату (международные, общестрановые, региональные, муниципальные и др.);

– ориентированные на целевые группы (неблагополучные, таланты и т. д.);

– многоэтапные (конкурсы, фестивали и т д.)

По ценностной направленности:

– патриотическое воспитание;

– здоровый образ жизни

– образование и т. д.

По актуальным направлениям молодежной политики:

– молодежные общественные движения;

– молодая семья;

– молодые инженеры;

и т. д.

При этом все мероприятия при качественной оценке потребуют проведения обязательной входной и итоговой диагностики участников мероприятий (мини — анкетирование), поскольку отсутствие обратной связи с молодежным сообществом может привезти к выхолащиванию результатов. Профессиональный корпус работников молодежной сферы должен иметь достаточный объем информации для планирования своих действий. Например, в рамках мероприятий мы имеем увеличение численности молодых людей, которые формально ассоциируют себя с гражданами России, но при этом часть их намерены покинуть страну и сменить гражданство. В этом случае планирование дальнейших действий будет ориентировано на выявление факторов мнимого патриотизма при подготовке мероприятий, а возможно и разработку общесистемных мер по изменению ориентаций нелояльной молодежи.

На всех уровнях процесс реализации политики состоит из значительного количества мероприятий, социальный эффект от которых отложен или растянут во времени. Сложность заключается еще в том, что часть задач молодежной политики ориентирована на целевые группы: социально незащищенные/неблагополучные или талантливые молодые люди, молодые семьи, где априори, система оценки должна базироваться на данных «индивидуализированного характера», аналогичных тем, которые обычно представляются в социальных паспортах (по аналогии с социальным паспортом домохозяйства).

Блок специализированных статистических и социологических исследований о намерениях, возможностях, перспективах, проблемах, удовлетворённости жизнью молодых людей практически отсутствует. Если мы попытаемся выявить в составе открытой информации сведения о социальных процессах, то будет очевидно, что сбор информации о состоянии молодежи носит эпизодический характер, имеет место нерациональное дублирование. Здесь надо учитывать, что подобные многоуровневые базы данных нуждаются в технологичности и высоком профессионализме в обработке, а значит, могут быть сформированы только специализированным ведомством или независимым общественным сообществом. Централизация консолидирует и оптимизирует государственные расходы на получение данных, необходимых для принятия решений. Это позволит также избежать дублирования в сборе информации, ошибок в выборках, низкой репрезентативности данных, несопоставимости сведений, необходимых для сравнительного анализа. Такой пример работы в Росстате есть — по направлению «Импортозамещение».

Дальнейшее углубление в специфику мероприятий требует основательной паспортизации мероприятий, проводимых за счет средств государства, а также обеспечение этих мероприятий стандартизированным модельным инструментарием оценки результатов. Очевидно, показатели эффективности конкретного мероприятия должны быть отражены в первоначальной заявке, а сами показатели эффективности мероприятия должны коррелировать с системой показателей макроуровня (например, ФЦП, в рамках которой оно реализуется).

В различных источниках уже выдвигалась идея создания ГАС «Молодежь России» как системы сбора, хранения и актуализации информации о молодежи при помощи «электронных паспортов» молодых людей; создание в рамках ГАС «Молодежь России» системы комплексного и индивидуального информирования молодежи об имеющихся возможностях; внедрение во всех субъектах Российской Федерации стандартов услуг в области молодежной политики; внедрение во всех субъектах Российской Федерации современных методик и программ работы с молодежью по основным направлениям (ранняя профориентация, изобретательство и творчество, предпринимательство, лидерство). Данная система может полностью решить вопросы оценки работы с целевыми молодежными аудиториями. Кроме того, по аналогии с международным опытом в сфере расчетов индексов прогресса и развития человечества (см. выше) были и попытки разработки Индекса развития молодежи (ИРМ). Так, В 2010 году проведен пилотный расчет значения ИРМ для Российской Федерации, а с 2011 года Росмолодежь России ежегодно использует ИРМ при оценке деятельности органов исполнительной власти по делам молодежи.

В этой связи создание многоуровневой модели взаимосвязанных показателей реализации государственной молодежной политики — это сложная методологическая проблема, связанная с субъектами ответственности за сбор информации о результативности мероприятий на федеральном, региональных и муниципальных уровнях, системой показателей и методиками сбора информации и ее обработки, анализом динамики показателей, механизмом принятия управленческих решений по итогам оценки результатов реализации молодежной политики.

Для организации сбора информации об эффективности и результативности мероприятий необходима разработка единой матрицы показателей для разного типа мероприятий, имеющей в своем составе минимальный объем единых показателей для всех мероприятий (базовый компонент, (Таблица 1)), и вариативную часть, отражающую специфические параметры конкретного типа мероприятия, разработка которой должна быть реализована на уровне проработки Технических Заданий и/или первичных заявок.

Таблица 1

Система показателей (индикаторов), измеряющих эффективность мероприятий молодежной политики (базовый компонент)

№	Критерии	Показатели	Индикаторы
Количественные показатели
1.	Масштаб мероприятия	1.1 Количество участников	1.1.1 Количество человек
			1.1.2. Количество команд
			1.1.3. Количество поданных заявок (работ)
			1.1.4. Количество регионов (для Всероссийских и межрегиональных мероприятий)
			1.1.5. Количество стран (для международных мероприятий)
		1.2. Место проведения мероприятия	1.2.1. Количество площадок, на которых проводится мероприятие
		1.3. Статус мероприятия	1.1.3. Уровень мероприятия (Международное, Всероссийское и т. д.)
2.	Информационное сопровождение мероприятия	2.1 Информационная доступность	2.1.1. Наличие информации на сайте организации, проводящей мероприятие
			2.1.2. Наличие сайта мероприятия
			2.1.3. Наличие группы мероприятия в соцсетях
			2.1.4. Количество источников, в которых размещена информация (Интернет-издания, телевидение, газеты и т. д.)
		2.2. Информационный охват аудитории	2.2.1. Количество сообщений по ТВ
			2.2.2. Наличие видеозаписи и/или фотооотчета в соцсетях
			2.2.3. Количество рекламной продукции
			2.2.4 Наличие сувенирной продукции
3.	Организационный уровень мероприятия	3.1. Организационная поддержка	3.1.1. Наличие поддержки органами власти
			3.1.2. Количество организаций-партнеров
			3.1.3. Статус организаций-партнеров
4.	Финансовое обеспечение мероприятия	4.1.Обоснованность расходов на реализацию мероприятия	4.1.1. Сумма расходов на 1 участника мероприятия
		4.2. Финансовая поддержка	4.2.1.Объем привлеченных средств (в долях)
5.	Инновационность	5.1.Формат мероприятия	5.2.1. Количество используемых форм
			5.2.2. Количество инновационных форм
			5.2.3. Количество формируемых компетенций
6.	Системность	6.1. Периодичность проведения	6.1.1. Ежегодные мероприятия
			6.1.2. Мероприятия с различной периодичностью
			6.1.3. Мероприятия, проводимые впервые
7.	Комплексность	7.1. Направления мероприятия (соответствующие направлениям программы)	7.1.1. Количество направлений программ, к которым относится мероприятие
8.	Квалификация организаторов мероприятия	8.1. Опыт проведения подобных мероприятий	8.1.1. Количество проведенных мероприятий по сходной тематике
			8.1.2. Уровень проведенных мероприятий по количеству участников
			8.1.3. Количество проведенных мероприятий различного статуса
Качественные показатели
9.	Актуальность мероприятия	9.1. Соответствие реализованных мероприятий Основам государственной молодежной политики на период до 2025 года, развитию дополнительного образования детей, формированию здорового образа жизни	9.1.1. Соответствие мероприятий плану
10.	Качество мероприятия	10.1. Соответствие реализуемых мероприятий заявленным требованиям и поставленным задачам.	10.1.1 Степень соответствия заявленным требованиям и поставленным задачам.
		10.2. Участие почетных гостей	10.2.1. Статус почетных гостей
		10.3. Наличие экспертов	10.3.1. Количество привлеченных экспертов
			10.3.2. Уровень привлеченных экспертов
		10.4. Удовлетворенность мероприятием	10.4.1. Количество откликов в соцсетях (лайков, репостов, постов с хэштегами и т. д.)
			10.4.2. Количество положительных отзывов
			10.4.3. Количество отрицательных отзывов

Литература:

1. Гуслякова Л. Г., Лига М. Б., Калинина Ю. А. Социальные стандарты качества жизни: учебное пособие — М.: Гардарики, 2007. — 141 с.
2. Доклад о развитии человека 2010. Реальное богатство народов: пути к развитию человека. ПРООН. — М.: «Весь мир», 2010. 227 с.
3. Измерение национального прогресса. Отчет Организации Объединенных наций//Сайт Мир прессы. URL: http://prodip.wordpress.com/tag/joseph-stiglitz/ (дата обращения: 21.11. 2016).
4. Россия в цифрах 2015: Крат. стат. сб./Росстат — M., 2015. 543 с.
5. Счастье и замеры экономического прогресса // Сайт Комиссии по замерам социального прогресса. URL: http://www.scribd.com/doc/19784660/Happiness-and-Measuring-Economic-Progress-by-Joseph-Stiglitz (дата обращения: 10.08.2016).
6. Тенденции в странах Европы и Северной Америки: Статистический ежегодник. — Нью-Йорк; Женева: Изд-во «Европейская экономическая комиссия», 2003. 320 с.