В статье рассматриваются теоретические и практические аспекты применения метода экспертных оценок применительно к задаче анализа информационных рисков предприятия. Обсуждаются актуальные вопросы и некоторые возможные проблемы отбора экспертов. Показан пример применения коэффициента конкордации Кендалла для выявления степени согласованности мнений экспертного комитета.
Ключевые слова: информационная безопасность, информационные риски, оценка рисков, экспертные оценки, коэффициент конкордации Кендалла.
Введение
В современных реалиях сложно построить адекватную систему оценки рисков и защиты информации на предприятии. Особенно, если учесть тот факт, что всегда приходится работать в условиях недостаточности и нечеткости информации по угрозам извне и уязвимостям внутри предприятия. Добавим еще к этому факт недостаточности понимания мероприятий по защите информации со стороны руководящего состава организации, которых необходимо убедить в целесообразности принимаемых мер.
Для решения проблемы отсутствия готовых данных и сложности поиска оптимального значения рисков информационной безопасности, а также для принятия объективных, комплексных и компетентных практических решений применяются методы математической обработки экспертных оценок.
Проблема оценки информационных рисков
Как показали многочисленные опыты, человек более правильно (и с меньшими затруднениями) отвечает на вопросы качественного, например, сравнительного, характера, чем количественного. До недавнего времени при рассмотрении качественных явлений использовались исключительно термины «оценивать» или «оценка». То есть происходил процесс оценки, а не измерения. Однако с середины прошлого века в связи с нарастающим проникновением математических, статистических количественных, методов во многие сферы деятельности, термин «измерение» приобрел более широкий смысл, включив в себя также количественные характеристики качественных явлений [1].
Однако несмотря на прогресс и достижения математической науки, в области информационной безопасности и оценки рисков четкой методики количественного расчета величин рисков как не было, так и нет. Это связано в первую очередь с отсутствием достаточного объема статистических данных о вероятности реализации той или иной угрозы. В результате наибольшее распространение получила качественная оценка информационных рисков. Но как использовать результаты такой оценки? Как рассчитывать возможный ущерб и размер необходимых инвестиций для предотвращения реализации рисков?
В настоящее время идет активное накопление данных, на основании которых можно было бы с приемлемой точностью определить вероятность реализации той или иной угрозы, а, следовательно, получить количественную оценку риска, однако накопившихся данных недостаточно и новые угрозы появляются гораздо быстрее, чем хотелось бы [2].
В таких условиях наиболее эффективным методом работы является экспертный метод. Который на сегодняшний день разработан и успешно применяется в России и за рубежом как средство повышения надежности решения научных, управленческих, политических проблем. Эффективность и его широкая применимость объясняется тем, что при решении сложных задач один специалист не в состоянии учесть все факторы и взаимосвязи между ними или оценить вероятности большого числа альтернатив. Очевидно, что гораздо лучшие результаты покажут групповые экспертизы. Основная идея которых — это то, что мнение группы специалистов всегда будет шире мнения одного отдельного взятого, а их взаимодействие позволит скомпенсировать смещение оценок отдельных членов группы и сумма информации, имеющейся в распоряжении группы экспертов, будет больше, чем информация любого члена группы.
Отбор экспертной группы
Этап отбора экспертов является одним из самых важных аспектов оценки рисков, поскольку напрямую коррелирует с получаемыми в итоге результатами.
Разработать методы отбора экспертов, гарантирующих полную достоверность получаемой от них информации, практически невозможно. На практике задача заключается в обеспечении процедуры отбора экспертов, минимизирующей искажения информации, возникающие вследствие некомпетентности отобранных специалистов или их нежелания давать достоверную и надежную информацию.
На практике методы отбора экспертов можно разделить на объективные и субъективные. Объективный подход имеет, в свою очередь, два варианта –документальный и экспериментальный.
Документальный метод предусматривает подбор экспертов на основе анкетных и социально-демографических данных.
Экспериментальный метод проводится на основе испытания, тестирования кандидата в эксперты, либо по результатам эффективности его прежней экспертной деятельности.
При субъективном подходе отбора экспертов первым делом проводится аттестация — ранжирование экспертов с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы с отводом тех из них, кто не набрал определенного минимума голосов. На практике часто применяется способ, когда каждый эксперт оценивает компетентность всех членов экспертной группы, в том числе и свою собственную, используя заранее установленную балльную шкалу [3].
Важно отметить, что ни один из перечисленных методов и приемов отбора экспертов не является универсальным и для точного результата в дальнейшем крайне желательно, чтобы методика отбора должна базировалась на сочетании различных приемов.
В конечном итоге должна получиться экспертная группа численностью 10–15 человек. Увеличение членов экспертной группы экспертов не дает существенного прироста новой информации ни в деталях, ни, главное, по качеству.
Математическая обработка экспертных оценок
Пусть некоторая группа из m экспертов провела ранжирование по значимости данных по
Следующим этапом найдем среднее значение суммы рангов одного объекта S. Сумма всех рангов матрицы
Определив разности
Результаты выполненных действий занесем в Таблицу 1.
Таблица 1
Таблица рангов и расчет коэффициента конкордации
|
Эксперт |
Объект |
|||||
|
|
|
|
|
… |
|
|
|
|
|
|
… |
|
… |
|
|
|
|
|
… |
|
… |
|
|
… |
… |
… |
… |
… |
… |
… |
|
|
|
|
|
|
… |
|
|
… |
… |
… |
… |
… |
… |
… |
|
|
|
|
|
|
… |
|
|
|
|
|
… |
|
… |
|
|
|
… |
… |
… |
… |
… |
… |
|
|
… |
… |
… |
… |
… |
… |
|
|
… |
… |
… |
… |
… |
… |
|
|
… |
… |
… |
… |
… |
… |
В случае, если бы все мнения экспертов совпали, было бы следующее равенство:
Если учесть, что указанные суммы необязательно располагаются в порядке возрастания, сумма квадратов отклонений
Итак, получается, что
Однако на практике зачастую во мнениях экспертов возникают некоторые расхождения, когда
И таким образом итоговая формула коэффициента конкордации получается такой:
При величине данного коэффициента менее
Для того чтобы определить, присутствует ли согласованность в оценках экспертов, выдвинем статистические гипотезы. Нулевая гипотеза предполагает полную рассогласованность мнений экспертов и статистическую недостоверность рассчитанного коэффициента конкордации, конкурирующая гипотеза предполагает, что во мнениях экспертов присутствует согласованность, и рассчитанный нами коэффициент конкордации статистически достоверен. Используем критерий
Расчетное значение
Заключение
Был рассмотрен, проанализирован и показан метод расчета согласованности мнений при работе с экспертными оценками. В условиях недостаточной и нечеткой информации, коей является сфера оценки рисков безопасности предприятия, применение экспертного метода является единственной возможностью получить доказанные количественные оценки по какому-либо анализируемому аспекту.
Литература:
- Орлов, А. И. Организационно-экономическое моделирование: в 3 ч. / А. И. Орлов. — М.: МГТУ им Н. Э. Баумана, 2011. — ч.2: Экспертные оценки — 567 с.
- Козлова Е.А Оценка рисков информационной безопасности с помощью метода нечеткой кластеризации и вычисления взаимной информации // Молодой ученый. — 2013 — № 5 (52). — С. 154–161. — URL: https://moluch.ru/archive/52/6967/
- А. А. Дульзон. Разработка управленческих решений: учебник — Томск: Изд-во Томского политехнического университета. — 295 с. 2009
