Библиографическое описание:

Калинкин А. А., Милов Л. Т. Программно-информационные средства экспертных исследований задач сетевого администрирования // Молодой ученый. — 2011. — №4. Т.3. — С. 58-62.

Предлагаемый материал предназначен для рассмотрения программно-информационных средств экспертных исследований, направленных на решение задач сетевого администрирования.
Рассматриваются важнейшие вопросы экспертного оценивания, методы и способы обработки полученных результатов оценивания, а так же алгоритм преобразования полученных данных. Кроме того, рассматриваются различные виды ранжирования при обработке результатов экспертного оценивания, с последующим преобразованием полученных данных и построением итоговой таблицы.

The proposed material is intended to address software and information tools expert research to address the challenges of network administration.

Addresses major issues of peer assessment, methods and techniques for handling the results of evaluation, as well as an algorithm for transforming the data. In addition, the different kinds of ranking in processing the results of expert evaluation, with subsequent transformation of the data and the construction of the resulting table.
Keywords: algorithm, ranking, expert evaluation, expert studies
Ключевые слова: алгоритм, ранжирование, экспертное оценивание, экспертные исследования.
Современные корпоративные информационные системы по своей природе всегда являются распределенными системами. Рабочие станции пользователей, серверы приложений, серверы баз данных и прочие сетевые узлы распределены по большой территории. Главная задача сетевого администратора — обеспечить надежную, бесперебойную, производительную и безопасную работу всей этой сложной системы, путём подбора соответствующего программного обеспечения.
Рассмотрим для примера выбор системы дистанционного обучения (СДО) из пяти возможных вариантов (Angel, Bazzar, BlackBoard, Moodle, NauLearni). Эксперты подготовили свои оценки, которые сведены в обширную таблицу, в которой строки соответствуют критериям, а столбцы – вариантам СДО. Эта таблица может быть распечатана в виде многостраничного текста [1].
Традиционный способ решения данной многокритериальной задачи заключается в назначении критериям весовых коэффициентов с дальнейшей скалярной оптимизацией одного взвешенного критерия. Недостатком такого подхода является субъективность выбора весовых коэффициентов.
Целью настоящего исследования является разработка структуры обоснованного алгоритма решения задачи без опоры на весовые коэффициенты, а на основе последовательного ранжирования и группирования вариантов с учетом их экспертных оценок [2].
Методы обработки экспертной информации. Выработку рекомендаций по решению различных проблем можно производить индивидуально и в составе комиссий (группы экспертов).
При заданном множестве вариантов (предъявлении) индивидуальный эксперт может решать следующие типы задач: выбор вариантов из заданных предъявлений; ранжирование вариантов; оценивание вариантов; парные сравнения вариантов; классификация вариантов; классификация и оценивание вариантов.
Выбор вариантов из заданного предъявления X = {x1, x2,..., xn} производится путем перехода к его части и представляется подмножеством: Y = {y1, y2,..., yk}, k<= n.
Задача ранжирования заключается в упорядочении вариантов из данного предъявления в соответствии с критериями наибольшей предпочтительности, индивидуальными для каждого эксперта и не всегда формализованными. Решение задачи ранжирования представляется списком непересекающихся подмножеств Yi вариантов: [Y1, Y2, . . . , Ym], объединение которых совпадает с предъявлением X. На первом месте списка указывается множество Y1 самых предпочтительных вариантов, а далее множества вариантов располагаются в порядке убывания степени предпочтительности. Такое описание соответствует общему случаю упорядочивания со связанными рангами. В частном случае строгогоранжирования подмножества Yi оказываются одноэлементными и, так как m = n, могут быть заменены самими вариантами.
Задача оценивания сводится к сопоставлению каждому рассматриваемому варианту xi некоторого числа ai (или нескольких чисел – a, b ,c и т.д.) : {[x1,a1], [x2,a2], [x3,a3], ... }. 
В дальнейшем будем считать, что каждому эксперту соответствует некоторый набор критериев, а выбор вариантов производится в соответствии с механизмом Парето.
Строгое ранжирование можно трактовать, как сопоставление системе из n вариантов перестановки из целых чисел от 1 до n, в соответствии с местом, занимаемым каждым вариантом, например:

Варианты

a

b

c

d

e

Эксперт №1

5

2

3.

1

4

Эксперт №2

4

1.

5

3

2.



Нестрогое ранжирование, соответствует упорядочивания со связанными рангами и описывается отношением слабого порядка. Оно допускает указание для вариантов не одного места, а интервала мест, например:

Алгоритм последовательного ранжирования и группирования вариантов с учетом их экспертных оценок
Предлагаемые программно-информационные средства предназначены для различных категорий пользователей: от экспертов и аналитиков до лиц, принимающих решения (ЛПР). В предметную область входят следующие объекты: решаемая проблема, варианты решения, эксперты, критерии, оценки, механизмы ранжирования или выбора.
При создании нового эксперта предлагается выбрать ряд критериев, по которым будет производиться оценивание, данные критерии уникальны для каждого пользователя. Это связанно с тем, что эксперт, опираясь на свой опыт и знания, может хорошо разбираться в одних критериях и плохо в других или, возможно, часть критериев (по его мнению) являются несущественными (нестрогое ранжирование).
На шаге оценивания для всех вариантов расставляются балльные оценки отдельно по каждому из выбранных пользователем критериев. В результате выводится таблица, в которой содержатся наименования критериев, названия оцениваемых систем (вариантов) и баллы, ранее назначенные экспертами. Далее автоматически формируется раздача мест исследуемым системам по каждому из заданных критериев.
На следующем шаге выполняется преобразование полученных данных в единую обобщенную таблицу. Распределение мест происходит поэтапно - сначала определяется количество рассматриваемых систем (количество доступных мест), а затем, в зависимости от заданных требований происходит распределение мест. При этом места могут быть интервальными, если, например, несколько систем набрали одинаковые оценки или разница между ними несущественна.
На данном этапе, в качестве требований, могут быть выдвинуты самые различные условия к вариантам, например, вариант не может занять первое место, если он набрал менее назначенного порога голосов по критериям или экспертам. После этого на экран выводится таблица с преобразованными данными и две таблицы – рассогласования и усреднённых оценок. Таблица рассогласований позволяет определить, системы с самыми большими расхождениями мнений экспертов.
Далее пользователю предлагается произвести корректировку полученных данных с учётом таблицы рассогласований с усредненными оценками экспертов.
И, наконец, выводится две окончательных таблицы - с полученными результатами и рассогласованиями оценок.



Пример оценивания систем дистанционного обучения
В рассматриваемом примере в качестве Эксперта №1 выступает независимый эксперт, а в качестве Эксперта №2 системный администратор СДО. Важно заметить, что Эксперт №2 оценивает качество программного обеспечения представленных систем, а так же затраты на содержание этих систем.
Оценки независимого эксперта формируются следующим образом. В таблице 1 представлены итоговые баллы, полученные в материале [1] методом взвешивания критериев.

Таблица 1. Баллы

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Эксперт №1

1173

1137

1037

1247

1033



Как можно заметить, различия баллов между Bazzar (1173) и ANGEL (1137), а такжеBlackBoard (1037) и NauLearni(1033) - незначительны, поэтому эксперт составляет таблицу 2.

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Эксперт №1

2-3

2-3

4-5

1

4-5

Таблица №2. Места, отданные экспертом №1

Эксперт №2 также составляет аналогичные таблицы (№3 и №4), при этом учитывая два критерия – программное обеспечение (ПО) и затраты.

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

ПО

7

6

6

7

6

Затраты

1

8

8

8

3

Таблица №3. Балльные оценки второго эксперта

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

ПО

3-5

1-2

3-5

1-2

3-5

Затраты

5

1-3

1-3

1-3

4

Таблица №4. Интервальные оценки второго эксперта

Голосования начинаются с первого места. Из таблицы 4 видно, что первое или второе место для системы «Moodle» согласовано и по критерию «программное обеспечение», и по критерию «затраты». Третье место согласовано по этим двум критериям для системы «BlackBoard», а четвертое и пятое – соответственно, для систем «NauLearni» и«ANGEL».

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Эксперт №2

5

1-2

3

1-2

4

Таблица №5. Места, отданные экспертом №2

После преобразования составляется сводная таблица 6 содержащая обобщенные данные по обоим экспертам.

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Эксперт №1

2-3

2-3

4-5

1

4-5

Эксперт №2

5

1-2

3

1-2

4

Таблица №6. Сводная таблица по экспертам

Теперь, преобразовав результаты обоих экспертов, можно составить предварительную итоговую таблицу, следующим образом.
Как мы видим против первого места для системы «Moodle» не возражает ни один из экспертов. Так же и второе место для системы «Bazzar» согласовано с обоими экспертами.
Распределение мест для систем ANGEL, BlackBoard, NauLearni пока еще затруднено, но можно учесть, что векторная оценка для системы «NauLearni» хуже, чем векторная оценка для системы «BlackBoard» и не лучше, чем векторная оценка для системы «ANGEL».

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Места

3-5

2

3-5

1

3-5

Таблица №7. Предварительная итоговая таблица

Коэффициенты согласованности ранжирования мест для экспертов и для критериев
Занявшая первое место система «Moodle» согласована (по мнениям экспертов) на 100%. Такой же или несколько меньший процентный коэффициент согласованности и у второго места (Bazzar). Он немного лучше, чем коэффициент согласованности для пятого места. Еще меньше коэффициент согласованности у мест 3-4. Для выявления подобных отличий полезно заменить интервальные места в таблице 6 их средними значениями и вычислить рассогласования с усредненными оценками таблицы 7

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Эксперт №1

1.5

0.5

0.5

0

0.5

Эксперт №2

1.0

0.5

1.0

0.5

1.0

Сумма = 7

2.5

1.0

1.5

0.5

1.5

Таблица №8. Рассогласования оценок

Зафиксируем в таблице 9 ранее согласованные оценки из таблицы 6.

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Эксперт №1

2-3

2

4-5

1

4-5

Эксперт №2

5

2

3

1

4

Таблица №9. Скорректированная таблица по экспертам

Наибольшее суммарное рассогласование имеет система ANGEL. На компромисс может пойти эксперт №2, заменив место 5 на интервальное место 4-5. Но тогда и его оценка системы NauLearni должна быть изменена на 4-5.

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Эксперт №1

2-3

2

4-5

1

4-5

Эксперт №2

4-5

2

3

1

4-5

Таблица №10. Уступки второго эксперта

Теперь пятое место для системы NauLearni не опротестовывается ни одним экспертом, а эксперта №1 можно убедить в том, что его интервальные места 2-3 (для системы «ANGEL») и интервальные места 4-5 (для системы «BlackBoard») можно заменить интервальным местом 3-4.

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Эксперт №1

3-4

2

3-4

1

5

Эксперт №2

4

2

3

1

5

Таблица №11. Уступки первого эксперта

После этого путем голосования получается окончательный результат:

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Места

4

2

3

1

5

Таблица №12, Окончательная итоговая таблица

Подсчитывая окончательные рассогласования, можно увидеть, что максимальное рассогласование уменьшилось с 2.5 до 2.0, а сумма рассогласований уменьшилась с 7.0 до 6.5 .
В заключение приведём таблицу 13 с результатами многокритериального анализа исходных данных по 22 критериям.

Системы ДО

ANGEL

Bazzar

BlackBoard

Moodle

NauLearni

Сумма мест:

62

79

80

34

76

Интервалы мест:

2

4

5

1

3

Голоса за 1-е место:

4

0

2

15

1

Голоса за 1-2 места:

11

5

4

20

12

Голоса за 1-3 места:

14

11

9

20

12

Голоса за 1-4 места:

19

15

15

21

17

Интервалы мест:

2

4-5

4-5

1

3

Согласованность

50%

50%

>50%

68%

55%

Таблица №13. Результаты многокритериального анализа

Отличия результатов многокритериального анализа от результатов экспертного анализа легко объяснимы тем, что второй эксперт придавал слишком большое значение снижению затрат.

Список информационных источников
  1. Питер Джексон, Введение в экспертные системы. М.: Издательство Вильямс, 2001.
  2. Рыков А.С., Модели и методы системного анализа: принятие решений и оптимизация, М.: "Руда и Металлы", 2005 г.
  3. Милов Л.Т., Методы обработки экспертной информации. Лекция №21 по дисциплине «Теория принятия решений», М.: 2008, http://www.madi.ru/study/kafedra/asu_new/metod_new/mil/tpr08_21.shtml
  4. Хоа Тат Тханг, Сравнительный анализ систем дистанционного обучения, «Качество, инновации, образование»,№2, 2009г.
    http://www.quality-journal.ru/data/article/561/files/Thang@QJ0209.pdf

Обсуждение

Социальные комментарии Cackle