Автор: Антипов Олег Евгеньевич

Рубрика: Информатика

Опубликовано в Молодой учёный №2 (37) февраль 2012 г.

Статья просмотрена: 211 раз

Библиографическое описание:

Антипов О. Е. Об оценке качества и эффективности работы инновационных ИТ-систем поддержки образовательного процесса на примере виртуальной компьютерной лаборатории // Молодой ученый. — 2012. — №2. — С. 51-53.

Для повышения качества профессионального образования учебное учреждение должно идти в ногу со временем, внедряя в учебный процесс инновационные компоненты – системы поддержки образовательного процесса на основе современных ИТ-технологий. Высокий уровень качества таких систем означает их высокую конкурентоспособность по сравнению с аналогичными разработками и оказывает влияние на эффективность самого учебного процесса. Поэтому сегодня проблемам качества такой продукции уделяется пристальное внимание.

Для обеспечения высокого уровня образования в Международном университете природы, общества и человека «Дубна» была разработана и успешная внедрена инновационная ИТ-система поддержки образовательного процесса – виртуальная компьютерная лаборатория на основе технологии облачных вычислений (ВКЛ) [1]. Такая система позволила успешно решать наиболее актуальные проблемы, возникающие в процессе подготовки профессиональных ИТ-специалистов, предоставляя по запросу программные и вычислительные ресурсы университета для создания виртуальных серверов, выполнения научно-исследовательских работ, ресурсоемких вычислительных расчетов и заданий, связанных с освоением больших информационных систем. ВКЛ обеспечивает доступ к любым программным приложениям, используемым в учебном процессе университета, без их привычной установки и настройки на клиентском устройстве, что позволило студентам, предпочитающим индивидуальные траектории обучения, по-новому взглянуть на систему заочного и дистанционного образования.

После апробации в учебном процессе университета «Дубна» ВКЛ была внедрена в Национальный исследовательский университет «Высшая школа экономики», где сервисы лаборатории успешно применяются для подготовки профессиональных ИТ-специалистов.

Однако для успешной презентации проекта была необходима не просто его апробация, но и оценка качества всего программно-аппаратного комплекса, оценка эффективности его работы в образовательных учреждениях. Такое исследование основано на результатах, полученных во время апробации ВКЛ в учебных учреждениях и ее опытно-показательной эксплуатации.

Для ВКЛ, как комплекса программно-аппаратных систем и компонентов, согласно действующим на 2011-2012 г.г. стандартам [3, 4, 5], должны определяться показатели качества, отражающие эффективность ее работы.

Оценка качества ВКЛ представляет собой совокупность операций, включающих выбор номенклатуры показателей качества оцениваемой системы, определение значений этих показателей и сравнение их с базовыми значениями показателей существующего аналога или эталона. Значения базовых показателей ВКЛ должны соответствовать значениям показателей, отражающих современный уровень качества и прогнозируемый мировой уровень [3].

Процедура оценки качества ВКЛ достаточно трудоемка, поэтому необходимо наиболее эффективно использовать результаты этой оценки: оценка качества ВКЛ должна базироваться на системном подходе к анализу функциональности такого комплекса, действующих стандартах в области оценки качества, обеспечивать учет пользовательских предпочтений согласно современным подходам к управлению качеством. Процедура оценки качества должна включать в себя методики социологического исследования и экспертного опросов [7].

На сегодняшний день показатели качества для технических средств (аппаратного обеспечения) устанавливает ГОСТ Р 27.002-2009 [10], а для программно-технологических средств показатели качества устанавливают ГОСТ 28195-89 [3] и ГОСТ Р ИСО/МЭК 9126-93 [5]. Одновременное существование нескольких действующих стандартов, определяющих и нормирующих одни и те же показатели, ставит вопрос об их гармонизации. Однако в процессе анализа вышеуказанных нормативных документов было выяснено, что их показатели можно обобщить таким образом, чтобы они не противоречили друг другу при оценке качества ВКЛ.

Для определения показателей качества и оценки программно-аппаратной платформы ВКЛ, согласно действующих стандартов, использовались методики, которые различаются следующим образом:

  • по способам получения информации (измерительный, регистрационный, расчетный и органолептический методы);

  • по источникам получения информации (традиционный, экспертный и социологический методы).

В процессе исследования было выяснено, что приведенные методы, рассмотренные по отдельности, носят только дополняющий характер, который в совокупности с другими методами позволяет комплексно оценить качество ВКЛ. Проведенный анализ существующих методик для определения показателей качества ВКЛ позволил получить следующие показатели при помощи регистрационного и расчетного методов.

  1. Показатель устойчивости к искажающим воздействиям:

где D – число экспериментов, в которых искажающие воздействия приводили к отказу, К – общее число экспериментов, в которых имитировались искажающие воздействия. За искажающие воздействия к программному обеспечению были приняты неверные команды и входные данные, а так же статистика сетевых атак. За искажающие воздействия к аппаратной платформе была принята температура воздуха в помещении и максимальная нагрузка на сервера. В обоих случаях показатель устойчивости к искажающим воздействиям P(Y) не опускался ниже значения 0,998.

  1. Вероятность безотказной работы:

где Q – число зарегистрированных отказов, N – общее число экспериментов. За эксперименты была принята ежедневная работа ВКЛ в часах в течение трех месяцев. Вероятность безотказной работы за 3 мес. функционирования составила Р=0,998, что соответствует современным требованиям, предъявляемым к программно-аппаратным платформам, не претендующим на повышенную отказоустойчивость [9].

  1. Оценка по среднему времени восстановления:

,

где – допустимое среднее время восстановления, – среднее время восстановления, которое определяется по формуле:

,

где N – число восстановлений, а – время восстановления после i-го отказа.

За допустимое среднее время восстановления был принят интервал равный 1 академический час или 45 минут, учитывая, что все программные и аппаратные компоненты ВКЛ зарезервированы, а первая половина университетского семинара, как правило, уходит на теоретическую подготовку слушателей. Число восстановлений N=12 за выбранный период в два месяца. Определенное по приведенное формуле 29 мин., а значит оценка по среднему времени восстановления .

  1. Вероятность того, что ВКЛ в любой момент времени будет находиться в рабочем состоянии:

,

где MTBF ­– среднее время наработки на отказ какого-либо аппаратного компонента, MTTR – среднее время восстановления работоспособности. За самый уязвимый механический компонент ВКЛ была принята дисковая подсистема. Основываясь на исследованиях, проведенных университетом Питтсбурга (Parallel Data Laboratory Carnegie Mellon University) [11] и корпорацией Google [12] можно с уверенностью заявить, что среднее время наработки на отказ жесткого диска не превышает его гарантийного срока работы (60 мес.). Учитывая резервирование данных и простоту обслуживания сервера блейд-архитектуры за счет «горячей» замены компонентов, среднее время восстановления работоспособности было принято равным в 1 академический час или 45 минут.

Тогда вероятность того, что ВКЛ в любой момент времени будет находиться в рабочем состоянии K=0,99998, что является показателем, предъявляемым к программно-аппаратным платформам, претендующим на повышенную отказоустойчивость [9].

Для сбора мнений экспертов о качестве ВКЛ было проведено несколько опытно-показательных эксплуатаций. Качество ВКЛ экспертам предлагалось оценить по десятибалльной шкале оценки, путем ответа на 10 вопросов в предоставленной анкете. Максимальная оценка составляла 100 баллов. Средняя оценка качества ВКЛ в экспертном методе составила 89,4 балла, что, несомненно, является высоким показателем актуальности, функциональности и удобства работы с сервисами ВКЛ.

Для реализации социологического опроса респондентов был выбран наиболее подходящий для данного исследования метод опроса – анкетирование. Пользователям ВКЛ и студентам, проходившим обучение или обучающимся в данный момент с применением ВКЛ, предлагалось ответить на вопросы, сформулированные согласно требований [14].

Общее число респондентов, использовавших ВКЛ в своей учебной деятельности, составило 93 человека. Благодаря социологическому методу оценки качества, в проведенном исследовании удалось установить следующее.

95% респондентов использовали сервисы ВКЛ в учебной или научно-исследовательской деятельности. 67% респондентов использовали сервисы ВКЛ для самоподготовки. При этом 73% пользователей работали с компьютерной лабораторией удаленно, находясь вне пределов университетских классов. 75% респондентов смогли самостоятельно настроить свое персональное оборудование для работы с ВКЛ, а для 57% опрошенных дополнительная настройка оборудования не требовалась.

В установленное время для настройки (не более одного часа) справились 55% респондентов. Те респонденты, у которых настройка персонального оборудования заняла четыре часа и более, ссылались на аппаратные неполадки персональных компьютеров университета, что позволяет говорить о необходимости обновления и поддержки университетского компьютерного парка.

60% респондентов испытывали неудобства или затруднения при работе с ВКЛ, связанные с особенностями доступа, отсутствием необходимых справочных материалов или проблемами (как аппаратными, так и программными), связанными с машинами компьютерного парка университета, однако только для 17% респондентов такие затруднения оказались неразрешимы.

98% респондентов уверены в очевидных преимуществах использования ВКЛ в учебном процессе, а 80% опрошенных считают необходимым и перспективным внедрение ВКЛ в другие учебные курсы. Данное распределение показывает необходимость ВКЛ в учебном процессе, эффективность ее работы, и говорит о принципиальных, качественных отличиях преподаваемых с помощью ВКЛ спецкурсов от традиционных вариантов.

Анализ существующих стандартов и методов в области оценки качества программно-аппаратных платформ позволил провести необходимое и всестороннее исследование качества ВКЛ, включающее оценку надежности, функциональности и удобства работы с сервисами, предоставляемыми ВКЛ. Проведенное исследование доказало эффективность работы ВКЛ, выявило ключевые особенности ее работы в учебном процессе вуза, позволило устранить недостатки и провести необходимую актуализацию, подготовив систему к завершающей стадии – презентации ее работы и сдаче в эксплуатацию.


Литература:

    1. Антипов О.Е., Белов М.А., Токарева Н.А. Архитектура виртуальной компьютерной лаборатории для подготовки специалистов в области информационных технологий. // Компьютерные инструменты в образовании №4, 2011.

    2. Климов В.Г. Управление качеством подготовки конкурентоспособных специалистов профессионального образования в условиях информационного общества. Проблемы качества, безопасности и диагностики и в условиях информационного общества: Материалы научно-практической конференции / под ред. В.Г. Домрачева, С.У. Увайсова; Отв. за вып. А.В. Долматов. ­– М.: МИЭМ, 2005, 462 с., с 232-236.

    3. ГОСТ 28195-89. Межгосударственный стандарт. Оценка качества программных средств.

    4. ГОСТ 28806-90. Межгосударственный стандарт. Качество программных средств. Термины и определения.

    5. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению.

    6. ГОСТ Р ИСО 9000-2008. Государственный стандарт российской федерации. Системы менеджмента качества. Основные положения и словарь.

    7. Бабешко В.Н., Нежурина М.И. Система оценки качества программных комплексов для дистанционного обучения. // Мир электронного обучения. - 2005. – № 3-4(9). С. 12-19.

    8. Липаев В. Оценка качества программных средств. // Сетевой журнал – 2002, №3.

    9. Ульрих Ленц. Технические основы отказоустойчивых серверов. // «Журнал сетевых решений/LAN» – 2009, № 06.

    10. ГОСТ Р 27.002-2009. Национальный стандарт Российской Федерации. Надежность в технике. Термины и определения.

    11. Bianca Schroeder, Garth A. Gibson. Disk failures in the real world: What does an MTTF of 1,000,000 hours mean to you? Режим доступа: [http://www.pdl.cmu.edu/PDL-FTP/Failure/CMU-PDL-06-111.pdf]

    12. Eduardo Pinheiro, Wolf-Dietrich Weber and Luiz Andre Barroso. Failure Trends in a Large Disk Drive Population. Режим доступа: [http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/ru//archive/disk_failures.pdf]

    13. Тартаковский Д.Ф., Ястребов А.С. Метрология, стандартизация и технические средства измерений. М: Высш. шк., 2001.

    14. Девятко И. Ф. Методы социологического исследования. Екатеринбург: Издательство Уральского университета, 1998. – 208 с.

Основные термины (генерируются автоматически): качества ВКЛ, оценки качества, оценка качества ВКЛ, оценке качества, сервисы ВКЛ, оценки качества ВКЛ, оценке качества ВКЛ, Оценка качества ВКЛ, качества ВКЛ должна, показателей качества ВКЛ, исследование качества ВКЛ, апробации ВКЛ, показателей ВКЛ, учебном процессе, качество ВКЛ, программно-аппаратной платформы ВКЛ, Пользователям ВКЛ, применением ВКЛ, эффективность работы ВКЛ, качества программных.

Обсуждение

Социальные комментарии Cackle
Задать вопрос