Для повышения качества профессионального образования учебное учреждение должно идти в ногу со временем, внедряя в учебный процесс инновационные компоненты – системы поддержки образовательного процесса на основе современных ИТ-технологий. Высокий уровень качества таких систем означает их высокую конкурентоспособность по сравнению с аналогичными разработками и оказывает влияние на эффективность самого учебного процесса. Поэтому сегодня проблемам качества такой продукции уделяется пристальное внимание.
Для обеспечения высокого уровня образования в Международном университете природы, общества и человека «Дубна» была разработана и успешная внедрена инновационная ИТ-система поддержки образовательного процесса – виртуальная компьютерная лаборатория на основе технологии облачных вычислений (ВКЛ) [1]. Такая система позволила успешно решать наиболее актуальные проблемы, возникающие в процессе подготовки профессиональных ИТ-специалистов, предоставляя по запросу программные и вычислительные ресурсы университета для создания виртуальных серверов, выполнения научно-исследовательских работ, ресурсоемких вычислительных расчетов и заданий, связанных с освоением больших информационных систем. ВКЛ обеспечивает доступ к любым программным приложениям, используемым в учебном процессе университета, без их привычной установки и настройки на клиентском устройстве, что позволило студентам, предпочитающим индивидуальные траектории обучения, по-новому взглянуть на систему заочного и дистанционного образования.
После апробации в учебном процессе университета «Дубна» ВКЛ была внедрена в Национальный исследовательский университет «Высшая школа экономики», где сервисы лаборатории успешно применяются для подготовки профессиональных ИТ-специалистов.
Однако для успешной презентации проекта была необходима не просто его апробация, но и оценка качества всего программно-аппаратного комплекса, оценка эффективности его работы в образовательных учреждениях. Такое исследование основано на результатах, полученных во время апробации ВКЛ в учебных учреждениях и ее опытно-показательной эксплуатации.
Для ВКЛ, как комплекса программно-аппаратных систем и компонентов, согласно действующим на 2011-2012 г.г. стандартам [3, 4, 5], должны определяться показатели качества, отражающие эффективность ее работы.
Оценка качества ВКЛ представляет собой совокупность операций, включающих выбор номенклатуры показателей качества оцениваемой системы, определение значений этих показателей и сравнение их с базовыми значениями показателей существующего аналога или эталона. Значения базовых показателей ВКЛ должны соответствовать значениям показателей, отражающих современный уровень качества и прогнозируемый мировой уровень [3].
Процедура оценки качества ВКЛ достаточно трудоемка, поэтому необходимо наиболее эффективно использовать результаты этой оценки: оценка качества ВКЛ должна базироваться на системном подходе к анализу функциональности такого комплекса, действующих стандартах в области оценки качества, обеспечивать учет пользовательских предпочтений согласно современным подходам к управлению качеством. Процедура оценки качества должна включать в себя методики социологического исследования и экспертного опросов [7].
На сегодняшний день показатели качества для технических средств (аппаратного обеспечения) устанавливает ГОСТ Р 27.002-2009 [10], а для программно-технологических средств показатели качества устанавливают ГОСТ 28195-89 [3] и ГОСТ Р ИСО/МЭК 9126-93 [5]. Одновременное существование нескольких действующих стандартов, определяющих и нормирующих одни и те же показатели, ставит вопрос об их гармонизации. Однако в процессе анализа вышеуказанных нормативных документов было выяснено, что их показатели можно обобщить таким образом, чтобы они не противоречили друг другу при оценке качества ВКЛ.
Для определения показателей качества и оценки программно-аппаратной платформы ВКЛ, согласно действующих стандартов, использовались методики, которые различаются следующим образом:
по способам получения информации (измерительный, регистрационный, расчетный и органолептический методы);
по источникам получения информации (традиционный, экспертный и социологический методы).
В процессе исследования было выяснено, что приведенные методы, рассмотренные по отдельности, носят только дополняющий характер, который в совокупности с другими методами позволяет комплексно оценить качество ВКЛ. Проведенный анализ существующих методик для определения показателей качества ВКЛ позволил получить следующие показатели при помощи регистрационного и расчетного методов.
Показатель устойчивости к искажающим воздействиям:
где D – число экспериментов, в которых искажающие воздействия приводили к отказу, К – общее число экспериментов, в которых имитировались искажающие воздействия. За искажающие воздействия к программному обеспечению были приняты неверные команды и входные данные, а так же статистика сетевых атак. За искажающие воздействия к аппаратной платформе была принята температура воздуха в помещении и максимальная нагрузка на сервера. В обоих случаях показатель устойчивости к искажающим воздействиям P(Y) не опускался ниже значения 0,998.
Вероятность безотказной работы:
где Q – число зарегистрированных отказов, N – общее число экспериментов. За эксперименты была принята ежедневная работа ВКЛ в часах в течение трех месяцев. Вероятность безотказной работы за 3 мес. функционирования составила Р=0,998, что соответствует современным требованиям, предъявляемым к программно-аппаратным платформам, не претендующим на повышенную отказоустойчивость [9].
Оценка по среднему времени восстановления:
,
где
–
допустимое среднее время восстановления,
–
среднее время восстановления, которое определяется по формуле:
,
где N
– число восстановлений, а
–
время восстановления после i-го
отказа.
За
допустимое среднее время восстановления был принят интервал равный 1
академический час или 45 минут, учитывая, что все программные и
аппаратные компоненты ВКЛ зарезервированы, а первая половина
университетского семинара, как правило, уходит на теоретическую
подготовку слушателей. Число восстановлений N=12
за выбранный период в два месяца.
Определенное по приведенное формуле
29
мин., а значит оценка по среднему времени восстановления
.
Вероятность того, что ВКЛ в любой момент времени будет находиться в рабочем состоянии:
,
где MTBF – среднее время наработки на отказ какого-либо аппаратного компонента, MTTR – среднее время восстановления работоспособности. За самый уязвимый механический компонент ВКЛ была принята дисковая подсистема. Основываясь на исследованиях, проведенных университетом Питтсбурга (Parallel Data Laboratory Carnegie Mellon University) [11] и корпорацией Google [12] можно с уверенностью заявить, что среднее время наработки на отказ жесткого диска не превышает его гарантийного срока работы (60 мес.). Учитывая резервирование данных и простоту обслуживания сервера блейд-архитектуры за счет «горячей» замены компонентов, среднее время восстановления работоспособности было принято равным в 1 академический час или 45 минут.
Тогда вероятность того, что ВКЛ в любой момент времени будет находиться в рабочем состоянии K=0,99998, что является показателем, предъявляемым к программно-аппаратным платформам, претендующим на повышенную отказоустойчивость [9].
Для сбора мнений экспертов о качестве ВКЛ было проведено несколько опытно-показательных эксплуатаций. Качество ВКЛ экспертам предлагалось оценить по десятибалльной шкале оценки, путем ответа на 10 вопросов в предоставленной анкете. Максимальная оценка составляла 100 баллов. Средняя оценка качества ВКЛ в экспертном методе составила 89,4 балла, что, несомненно, является высоким показателем актуальности, функциональности и удобства работы с сервисами ВКЛ.
Для реализации социологического опроса респондентов был выбран наиболее подходящий для данного исследования метод опроса – анкетирование. Пользователям ВКЛ и студентам, проходившим обучение или обучающимся в данный момент с применением ВКЛ, предлагалось ответить на вопросы, сформулированные согласно требований [14].
Общее число респондентов, использовавших ВКЛ в своей учебной деятельности, составило 93 человека. Благодаря социологическому методу оценки качества, в проведенном исследовании удалось установить следующее.
95% респондентов использовали сервисы ВКЛ в учебной или научно-исследовательской деятельности. 67% респондентов использовали сервисы ВКЛ для самоподготовки. При этом 73% пользователей работали с компьютерной лабораторией удаленно, находясь вне пределов университетских классов. 75% респондентов смогли самостоятельно настроить свое персональное оборудование для работы с ВКЛ, а для 57% опрошенных дополнительная настройка оборудования не требовалась.
В установленное время для настройки (не более одного часа) справились 55% респондентов. Те респонденты, у которых настройка персонального оборудования заняла четыре часа и более, ссылались на аппаратные неполадки персональных компьютеров университета, что позволяет говорить о необходимости обновления и поддержки университетского компьютерного парка.
60% респондентов испытывали неудобства или затруднения при работе с ВКЛ, связанные с особенностями доступа, отсутствием необходимых справочных материалов или проблемами (как аппаратными, так и программными), связанными с машинами компьютерного парка университета, однако только для 17% респондентов такие затруднения оказались неразрешимы.
98% респондентов уверены в очевидных преимуществах использования ВКЛ в учебном процессе, а 80% опрошенных считают необходимым и перспективным внедрение ВКЛ в другие учебные курсы. Данное распределение показывает необходимость ВКЛ в учебном процессе, эффективность ее работы, и говорит о принципиальных, качественных отличиях преподаваемых с помощью ВКЛ спецкурсов от традиционных вариантов.
Анализ существующих стандартов и методов в области оценки качества программно-аппаратных платформ позволил провести необходимое и всестороннее исследование качества ВКЛ, включающее оценку надежности, функциональности и удобства работы с сервисами, предоставляемыми ВКЛ. Проведенное исследование доказало эффективность работы ВКЛ, выявило ключевые особенности ее работы в учебном процессе вуза, позволило устранить недостатки и провести необходимую актуализацию, подготовив систему к завершающей стадии – презентации ее работы и сдаче в эксплуатацию.
Литература:
Антипов О.Е., Белов М.А., Токарева Н.А. Архитектура виртуальной компьютерной лаборатории для подготовки специалистов в области информационных технологий. // Компьютерные инструменты в образовании №4, 2011.
Климов В.Г. Управление качеством подготовки конкурентоспособных специалистов профессионального образования в условиях информационного общества. Проблемы качества, безопасности и диагностики и в условиях информационного общества: Материалы научно-практической конференции / под ред. В.Г. Домрачева, С.У. Увайсова; Отв. за вып. А.В. Долматов. – М.: МИЭМ, 2005, 462 с., с 232-236.
ГОСТ 28195-89. Межгосударственный стандарт. Оценка качества программных средств.
ГОСТ 28806-90. Межгосударственный стандарт. Качество программных средств. Термины и определения.
ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению.
ГОСТ Р ИСО 9000-2008. Государственный стандарт российской федерации. Системы менеджмента качества. Основные положения и словарь.
Бабешко В.Н., Нежурина М.И. Система оценки качества программных комплексов для дистанционного обучения. // Мир электронного обучения. - 2005. – № 3-4(9). С. 12-19.
Липаев В. Оценка качества программных средств. // Сетевой журнал – 2002, №3.
Ульрих Ленц. Технические основы отказоустойчивых серверов. // «Журнал сетевых решений/LAN» – 2009, № 06.
ГОСТ Р 27.002-2009. Национальный стандарт Российской Федерации. Надежность в технике. Термины и определения.
Bianca Schroeder, Garth A. Gibson. Disk failures in the real world: What does an MTTF of 1,000,000 hours mean to you? Режим доступа: [http://www.pdl.cmu.edu/PDL-FTP/Failure/CMU-PDL-06-111.pdf]
Eduardo Pinheiro, Wolf-Dietrich Weber and Luiz Andre Barroso. Failure Trends in a Large Disk Drive Population. Режим доступа: [http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/ru//archive/disk_failures.pdf]
Тартаковский Д.Ф., Ястребов А.С. Метрология, стандартизация и технические средства измерений. М: Высш. шк., 2001.
Девятко И. Ф. Методы социологического исследования. Екатеринбург: Издательство Уральского университета, 1998. – 208 с.
