Библиографическое описание:

Антипов О. Е. Об оценке качества и эффективности работы инновационных ИТ-систем поддержки образовательного процесса на примере виртуальной компьютерной лаборатории // Молодой ученый. — 2012. — №2. — С. 51-53.

Для повышения качества профессионального образования учебное учреждение должно идти в ногу со временем, внедряя в учебный процесс инновационные компоненты – системы поддержки образовательного процесса на основе современных ИТ-технологий. Высокий уровень качества таких систем означает их высокую конкурентоспособность по сравнению с аналогичными разработками и оказывает влияние на эффективность самого учебного процесса. Поэтому сегодня проблемам качества такой продукции уделяется пристальное внимание.

Для обеспечения высокого уровня образования в Международном университете природы, общества и человека «Дубна» была разработана и успешная внедрена инновационная ИТ-система поддержки образовательного процесса – виртуальная компьютерная лаборатория на основе технологии облачных вычислений (ВКЛ) [1]. Такая система позволила успешно решать наиболее актуальные проблемы, возникающие в процессе подготовки профессиональных ИТ-специалистов, предоставляя по запросу программные и вычислительные ресурсы университета для создания виртуальных серверов, выполнения научно-исследовательских работ, ресурсоемких вычислительных расчетов и заданий, связанных с освоением больших информационных систем. ВКЛ обеспечивает доступ к любым программным приложениям, используемым в учебном процессе университета, без их привычной установки и настройки на клиентском устройстве, что позволило студентам, предпочитающим индивидуальные траектории обучения, по-новому взглянуть на систему заочного и дистанционного образования.

После апробации в учебном процессе университета «Дубна» ВКЛ была внедрена в Национальный исследовательский университет «Высшая школа экономики», где сервисы лаборатории успешно применяются для подготовки профессиональных ИТ-специалистов.

Однако для успешной презентации проекта была необходима не просто его апробация, но и оценка качества всего программно-аппаратного комплекса, оценка эффективности его работы в образовательных учреждениях. Такое исследование основано на результатах, полученных во время апробации ВКЛ в учебных учреждениях и ее опытно-показательной эксплуатации.

Для ВКЛ, как комплекса программно-аппаратных систем и компонентов, согласно действующим на 2011-2012 г.г. стандартам [3, 4, 5], должны определяться показатели качества, отражающие эффективность ее работы.

Оценка качества ВКЛ представляет собой совокупность операций, включающих выбор номенклатуры показателей качества оцениваемой системы, определение значений этих показателей и сравнение их с базовыми значениями показателей существующего аналога или эталона. Значения базовых показателей ВКЛ должны соответствовать значениям показателей, отражающих современный уровень качества и прогнозируемый мировой уровень [3].

Процедура оценки качества ВКЛ достаточно трудоемка, поэтому необходимо наиболее эффективно использовать результаты этой оценки: оценка качества ВКЛ должна базироваться на системном подходе к анализу функциональности такого комплекса, действующих стандартах в области оценки качества, обеспечивать учет пользовательских предпочтений согласно современным подходам к управлению качеством. Процедура оценки качества должна включать в себя методики социологического исследования и экспертного опросов [7].

На сегодняшний день показатели качества для технических средств (аппаратного обеспечения) устанавливает ГОСТ Р 27.002-2009 [10], а для программно-технологических средств показатели качества устанавливают ГОСТ 28195-89 [3] и ГОСТ Р ИСО/МЭК 9126-93 [5]. Одновременное существование нескольких действующих стандартов, определяющих и нормирующих одни и те же показатели, ставит вопрос об их гармонизации. Однако в процессе анализа вышеуказанных нормативных документов было выяснено, что их показатели можно обобщить таким образом, чтобы они не противоречили друг другу при оценке качества ВКЛ.

Для определения показателей качества и оценки программно-аппаратной платформы ВКЛ, согласно действующих стандартов, использовались методики, которые различаются следующим образом:

  • по способам получения информации (измерительный, регистрационный, расчетный и органолептический методы);

  • по источникам получения информации (традиционный, экспертный и социологический методы).

В процессе исследования было выяснено, что приведенные методы, рассмотренные по отдельности, носят только дополняющий характер, который в совокупности с другими методами позволяет комплексно оценить качество ВКЛ. Проведенный анализ существующих методик для определения показателей качества ВКЛ позволил получить следующие показатели при помощи регистрационного и расчетного методов.

  1. Показатель устойчивости к искажающим воздействиям:

где D – число экспериментов, в которых искажающие воздействия приводили к отказу, К – общее число экспериментов, в которых имитировались искажающие воздействия. За искажающие воздействия к программному обеспечению были приняты неверные команды и входные данные, а так же статистика сетевых атак. За искажающие воздействия к аппаратной платформе была принята температура воздуха в помещении и максимальная нагрузка на сервера. В обоих случаях показатель устойчивости к искажающим воздействиям P(Y) не опускался ниже значения 0,998.

  1. Вероятность безотказной работы:

где Q – число зарегистрированных отказов, N – общее число экспериментов. За эксперименты была принята ежедневная работа ВКЛ в часах в течение трех месяцев. Вероятность безотказной работы за 3 мес. функционирования составила Р=0,998, что соответствует современным требованиям, предъявляемым к программно-аппаратным платформам, не претендующим на повышенную отказоустойчивость [9].

  1. Оценка по среднему времени восстановления:

,

где – допустимое среднее время восстановления, – среднее время восстановления, которое определяется по формуле:

,

где N – число восстановлений, а – время восстановления после i-го отказа.

За допустимое среднее время восстановления был принят интервал равный 1 академический час или 45 минут, учитывая, что все программные и аппаратные компоненты ВКЛ зарезервированы, а первая половина университетского семинара, как правило, уходит на теоретическую подготовку слушателей. Число восстановлений N=12 за выбранный период в два месяца. Определенное по приведенное формуле 29 мин., а значит оценка по среднему времени восстановления .

  1. Вероятность того, что ВКЛ в любой момент времени будет находиться в рабочем состоянии:

,

где MTBF ­– среднее время наработки на отказ какого-либо аппаратного компонента, MTTR – среднее время восстановления работоспособности. За самый уязвимый механический компонент ВКЛ была принята дисковая подсистема. Основываясь на исследованиях, проведенных университетом Питтсбурга (Parallel Data Laboratory Carnegie Mellon University) [11] и корпорацией Google [12] можно с уверенностью заявить, что среднее время наработки на отказ жесткого диска не превышает его гарантийного срока работы (60 мес.). Учитывая резервирование данных и простоту обслуживания сервера блейд-архитектуры за счет «горячей» замены компонентов, среднее время восстановления работоспособности было принято равным в 1 академический час или 45 минут.

Тогда вероятность того, что ВКЛ в любой момент времени будет находиться в рабочем состоянии K=0,99998, что является показателем, предъявляемым к программно-аппаратным платформам, претендующим на повышенную отказоустойчивость [9].

Для сбора мнений экспертов о качестве ВКЛ было проведено несколько опытно-показательных эксплуатаций. Качество ВКЛ экспертам предлагалось оценить по десятибалльной шкале оценки, путем ответа на 10 вопросов в предоставленной анкете. Максимальная оценка составляла 100 баллов. Средняя оценка качества ВКЛ в экспертном методе составила 89,4 балла, что, несомненно, является высоким показателем актуальности, функциональности и удобства работы с сервисами ВКЛ.

Для реализации социологического опроса респондентов был выбран наиболее подходящий для данного исследования метод опроса – анкетирование. Пользователям ВКЛ и студентам, проходившим обучение или обучающимся в данный момент с применением ВКЛ, предлагалось ответить на вопросы, сформулированные согласно требований [14].

Общее число респондентов, использовавших ВКЛ в своей учебной деятельности, составило 93 человека. Благодаря социологическому методу оценки качества, в проведенном исследовании удалось установить следующее.

95% респондентов использовали сервисы ВКЛ в учебной или научно-исследовательской деятельности. 67% респондентов использовали сервисы ВКЛ для самоподготовки. При этом 73% пользователей работали с компьютерной лабораторией удаленно, находясь вне пределов университетских классов. 75% респондентов смогли самостоятельно настроить свое персональное оборудование для работы с ВКЛ, а для 57% опрошенных дополнительная настройка оборудования не требовалась.

В установленное время для настройки (не более одного часа) справились 55% респондентов. Те респонденты, у которых настройка персонального оборудования заняла четыре часа и более, ссылались на аппаратные неполадки персональных компьютеров университета, что позволяет говорить о необходимости обновления и поддержки университетского компьютерного парка.

60% респондентов испытывали неудобства или затруднения при работе с ВКЛ, связанные с особенностями доступа, отсутствием необходимых справочных материалов или проблемами (как аппаратными, так и программными), связанными с машинами компьютерного парка университета, однако только для 17% респондентов такие затруднения оказались неразрешимы.

98% респондентов уверены в очевидных преимуществах использования ВКЛ в учебном процессе, а 80% опрошенных считают необходимым и перспективным внедрение ВКЛ в другие учебные курсы. Данное распределение показывает необходимость ВКЛ в учебном процессе, эффективность ее работы, и говорит о принципиальных, качественных отличиях преподаваемых с помощью ВКЛ спецкурсов от традиционных вариантов.

Анализ существующих стандартов и методов в области оценки качества программно-аппаратных платформ позволил провести необходимое и всестороннее исследование качества ВКЛ, включающее оценку надежности, функциональности и удобства работы с сервисами, предоставляемыми ВКЛ. Проведенное исследование доказало эффективность работы ВКЛ, выявило ключевые особенности ее работы в учебном процессе вуза, позволило устранить недостатки и провести необходимую актуализацию, подготовив систему к завершающей стадии – презентации ее работы и сдаче в эксплуатацию.


Литература:

    1. Антипов О.Е., Белов М.А., Токарева Н.А. Архитектура виртуальной компьютерной лаборатории для подготовки специалистов в области информационных технологий. // Компьютерные инструменты в образовании №4, 2011.

    2. Климов В.Г. Управление качеством подготовки конкурентоспособных специалистов профессионального образования в условиях информационного общества. Проблемы качества, безопасности и диагностики и в условиях информационного общества: Материалы научно-практической конференции / под ред. В.Г. Домрачева, С.У. Увайсова; Отв. за вып. А.В. Долматов. ­– М.: МИЭМ, 2005, 462 с., с 232-236.

    3. ГОСТ 28195-89. Межгосударственный стандарт. Оценка качества программных средств.

    4. ГОСТ 28806-90. Межгосударственный стандарт. Качество программных средств. Термины и определения.

    5. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению.

    6. ГОСТ Р ИСО 9000-2008. Государственный стандарт российской федерации. Системы менеджмента качества. Основные положения и словарь.

    7. Бабешко В.Н., Нежурина М.И. Система оценки качества программных комплексов для дистанционного обучения. // Мир электронного обучения. - 2005. – № 3-4(9). С. 12-19.

    8. Липаев В. Оценка качества программных средств. // Сетевой журнал – 2002, №3.

    9. Ульрих Ленц. Технические основы отказоустойчивых серверов. // «Журнал сетевых решений/LAN» – 2009, № 06.

    10. ГОСТ Р 27.002-2009. Национальный стандарт Российской Федерации. Надежность в технике. Термины и определения.

    11. Bianca Schroeder, Garth A. Gibson. Disk failures in the real world: What does an MTTF of 1,000,000 hours mean to you? Режим доступа: [http://www.pdl.cmu.edu/PDL-FTP/Failure/CMU-PDL-06-111.pdf]

    12. Eduardo Pinheiro, Wolf-Dietrich Weber and Luiz Andre Barroso. Failure Trends in a Large Disk Drive Population. Режим доступа: [http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/ru//archive/disk_failures.pdf]

    13. Тартаковский Д.Ф., Ястребов А.С. Метрология, стандартизация и технические средства измерений. М: Высш. шк., 2001.

    14. Девятко И. Ф. Методы социологического исследования. Екатеринбург: Издательство Уральского университета, 1998. – 208 с.

Обсуждение

Социальные комментарии Cackle