Под виртуальной средой или реальностью подразумевается компьютерная модель среды, в которой пользователь может взаимодействовать с её компонентами и наблюдать за изменениями модели в результате произведенных действий. Одним из основных компонентов виртуальной среды, который одновременно может быть использован для оказания влияния на неё пользователем и предоставления обратной связи о состоянии симулируемой среды является графический интерфейс. Цель данного исследования, изучить существующие виды графического интерфейса и рассмотреть возможность их применения в образовательных симуляторах для повышения пользовательского опыта.

Качество пользовательского опыта при взаимодействии с интерактивными виртуальными средами тесно связано с определениями иммерсивности. Иммерсивность, происходящее от английского слова immersion — погружение, означает способ восприятия, создающий эффект погружения в искусственно созданную среду, при котором человек начинает воспринимать себя не только наблюдателем, но и участником наблюдаемого действия. Гордон Каллеха подчёркивал, что иммерсивность не может быть достигнута без одновременного использования присутствия и телеприсутствия наблюдателя [1]. Под телеприсутствием понимается создание ощущения нахождения в ином месте за счёт использования технологических устройств, как например устройств для передачи изображения или звука(монитор, шлемы виртуальной реальности и пр) и контроллеров, с помощью которых пользователь способен передавать обратную связь системе; а под более расплывчатым определением «присутствия» подразумевается пребывание в виртуальной среде, т. е. выстраивание самой среды, с которой пользователь взаимодействует через элементы телеуправления, таким образом, чтобы она вовлекала пользователя в себя. Именно второе определение присутствия ближе к чувству иммерсивности.

Важным определением для категоризации элементов интерфейса в интерактивных виртуальных средах является диегезис. Изначально в контексте компьютерных программ данное определение было использовано при исследовании видеоигр. Так Александр Галоуэй под диегезисом определял все нарративные действия игрового мира, а под не-диегезисом игровые элементы, которые находятся внутри всей игровой системы, но вне той части, которая представляет вымышленный персонажей и истории, т. е. элементы, с которыми не может взаимодействовать аватар игрока, но с которыми может взаимодействовать сам пользователь [2]. В контексте виртуальных симуляторов и тренажеров, под диегезисом мы можем определить ту часть виртуального пространства, которая отвечает за имитацию реального физического пространства и объектов, существующих в нём. Для более подробного разделения элементов графического интерфейса мы можем характеризовать их по двум признакам:

1. Является ли элемент интерфейса частью имитируемой среды?
2. Визуализирован ли элемент интерфейса, как часть трехмерного виртуального пространства?

На основе этих двух признаков можно выделить следующие категории элементов пользовательского интерфейса:

1. Недиегетические — объекты на экране, которые не представлены в пространстве виртуального мира и не имеющие объяснения своему существованию условностями повествования вымышленного или имитируемого мира. К ним относятся такие элементы интерфейса, которые присущи любым другим электронным приложениям — экраны меню, всплывающие окна, объекты HUD(head-up display). Данные элементы интерфейса как правило не меняют своего расположения на экране при перемещении пользователем камеры, с помощью которой он ориентируется в моделируемом пространстве.
2. Пространственный — тип элементов интерфейса, которые представлены объектами в виртуальном пространстве, но не существуют в реальном мире или не имеют нарративного обоснования своему существованию. Как правило к этому типу относятся объекты, призванные помочь ориентироваться в виртуальном пространстве и заострить внимание на важных объектах виртуального мира. Примерами является подсветка контура трехмерных моделей, указатели направления или всплывающие окна, следующие за трехмерными объектами.
3. Мета — тип интерфейса, который не представлен в виртуальном пространстве игрового мира, но имеющий нарративное обоснование своему существованию. Данный тип интерфейса применяется для передачи состояния аватара пользователя, например через изменения фильтра изображения на экране, или упрощенного представления существующего предмета, например взаимодействие с телефоном игрового персонажа только в виде окна игрового оверлея.
4. Диегетические — т. е. представленные внутри игрового пространства и имеющие объяснение своему существованию в рамках нарратива виртуального мира. Подобные элементы хоть и встречаются реже, но помогают повысить чувство иммерсивности пользователя внутри виртуальной среды. В качестве примера диегетических элементов интерфейса можно привести приборные панели в симуляторах автомобильной, авиационной и рабочей техники, кнопки на физическом оборудовании, визуализация интерактивных меню на трехмерных моделях телеэкранов или физических консолей.

Данные теоретические категории в последствии были применены на практике при разработке виртуальной лаборатории по исследованию электромагнитных волн в замкнутых системах, чтобы повысить уровень вовлеченности студентов при работе с ней. Среди диегетических элементов интерфейса стоит выделить электронные дисплеи, отображающие точное численное значение изменяемых вводных параметров, которые изменяет пользователь с помощью интерактивных объектов, ручки для их настройки и кнопки для включения генератора и приемника. Среди пространственных элементов можно выделить цветные контуры, которые подсказывают, какие элементы лабораторной установки являются доступными пользователю для взаимодействия с помощью компьютерной мыши. Визуальное представление данных элементов интерфейса на трехмерных моделях лабораторного оборудования представлено на рисунках 1 и 2.

Рис. 1. Элементы диегетического и пространственного интерфейса на трехмерной модели генератора СВЧ

Рис. 2. Элементы диегетического и пространственного интерфейса на трехмерной модели прямоугольного волновода

В ходе исследования был произведен анализ зарубежных исследований диегетических интерфейсов в виртуальных средах и сформированы категории графических интерфейсов на основе их представления в виртуальном пространстве. В результате полученные сведения были применены при разработке интерактивного виртуального симулятора лабораторной среды, оказав влияние на проектирование интерфейса и интерактивных элементов внутри приложения.

Литература:

1. Calleja, Gordon In-Game: From Immersion to Incorporation / Gordon Calleja. —: MIT Press, 2011.
2. Galloway, A. R. Gaming: Essays on Algorithmic Culture / A. R. Galloway. — Minneapolis, London: University of Minnesota Press, 2006..
3. Seo, G. Towards the Utilization of Diegetic UI in Virtual Reality Educational Content / G. Seo, B. -. Bae. — // HCI International — Posters' Extended Abstracts. —, 2018. — С. 111–115..
4. Marre, Q. Video Game Interfaces and Diegesis: The Impact on Experts and Novices’ Performance and Experience in Virtual Reality / Q. Marre, L. Caroux, J. -. Sakdavong. — // International Journal of Human–Computer Interaction. — 2021. — № 37(12). — С. 1089–1103.
5. Kim, Ye-Eun User Interface Analysis and Diegetic Design Guide for Virtual Reality Content / Ye-Eun Kim, Soong-Hyun Kim. — // Journal of Digital Contents Society. — 2023. — № 24(11). — С. 2639–2647..
6. Seo, G. Implementation of Immersive Virtual Reality Through the Analysis of Diegetic User Interface / G. Seo. — // HCI International 2020 — Posters. —, 2020. — С. 116–121.