Семантическое моделирование 3D-контента с использованием X3DOM



Данная статья посвящена теме «семантическое моделирование 3D контента с использованием библиотеки X3DOM. В настоящей работе приводится обзор методики семантического моделирования, современных технологий построения семантической сети, современных сред отображения 3D контента, архитектуры и разработки приложения, применяющие данных технологий.

Ключевые слова: 3D модели, X3DOM, исследования виртуальных миров, принцип проектирования онтологии, семантическая сеть, семантические технологии Web, семантическое моделирование, системах искусственного интеллекта, средства 3D-визуализации.

Проблема и её актуальность

Семантические технологии Web помогают выделять полезную информацию из данных, содержания документов или кодов приложений, опираясь на открытые стандарты. Если компьютер понимает семантику документа, тогда он не просто интерпретирует набор символов, содержащихся в документе, а понимает смысл документа.

Семантические технологии Web — способ представления данных в интернете. Такое представление можно символически отождествить с базой данных, которая связана в глобальном масштабе с содержанием документов в интернете. И эта связь осуществляется способом, понятным компьютерам. Семантические технологии представляют значения с помощью онтологии и обеспечивают аргументацию, используя связи, правила, логику и условия, оговоренные в онтологии.

Основной принцип проектирования онтологии — поддержка функций, необходимых для конкретной области приложения (с точки зрения пользователя-инженера). Онтологические модели представляют собой концепции предметной области и их взаимоотношения, поэтому они определяют язык (семантику) предметной области, имеющий значение для людей и используемый машинами, с целью улучшения:

– (семантического) поиска и просмотра;

– интеграция гетерогенных источников информации;

– возможности аналитики и обнаружения знаний.

Онтологии представляют собой фундаментальные модели реализации семантического Web, поскольку они предлагают соответствующие механизмы для описания отношений между объектами и свойствами.

Мульти дисциплинарная визуализация информации по своей сути является сложной, и для обеспечения эффективного взаимодействия с пространственно-временной 3D/4D областью. Графическое содержимое созданных и отображаемых моделей может быть обогащено специфическими для домена предметными знаниями, чтобы пользователи могли эффективно запрашивать, интерпретировать, персонализировать и манипулировать визуализированной информацией. Семантическое обогащение 3D-моделями играет важную роль следующим образом:

а) позволяет пользователям понимать и взаимодействовать со сложными, а иногда и непонятными отображаемыми представлениями,

б) лежат в основе создания удобного и эргономичного графического пользовательского интерфейса (GUI),

в) предоставление базы знаний для интеллектуальных запросов.

Существующие решения

Многочисленные работы были посвящены семантическому описанию и семантическому моделированию 3D-контента. Работы можно разделить на три группы.

Первая группа работ посвящена главным описанию содержания 3D-контента с помощью семантически для облегчения доступа к свойствам модели.

В [1] представлен подход к проектированию семантических виртуальных сред на основе RDF стандарта с системно-независимыми и машиночитаемыми абстрактными описаниями. В [2,3] был предложен фреймворк с использованием MPEG-7 для адаптации 3D-контента, например, геометрии и деградации текстуры, а также фильтрации объектов. Контент может быть описан с различными форматами кодирования (в частности, X3D), и он снабжен аннотацией с помощью модели индексации.

Вторая группа включает работы, посвященные моделированию различных аспектов 3D-контента, включая геометрию, внешний вид и поведение.

В [4] предложена онтология, описывающая элементы и свойства, эквивалентные элементам и свойствам, указанным в X3D. Кроме того, был предложен набор семантических свойств, позволяющих описывать трехмерные сцены с известными предметами. В [5] предложена семантическая модель виртуальных сред, основанная на стандартах MPEG-7 и MPEG-21, для обеспечения динамического масштабирования и адаптации геометрии и функций виртуальных объектов.

Третья группа охватывает работы, которые были посвящены использованию семантических описаний 3D-контента в системах искусственного интеллекта.

В [6] был предложен подход, управляющий камерой для исследования виртуальных миров в реальном времени с использованием топологических и семантических знаний. В [7] были рассмотрены различные проблемы, возникающие при объединении Искусственного Интеллекта и виртуальных сред.

В рамках выполнения данной работы был проведен поиск похожих приложений, результат, которого является следующим набором онлайн-приложений: Autodesk HomeStyles, [8] Roomsketcher and [9] Planner 5D и т. д. Анализ возможностей данных приложений выявляет следующее:

– 2D и 3D-визуализация сцены

– Возможность модификации (длины, высоты, ширины, цвета и т. п.) объектов сцены в соответствие с желанием пользователя.

Рис. 1. Пример онлайн-приложения

Не смотря на простоту использования, данные приложения нуждаются в дополнительных плагинах, например flash player, более того предлагают сохранить сцену в нераспространенных форматах.

Для трехмерного представления, было принято решение воспользоваться технологией X3DOM, инновационной платформой без плагинов, способной отображать 3D-контент в обычных веб-браузерах. Она основана на декларативном языке, который тесно связан с форматом XML, где вся сцена X3D может быть интегрирована в простую HTML-страницу или может быть представлена в внешнем файле и вызвана через оператор «Inline» X3DOM API. Кроме того, она поддерживает движение в реальном времени, раскрашивание и изменение размеров любого физического объекта в 3D-пространстве, функции, которые считались критическими для создания интерактивной совместной среды.

Семантическая сеть использована в данной работе была разработана с помощью “Protegee”, а в цели разбора и анализа сети был использован фреймворк Apache Jena. Apache Jena является модульным фреймворком, который позволяет очень просто и легко моделировать объекты 3D сцены в семантическую сеть, а также их извлекать с помощью SPARQL.

Постановка цели исследования

Целью работы является необходимо спроектировать и реализовать приложение, интегрирующее семантические технологии, web3D технологии для динамической сборки сцены различных видов лабораторий.

Для достижения цели необходимо решить следующие задачи:

– Изучить существующие подходы и методы для реализации аналогичной задачи;

– Рассмотреть вопрос интеграции семантических технологий, web3D технологии для динамической сборки сцены различных видов лабораторий.

– разработать семантическое приложение, основанное на Apache Jena Semantic Framework, позволяющее имплементировать все аспекты семантических технологий.

– Сформировать на клиентской стороне AJAX запросы к серверу, передавая тем самым параметры желаемой лаборатории.

– Обеспечит возможность серверу обрабатывать клиентские запросы, на их основе SPARQL запросы к семантической, таким образом, извлекая нужные данные формирует соответствующую X3D сцену и передает её обратно клиенту.

– Приложение должно предусматривает вариант интерактивного взаимодействия со сценой с клиентской стороны.

Выбор метода решения

– Методика концептуального построения семантической модели выбранной 3D сцены

Семантическая сеть охватывает различные аспекты 3D-контента, такие как геометрия, структура и пространство, внешний вид, сцена, анимация, и поведение. Методика сочетает два элемента: semantic content model (SCM) описан в работах [10, 11] и semantic content creation method (SCCM) описан в [12].

Semantic content model (SCM): это набор онтологий, позволяющий с различных степеней абстракции описать представления 3D контента. В работе [11] разделяется 2 уровня абстракции: низкий уровень и высокий. Низкий уровень (Concrete Representation of 3D content) описывает элементы, которые непосредственно связанные с 3D-контентом, а высокая абстракция (Conceptual Representation of 3D content) описывает элементы, которые не имеют прямого отношения к 3D контенту и являющиеся абстрактными с точки зрения их графического отображения.

Рис. 2. Semantic content model

SemanticMappingModel (SMM): Задача объединить в единую онтологию абстрактное и конкретное описания 3D контента решается на стадии мэппинга. Следующие понятия были введены с целью облегчения мэппинга:

Presentable objects (POs): Обозначает любую сущность 3D сцены на концептуальном уровне. На конкретных языках онтологий PO представлены классами.

data properties (DPs): описывает с помощью литералов;

object properties (OPs): описывает связи между объектов;

descriptive individuals(DIs): обозначает объекты классов;

descriptive classes (DCs): обозначает класс объектов в онтологии.

– Практичное построение семантической сети

На практике для построения семантической модели используются языки, основаны на xml-стандарте типа RDF/xml и OWL. Эти языки являются платформ-независимыми. Задача построения семантической сети сводится тогда к описанию области знаний триплетами или трехчастными предложениями вида: «Субъект» «Предикат» «Объект», где роль предиката играют Objects properties и/или Data properties, Объектами могут быть Литералы, Объекты или Классы. Субъекты — Классы или Объекты. Для примера выше описанные «Descriptive class» на языке-owl выглядят:

<owl:Classrdf:about=" …… ">

Пример OWL кода:

В терминологии RDF подобных языков каждый описанный объект является ресурсом и может имеет URI (уникальный идентификатор). В данном случае интерес представляет 3D ресурсы. Одно из важнейших требований к 3D ресурсам является кроссплатформенность или платформ-независимость. X3D-формат приходивший на смену vrml предоставляет такую возможность.

– Создание 3D моделей в графических движках и экспортирование в X3D Формате

X3D представляет собой декларативный язык описания 3D модели, основанный на стандарте xml 2.0. Существует ряд возможностей генерировать x3d-файлов используя общие доступные редакторы трехмерной графики. На рисунке 2 показан график, решающий данную задачу.

Рис. 3. Схема переноса 3D-контента из редактора на веб-страницу

– Анализ, Парсинг изапрос ксемантической сети

Цель создания любой семантической сети её использование в решении прикладных задач. Таким образом, возможность анализа и запроса данных из сети очень важна. Apache Jena Framework предоставляет различные API, позволяющие не только разработать семантику, но и извлекать данные из неё. SPARQL API, модуль Jena framework позволяющий настроить SPARQL end-point на своем сервере т. е. сформировать запросы к семантике и извлекать из неё нужные данные. Шаблоны SPARQL запросы выглядит:

Рис. 4. Архитектура Jena framework

– Средства 3D-визуализации

Для визуализации сгенерированных 3D сцен выбрана библиотека X3DOM. Данная библиотека написана на языке JavaScript тесно поддерживает x3d-стандарт. X3DOM предоставляет декларативный подход к описанию 3D сцен. Главным преимуществом X3DOM заключается в том, что она не нуждается в дополнительных плагинах. Общая структура 3D сцены с помощью X3DOM и x3d-стандарта выглядят:

– Проектирование иразработка приложения, использующего семантические технологии иwebRTC.

Веб-приложение, демонстрирующее применение семантических технологий, X3DOM было разработано на языках Java и SQL. В качестве сервера приложений мы использовали Apache Tomcat, а для базы данных использован сервер MySQL Workbench. На рисунке 4 показана архитектура данного приложения.

Рис. 5. Архитектура приложения

Cерверная часть нашего приложения состоится из трех сeрвлетов: LoginServelet, RegistrationServelet, WorkbenchServlet.

Клиентская часть из трех html-страниц соответственно Login.html, registration.html, и workbench.html.

Для частичного динамического обновления основной рабочей страницы был применен AJAX-запрос написанный в JQuery.

Параметром данного запроса является тип лаборатории, а в случае успешной передачи данных серверу и получения от него ответа ajax-метод возвращает сгенерированный на основе SPARQL-запросов x3d сцену.

Модульная структура приложения зафиксирована на диаграмме деятельности (рис. 5). Модули Регистрации, Логин, и Рабочий модуль.

Рис. 6. Диаграмма деятельности

При входе в приложение пользователь имеет возможность регистрироваться, если у него нет аккаунта, в противном случае он может войти в систему с учетными данными, чтобы использовать возможности, предоставляемые средой семантического поиска. Эта среда не только поддерживает изменение размеров, масштабирование, перемещение физических объектов и пространств, но также включает семантический поиск требуемого объекта с последующим его включением в пространство лаборатории.

Функциональные возможности рабочего модуля:

– Прием клиентских запросов (параметрами данных запросов являются характеристики выбранной лаборатории).

– Загрузка с сервера файла онтологии(*.owl) c помощью API Jena Framework и построения модели.

– Формирование SPARQL-запросов к построенной модели на основе параметров клиентского запроса. Цель данных запросов анализировать семантическую сеть и извлечение URI x3d-моделей c целью их включение на сцене.

– Составление 3D сцены из извлеченных данных и послание обратно клиенту генерированной сцены. Включение x3d моделей на сцене осуществляется через тэг .

Исследования свойств решения

Построенную семантическую сеть по вышеизложенной методике можно оценить по следующим критериям:

– Полнота словаря предметной области и точность;

– структура таксономий и отношений;

– восприимчивость и адекватность;

– анализ топологии графа онтологии (глубина, ширина, сбалансированность).

Исследованный в данной работе метод является гибким и позволяет отражать в семантику те аспекты предметной области, интересующие разработчика. Применяя семантические технологии к компьютерной графике, особенно к реконструкции 3D сцен, можно косвенно судить о качестве семантики по реалистичности построенной 3D сцены.

Другим несомненным достоинством данного приложения является кроссплатформенность. X3DOM не требует дополнительных плагинов. Для отображения таких сцен достаточно html-страницы.

Выводы

1. Исследованы существующие семантические технологии, технологии и языки запросов к семантической сети. Также исследованы возможности библиотеки X3DOM.
2. Выполнены проектирования семантической сети образовательного учреждения и распределенного приложения, позволяющего динамически собрать 3D сцену в результате анализа и запроса к проектированной семантической сети.
3. Реализовано веб-приложение с распределенной и модульной архитектурой. Создан сервер на языках java предоставляющий клиентам запросить данные из семантической сети с целью их последующего отображения на 3D сцене.
4. Произведён анализ качества разработанного приложения в результате, которой выявлена необходимость улучшения реалистичности сцен.

Литература:

1. Otto, K.A.: Semantic virtual environments. In: Special Interest Tracks and Posters of the 14th International Conference on World Wide Web, pp. 1036–1037. Japan (2005)
2. Bilasco, I.M.,Gensel, J.,Villanova-Oliver, M.,Martin,H.: 3dseam: a model for annotating 3d scenes using mpeg-7. In: ISM, pp. 310– 319. IEEE Computer Society (2005)
3. Bilasco, I.M., Villanova-Oliver, M., Gensel, J., Martin, H.: Semantic-based rules for 3d scene adaptation. In: Proceedings of the Twelfth International Conference on 3D Web Technology, Web3D ’07, pp. 97–100. ACM, NY, USA (2007)
4. Kalogerakis, E., Christodoulakis, S., Moumoutzis, N.: Coupling ontologies with graphics content for knowledge driven visualization. In: VR ’06 Proceedings of the IEEE conference on Virtual Reality, pp. 43–50. Alexandria, Virginia, USA (2006)
5. Gutiérrez„ M., Vexo, F., Thalmann, D.: Semantics-based representation of virtual environments. Int. J. Comput. Appl. Technol. 23, 229–238 (2005)
6. Sokolov, D., Plemenos, D.: Virtual world explorations by using topological and semantic knowledge. Vis Comput. 24, 173–185 (2008)
7. Aylett, R., Luck,M.: Applying artificial intelligence to virtual reality: intelligent virtual environments. Appl. Artif. Intell. 14, 3–32 (2000)
8. http://planner.roomsketcher.com/?ctxt=rs_com#/?pid=3028842
9. https://planner5d.com/ru/e/
10. Floty´nski, J.: Semantic modelling of interactive 3d content with domain-specific ontologies. Procedia Computer Science (2014). In: 18th InternationalConference on Knowledge-Based and Intelligent Information & Engineering Systems, accepted for publication
11. Floty´nski, J., Walczak, K.: Conceptual semantic representation of 3d content. In: Lecture Notes in Business Information Processing: 16th International Conference on Business Information Systems, Pozna´n, Poland, 19–20 June, vol. 160, pp. 244–257 (2013)
12. Floty´nski, J., Walczak, K.: Semantic modelling of interactive 3d content. In: Proceedings of the 5th JointVirtual Reality Conference, pp. 41–48. Paris, France (2013)