В статье приведены современные возможности технологий дополненной реальности, позволяющие произвести значительный прирост качества продуктов, использующих данную технологию и решить проблемы раннего AR.

Ключевые слова: дополненная реальность, технологии, мобильные устройства, AR.

Дополненная реальность последние несколько лет была быстрорастущим и перспективным направлением. Однако ее возможности были в зачаточном состоянии, что вызывало лишь краткосрочный вау-эффект из-за своей новизны и необычности. Сейчас же, спустя всего пару лет, возможности дополненной реальности серьезно возросли.

Главной проблемой технологии всегда было то, что она практически никак не реагировала на реальный мир, несмотря на свое название и предназначение.

К примеру, вспомним такую популярную AR игру, как Pokemon Go (рисунок 1). Суть Pokemon Go проста: для выполнения различных заданий игрок должен перемещаться по реальным улицам и «ловить» виртуальных покемонов, проецируемых на повседневные пейзажи, с помощью объектива камеры [1].

Дополненная реальность здесь была сильно упрощена. Технически Pokemon Go не видела, где пол. Игра просто размещала где-то картинку покемона. Она не могла никак связать его с окружающей действительностью, не могла наложить красивую тень на пространство, и не могла увидеть, где находится сам игрок [2].

Рис. 1. Игра Pokemon Go

Также дополненная реальность накладывалась поверх видео с камеры, никак не учитывая глубину расположения в пространстве. AR-контент был всегда впереди, независимо от того, должен он перекрываться, например впереди стоящим человеком или нет (рисунок 2).

Рис. 2. Пример некорректного отображения

Сейчас же «железо» современных смартфонов на порядок возросло в характеристиках, что дает разработчикам больше свободы в разработке более сложных и ресурсозатратных алгоритмов, в том числе все активнее использовать нейронные сети и машинное обучение.

Рассмотрим наиболее интересные возможности современных AR библиотек.

Перекрытие виртуальных объектов людьми.

Oclussion из ARKit позволяет корректно комбинировать людей и виртуальные объекты в одной AR-сцене (рисунок 3), что позволяет достичь большей реалистичности и решить проблему некорректного отображения.

Рис. 3. До и после применения Oclussion

Как видно на рисунке 3, технология также учитывает дальность расположения людей и виртуальных объектов относительно камеры, т. е. глубину положения. Поддерживается нахождение в кадре несколько людей, а также частей тела, например кистей рук.

Трекинг движения людей.

Motion Capture из ARKit предоставляет функционал по распознаванию и отслеживанию упрощенного скелета человека (рисунок 4). Применений данной технологии масса — новые возможности взаимодействия и управления в приложениях, примерка виртуальной одежды и обуви, использование в играх и образовательных системах, автоматическая оценка корректности действий.

Рис. 4. Motion Capture

Создание 3D карт окружающей среды.

Dense Spatial Map в EasyAR позволяет создать трехмерную карту и в следствии сгенерировать из нее полотно — меш, заполняющий окружающее пространство и окружающие его реальные объекты (рисунок 5). Данный меш позволяет виртуальным объектам в дополненной реальности корректно взаимодействовать со статичными физическими объектами, имитировать столкновения и перекрытие. Созданная 3D карта может быть сохранена на облачном хранилище и в последующем совместно использоваться различными устройствами в режиме реального времени.

Рис. 5. Просканированная комната

Реалистичное освещение.

Также важной составляющей натурального отображения виртуальных объектов в реальном мире, всегда было освещение. Поэтому, современные фреймворки уже научились оценивать его температуру, направленность света, а также создавать и накладывать реалистичные отражения (рисунок 6).

Рис. 6. Реалистичные отражения

Дополненная реальность вбраузере.

Теперь это просто и удобно (рисунок 7). Google и Apple в своих платформах реализовали эту функцию и теперь не нужно предварительно скачивать приложения чтобы испытать возможности AR или просто узнать что это такое.

Рис. 7. AR в Google Chrome

Литература:

1. Дополненная реальность — https://blog.dti.team/dopolnennaya-realnost/
2. Берешь телефон, сканируешь пространство — https://meduza.io/feature/ 2017/09/04/beresh-telefon-skaniruesh-prostranstvo-i-tvoya-komnata-prevraschaetsy a-v-pescheru
3. ARKit vs ARCore — https://medium.com/@scudkot/arkit-vs-arcore-e8f4f1d7bd45
4. EasyAR Sense — https://www.easyar.com/view/sdk.html
5. Augmented reality for the web — https://developers.google.com/web/updates/ 2018/06/ar-for-the-web