В статье автор пытается показать актуальность получения 3D объектов окружающей среды с помощью технологии Google Tango.
Ключевые слова: Google Tango, дополненная реальность.
Развитие технологий привело к появлению новых направлений в исследовательской деятельности разработчиков аппаратной и программной частей. Одном из таких популярных направлений можно выделить технологию дополненной реальности. В эту популярную на сегодняшний день технологию уже вложено огромное количество средств и сил разработчиков, что привело к её росту популярности на сегодняшний день. Дополненная реальность уже внесла свой вклад в производственную деятельность и быстрыми темпами заполняет повседневную жизнь людей. Большинство людей уже прямо сейчас могут опробовать различные очки дополненной реальности, читать детям книжки и показывать оживших героев с помощью смартфона. Однако, чаще всего на сегодняшний день эта технология применяется в развлекательной сфере, хотя найти ей можно большое количество других применений. На сегодняшний день разрабатывается много различных устройств для дополненной реальности в других сферах, таких как медицина, производство, логистика. Среди таких устройств особенно можно выделить специальные дисплеи, встроенные в лобовое стекло. Тестовые устройства уже могут в реальном времени показывать направления поворотов, оценивать ситуацию на дороге, что может уменьшить количество аварий. Также, одна компания, занимающаяся строительством авианосцев, использует умные очки в конце производства для проверки кораблей и отметки лишних деталей конструкции. Такое использование технологии ускоряет этап проверки корабля на 96 %. Также компания Amazon использует данную технологию на своих складах для ускорения поиска предметов. Таким образом данная технология становится популярной в использовании даже в производстве.
В качестве наиболее популярных примеров дополненной реальности в повседневной жизни можно выделить такие, как фильтры и маски для лица в социальных сетях, игры “Pokemon Go” или “Harry Potter AR”, смешение реальных и вымышленных объектов в кинофильмах и компьютерных играх, оживление экспонатов в музеях и другие.
По подсчётам многих аналитиков в ближайшие пять лет дополненная реальность сможет существенно расширить области своего применения и стать неотъемлемой частью жизни общества.
Дополненная реальность — это среда, в реальном времени дополняющая физический мир цифровыми данными с помощью каких-либо устройств и программной части. Исследователь Рональд Азума в 1997 году определил её как систему, которая совмещает виртуальное и реальное, взаимодействует в реальном времени и работает в 3D.
Первые упоминания о системах дополненной реальности датируются второй половиной 20 века. В 1968-м году компьютерный специалист и профессор Гарварда Айван Сазерленд со своим студентом Бобом Спрауллом разработали устройство, получившее название «Дамоклов Меч». Это была первая полноценная система дополненной реальности на основе головного дисплея. Очки приходилось крепить к потолку, так как они были очень тяжелыми. Конструкция угрожающе нависала над испытуемым, отсюда устройство и получило своё название. В очки со стереоскопическим дисплеем транслировалась простая картинка с компьютера. Перспектива наблюдения за объектами менялась в зависимости от движений головы пользователя, поэтому понадобился механизм, позволяющий отслеживать направление взгляда. Это устройство показано на рис. 1. В последующие годы было разработано много различных прототипов устройств дополненной реальности, однако они все были похожи на очки или шлемы, только более усовершенствованные. Также, 1982-м году один из ученых использовал радар и камеры в космосе для того, чтобы показать движение воздушных масс, циклонов и ветров в телепрогнозах погоды [1].
Рис. 1. Первые очки дополненной реальности
Актуальность темы, в первую очередь, обусловлена повышением популярности технологии дополненной реальности. Количество смартфонов с поддержкой этой технологии постоянно растёт, что приводит к увеличению числа возможных потребителей продуктов дополненной реальности. Также в некоторых секторах экономики существует необходимость расчётов различных измерений. Например, в сельском хозяйстве существует необходимость высчитать приблизительный вес и объём животного зная его некоторые характеристики, такие как длина холки, длина ног и другие, что приведёт к существенному ускорению проверки и фильтрации животных по здоровью и качеству. Собрать такие данные можно с помощью дополненной реальности, так как эта технология позволяет узнать, например, длину объекта с достаточно минимальной погрешностью. Также данная разработка может ускорить процесс создания различных моделей. Так, например, после моделирования объекта с помощью дополненной реальности, дизайнер может достаточно быстро получить каркас для разрабатываемого 3D объекта.
Общая схема работы технологии дополненной реальности
Рассмотрим общую схему работы дополненной реальности, которая показана на рис. 2. Для того, чтобы начать работать с дополненной реальностью на смартфонах, необходимо провести все настройки над камерой, инициализировать и получить видеопоток. После того, как пользователь начал снимать объекты окружающей среды с помощью камеры происходит покадровая программная обработка видеопотока. Совместно с специальными датчиками, установленными в смартфоны, такими как гироскоп, акселерометр, GPS-приёмник, компас, определяется местоположение и направление камеры в пространстве, ориентация устройства. С помощью полученных данных можно определить поверхности объектов окружающей среды и их размеры, найти ключевые точки, к которым могут «приклеиться» объекты, или специальные маркеры-контексты. На заключительных стадиях обработки пространства можно наложить необходимые цифровые объекты поверх кадра. В качестве таких объектов могут быть картинки, видеоматериалы, 3D объекты, аудио. Эти цифровые объекты могут обрабатывать нажатия, менять размер, положение и ориентацию в пространстве. Основная же сложность на данных этапах заключается в том, что человек может двигать камеру и, соответственно, ключевые точки могут менять своё местоположение. Поэтому алгоритмы машинного зрения должны работать достаточно быстро [2].
Рис. 2. Схема работы дополненной реальности
Одной из самых важных и сложных задач в функционировании дополненной реальности является идентификация объекта. Как видно из схемы выше, невозможно разместить цифровой объект в любую позицию мобильного устройства. Для этого необходимо привязаться к исследуемому объекту с помощью другого объекта, который будет идентифицировать исследуемый объект. Такими объектами привязки служат специальные метки — маркеры, относительно которых будет строится дополненная реальность. В качестве такого маркера может выступать практически любой объект, например, QR-код, картинка, фасад здания. Успех поиска такого маркера зависит от сложности и разнородности такого объекта.
В теории маркером может быть любая фигура, но на практике существуют ограничения, связанные с разрешение камеры смартфона, особенностями цветопередачи, освещением и вычислительной мощностью. Поэтому на практике обычно используют простые изображения или QR-коды. Пример маркера дополненной реальности в виде изображения показан на рис. 3.
Рис. 3. Пример маркера в виде изображения
Кроме метода маркеров также существует безмаркерный метод, при котором необходимо привязаться непосредственно к самим объектам окружающего мира, например, здание. В таком случае дополнительно с изображением или моделью здания используются дополнительные данные, такие как координаты здания в пространстве, координаты устройства в пространстве, окрашивание здание в определённый цвет, ключевые точки.
Обзор технологии Google Tango
Project Tango — проект исследовательского подразделения Google, цель которого дать мобильным устройствам человеческое понимание пространства и движения [3]. В основе технологии — точное соединение данных от всех сенсоров и их быстрая обработка. Данные устройство получает от инфракрасных датчиков, нескольких фотокамер, точных акселерометров, гироскопов и барометров. Все вместе это позволяет создать точную трехмерную картину мира вокруг устройства, обновлять в режиме реального времени, определять положение внутри нее, передавать эти данные всем приложениям, и накладывать слои с информацией поверх. Сама технология дополненной реальности Google Tango подразделяется на три технологии:
1) отслеживание движений, которое позволяет смартфону понимать позицию, ориентацию и движения в трехмерном пространстве. С помощью этой технологии можно получить координаты и вектор движения. Для достижения этих целей используются акселерометр и гироскоп и при движении ранее размещённые виртуальные объекты остаются на том же месте;
2) изучение области, при котором устройство использует визуальные подсказки для распознавания реального мира, самостоятельно исправляя ошибки в отслеживании движений и переопределяет себя в тех местах, где оно уже было. Tango-устройство ищет опорные точки или кластеры, которые лежат на различных поверхностях и создаёт относительно них плоскость, на которой можно разместить свои виртуальные объекты;
3) восприятие глубины, которое помогает определить формы реального мира вокруг смартфона, выстраивая взаимодействие с виртуальным миром. Помогает определить размеры и формы объектов, определяет границы и уровни плоскостей и участвует в их образовании.
Все эти технологии в совокупности объединяются в общую технологию для работы с дополненной реальностью Google Tango.
Также, для работы с дополненной реальность на основе технологии Google Tango используются некоторые инструменты, такие как опорные точки, позы и другие. Описание этих инструментов будет предложение ниже.
Вся работа Tango устройства руководствуется позами. По мере того, как устройство движется сквозь трехмерное пространство, оно до 100 раз в секунду высчитывает, где оно находится, а именно позицию, и ориентацию. Одна единица таких объединенных данных называется позой. Это ключевая часть работы со всеми тремя концепциями, входящими в технологию — отслеживание движения, изучение области и восприятие глубины. Поза используется для преобразования локального координатного пространства объекта в реальное. В то время, как поза является описанием положения и ориентации объекта на сцене, якорь — фиксированное местоположение и ориентация в реальном мире. Якорный узел — узел, который автоматически позиционирует себя в реальном мире и устанавливается при обнаружении новой плоскости.
Также важен ещё один инструмент в описании платформы — события. По сути, это уведомление о важных для устройства событиях, таких как, например, слишком яркая или темная картинка, которая не дает возможности системе определить положение.
Для определения ровных поверхностей, таких как полы, стены, столы выделяется понятие плоскость. Обнаруженные поверхности помечаются как плоскости, и, после этого, можно размещать различные объекты именно на плоскости. Сцена — набор из одной и более плоскостей, где будут отображаться все 3D модели объектов. Пример плоскостей и сцены показан на рис. 4.
Рис. 4. Пример плоскостей и сцены в Google Tango
Изучение области — достаточно трудоёмкая затрата для технологии Google Tango. С ее помощью можно запоминать ключевые визуальные элементы физического пространства, такие как грани и углы, распознавая их в последующих сканированиях. Для этого смартфон создаёт и хранит математическое описание всех этих визуальных особенностей в своей базе данных. Полученные данные используются для улучшения отслеживания движений — улучшая аккуратности (корректировка дрифта) и позиционируя себя в ранее изученных областях (локализация). Математическое описание мест хранится в специальном файле Area Description File. Это необходимо для сохранения ключевых точек, чтобы виртуальные объекты появлялись у пользователя в том же месте, в котором он их оставил, или, передать данные другим пользователям.
Чувство глубины даёт возможность смартфону измерять расстояние между объектами, определять расстояние до объекта, помогает улучшить восприятие формы. С помощью инфракрасного датчика технологии Google Tango позволяет получать данные об окружающем пространстве с помощью облака точек. Это набор координат x, y, z для максимально возможного количества точек в сцене.
Для взаимодействия с пользователем используется метод хит-тестирования. Пользователь касается экрана и из этих координат касания проецируется луч в заданном направлении в видимую область, возвращая все плоскости и точки объектов, которые пересекаются с этим лучом. В результате такого нажатия является набор плоскостей, поз и объектов, с которыми можно взаимодействовать различным образом.
Актуальность рассматриваемой темы
Актуальность темы, в первую очередь, обусловлена повышением популярности технологии дополненной реальности. Количество смартфонов с поддержкой этой технологии постоянно растёт, что приводит к увеличению числа возможных потребителей продуктов дополненной реальности. Также в некоторых секторах экономики существует необходимость расчётов различных измерений. Например, в сельском хозяйстве существует необходимость высчитать приблизительный вес и объём животного зная его некоторые характеристики, такие как длина холки, длина ног и другие, что приведёт к существенному ускорению проверки и фильтрации животных по здоровью и качеству. Собрать такие данные можно с помощью дополненной реальности, так как эта технология позволяет узнать, например, длину объекта с достаточно минимальной погрешностью. Также данная разработка может ускорить процесс создания различных моделей. Так, например, после моделирования объекта с помощью дополненной реальности, дизайнер может достаточно быстро получить каркас для разрабатываемого 3D объекта.
Основная ценность разработки приложения для быстрого создания 3D моделей объектов особенно видна для различных дизайнеров. Им не нужно теперь тратить много времени на создание полной модели с нуля, достаточно создать такую модель с помощью дополненной реальности и немного отредактировать её. Такой подход очень сильно снижает стоимость и скорость создания таких моделей.
Пример полученной с помощью дополненной реальности модели можно увидеть на рис. 5.
Рис. 5. Пример объекта, смоделированного с помощью дополненной реальности
Литература:
- AR — Дополненная Реальность // Habr. URL: https://habr.com/ru/post/419437/ (дата обращения: 11.03.2020).
2. Технология дополненной реальности // Сайт кафедры ДГНГ. URL: http://dgng.pstu.ru/conf2017/papers/110/ (дата обращения: 11.03.2020).
3. Device Lab от Google: Project Tango // Habr. URL: https://habr.com/ru/article/304762/ (дата обращения: 11.03.2020).
