Введение
В сентябре 2019 года в Российской Федерации состоялся финал конкурса для IT-специалистов «Цифровой прорыв», который был признан самым крупным хакатоном мира и вошел в книгу рекордов Гиннесса. В рамках конкурса командам разработчиков предлагалось найти решения задач от представителей разных секторов экономики и общественной жизни.
Одна из команд Севастопольского государственного университета взяла для решения задачу Министерства промышленности и торговли РФ — разработать AR/VR-решение для контроля качества выполнения специальных технологических процессов на промышленных предприятиях.
Разработанный прототип вошел в топ-10 решений номинации, что дало возможность в декабре 2019 года получить грантовую поддержку от Фонда содействия инноваций по программе «УМНИК — Цифровой Прорыв 2.0».
Дополненная реальность в промышленности
Список наиболее существенных и основных сквозных цифровых технологий для Российской Федерации опредлен в Национальной программе «Цифровая экономика» [1]. Среди этих технологий — дополненная реальность, которая по аналитическим исследованиям компании (PwC) вошла в число восьми ключевых технологий, которые окажут значительное влияние на бизнес в ближайшем будущем [2].
Дополненная реальность (augmented reality — AR) предполагает возможность добавления элементов цифрового мира в реальный мир. То есть появляется возможность дополнить реальный физический объект визуальным рядом дополнительной информации: фотографиями, 3D-моделями, аудио информацией, видео информацией.
Технология AR может быть реализована с помощью маркерного, безмаркерного и пространственного трекинга.
Маркерный трекинг основан на распознавание специально помещенного во внешний мир объекта — маркера. В качестве маркера выступают, как правило, изображения с высокой четкостью и контрастностью, при его обнаружении воссоздаются элементы дополненной реальности. Безмаркерная технология реализуется с помощью алгоритмов компьютерного зрения, распознающих объекты реального мира, для которых (или на которых) требуется разместить цифровой контент. Пространственный трекинг основан на геолокации и параметрах сенсоров устройств, информация генерируется и визулизируется в зависимости от пространственного положения наблюдателя, с учетом ориентации, угла наклона и других параметров, которые регистриуют датчики мобильного устройства.
Существующие на рынке решения для промышленности, как правило, направлены на обеспечение материалами — инструкциями по проведению технологических операций, с целью облегчения знакомства с оборудованием, его эксплуатацией и обслуживанием. Некоторые решения позволяют получать параметры проводимых операций.
Мюнхенский технологический институт создал платформу для промышленных AR-решений, которая позволяет при помощи портативных устройств проецировать дополненную графику на реальные изделия. Boeing при помощи AR решила проблему установки компонентов бортовых систем самолетов, связанных между собой сложной системой проводов с контролем параметров установки. Сотрудники компании ускорили процесс сборки жгутов и снизили риск совершить ошибку благодаря использованию технологии. Компания Drillmec, внедрила дополненную реальность в повседневную работу сотрудников, выполняющих задачи по техническому обслуживанию, контролю и ремонту оборудования в удалённых от предприятия районах. Каждое из этих решений позволило, либо повысить объемы выполняемых работ, либо снизило количество ошибок, совершаемых при выполнении технологических операций.
Специальные технологические процессы
Специальные технологические процессы — это процессы, результаты которых нельзя в полной мере проверить последующим контролем и испытаниями продукции и недостатки которых могут быть выявлены только в ходе использования продукции.
То есть, узлы и агрегаты, собранные с ошибками, допущенными на специальных технологических процессах, выявляются уже на этапе эксплуатации, что для ряда отраслей (автомобилестроение, самолетостроение и т. д.) зачастую критично для безопасности людей и/или влекут большие финансовые потери.
Примером таких операций могут служить: упрочнение отверстий дорнированием и герметизация, которые проводяться при установке ответственных деталей, в процессах изготовления изделий Ту-214, Ту-160, Ту-22М3.
На данный момент проблема решается присутствием при выполнении специальной технологической операции человека, в обязанности которого входит отслеживание соответствия выполнения процесса технологической карте. Как правило, это специалист более высокой квалификации, а это в свою очередь дополнительные финансовые затраты.
Предлагаемое решение
Предлагаемое решение обеспечивает связку с основными системами управления данными предприятия, взаимодействует с PLM, PDM, ERP системами, рисунок 1. Это необходимо для получения технологических карт для выполняемых специальных технологических процессов, а также реализации системы отчетности о параметрах проведенных операций.
Разрабатываемое решение представляет собой клиент-серверное приложение с возможностью запуска на очках дополненной реальности. Клиент реализуется с помощью платформой разработки 3D-приложений в реальном времени Unity3D. Серверная часть реализуется с помощью php, MySQL, Mongo. Подобный подход обеспечивает конкурентное преимущество в виде возможности сбора, хранения и анализа последовательности действий при выполнении специальных технологических процессов для генерации рекомендательной системы для повышения эффективности отслеживания качества выполнения специальных технологических процессов. Также предполагается формирование отчетности о выполняемой работе в виде статистических временных данных, а также приложенных видео-, аудио- и фотоматериалов о выполненной работе.
Рис. 1. Структурная схема связки приложения с системами предприятия
Использование дополненной реальности в данном решении позволяет:
- Фиксировать правильность выполнения каждой технологической операции (в том числе и специальной);
- Сообщать об ошибках и предоставлять инструкции в виде 3D-образов, аудиогида, фотоматериалов.
- Формировать отчет по выполненному технолгическому процессу с параметрами выполнения.
Прототип программного решения
В рамках участия в хакатоне «Цифровой прорыв» был разработан прототип, который позволяет идентифицировать которую необходимо провести операцию по QR-коду на рабочем месте и последовательно, пошагово отобразить инструкции по проведению определенной операции с отображением в виде 3D анимации и/или 2D информации и аудиогида, рисунок 2
Рис. 2. Экран приложения
Слева на экране приложения находится история, рисунок 3, которая формируется специально для связки с системами планирования ресурсов предприятия, что позволит производить различные аналитические операции, связанные с планированием времени и анализом правильности выполненных операций, а также с прогнозированием, сколько времени в будущем потребуется на сборку и на выполнение определенных операций.
Справа на экране приложения находится панель с 3D или 2D анимацией. В этом окне происходит визуализация эталонного выполнения текущей операции, рисунок 4. Над этой панелью находится инструкция по текущей выполняемой задаче, согласно технологической карте, получаемой из информационной системы организации.
В ходе выполнения каждого шага операции работника сопровождает аудиогид, который следует визуальной инструции, выводимой на очках дополненной реальности. В случае необходимости аудиогид можно отключить.
|
|
|
|
Рис. 3. Панель истории |
Рис. 4. Панель анимации |
Развитие проекта
Разработанный прототип функционирует на мобильных устройствах под управлением ОС Android. В ближайшее время предполагается: адаптация для функционирования на очках дополненной реальности, разработка серверной части для взаимодействия с информационными системами предприятия.
Программное решение может быть внедрено на промышленных предприятиях в качестве интерактивного помощника, сопровождающего выполнения как специальных, так и обычных технологических операций, а также в качестве обучающего программного обеспечения для подготовки специалистов, которые планируются на выполнение сборочных процессов.
Исследования и разработка выполняются в рамках грантовой поддержки от Фонда содействия инновациями по программе «УМНИК — Цифровой Прорыв 2.0», договор (соглашение) № 379гуцэс8-d3/56445 .
Литература:
- The Essential Eight technologies:PwC [Электронный ресурс]. — Режим доступа: https://www.pwc.com/gx/en/issues/technology/essential-eight-technologies.html — (Дата обращения: 10.03.2020)
- Распоряжение Правительства РФ № 1632-р от 28 июля 2017 г. «Об утверждении программы «Цифровая экономика Российской Федерации» [Электронный ресурс]. — Режим доступа: http://static.government.ru/media/files/9gFM4FHj4PsB79I5v7yLVuPgu4bvR7M0.pdf — (Дата обращения: 10.03.2020)
