В статье описывается использование свёрточных нейронных сетей в области машиностроения для распознавания дефектов на поверхности сварных соединений, а также приводятся примеры их применения. Показаны результаты распознавания ряда сварочных дефектов с помощью нейросетей, внедренных в веб-приложение «Сварочное производство» ИТ-инфраструктуры машиностроительного завода.
Ключевые слова: свёрточные нейронные сети, машиностроение, распознавание дефектов, сварные соединения, веб-приложение.
The article describes the use of convolutional neural networks in the field of mechanical engineering for detecting defects on the surface of welded joints, and provides examples of their application. The results of recognizing a series of welding defects with the help of neural networks are demonstrated, integrated into the web application «Welding production» of the IT infrastructure of a mechanical engineering plant.
Keywords: convolutional neural networks, mechanical engineering, defect recognition, welded joints, web application.
В машиностроении существует острая необходимость в повышении качества и надежности выпускаемой продукции, а традиционные методы визуального контроля, выполняемые человеком, имеют ряд существенных ограничений, которые препятствуют достижению требуемого уровня качества.
Такой подход сталкивается с серьезными проблемами, такими как субъективность и зависимость от человеческого фактора, трудоемкость и низкая производительность, а также высокая вероятность ошибок. Эти факторы могут значительно снижать эффективность производственных процессов, приводить к несоответствию стандартам качества и увеличивать затраты на исправление ошибок [1, c.14].
Применение свёрточных нейронных сетей (СНС) в машиностроении позволяет преодолеть эти ограничения и значительно повысить качество и надежность продукции, СНС демонстрируют высокую эффективность в задачах распознавания объектов на изображениях, в том числе обнаружения дефектов на поверхности сварных соединений, см. табл.1 [6, c.4].
Таблица 1
Примеры применения СНС в машиностроении:
|
Область применения |
Описание |
|
Контроль качества сварных соединений |
Автоматизированное обнаружение дефектов на поверхности сварных швов с высокой точностью |
|
Диагностика технического состояния оборудования |
Выявление признаков износа, повреждений или неисправностей на основе анализа изображений |
|
Мониторинг производственных процессов |
Отслеживание положения, перемещения и состояния объектов в режиме реального времени |
|
Управление роботизированными системами |
Распознавание объектов, определение их местоположения и ориентации для навигации и манипуляций |
Методы визуального контроля сварных швов, выполняемые человеком, сопряжены с некоторыми ограничениями, перечисленными выше, а применение СНС автоматизирует процесс обнаружения дефектов, повышает точность и скорость их выявления. В современном мире разработанные нейросетевые модели способны достигать точности распознавания дефектов до 95 % [4, c. 9].
В исследовании Клехо Д. Ю., Карелиной Е. Б. и Батырева Ю. П. демонстрируется эффективность обучения нейронной сети на наборе данных, содержащем изображения сварных швов с различными дефектами, с точностью 94,7 %. Этот пример подчеркивает способность нейронных сетей к обнаружению и классификации дефектов в реальных условиях производства [3, c. 16].
Работа Смородинова А. Д. и Тарасовой Т. В. демонстрирует возможность обучения нейронных сетей на графиках функций, в качестве обучающего набора данных. СНС были применены для анализа зависимостей в наборах данных из международной базы MNIST. Авторы делают вывод о принципиальной возможности применения данного подхода для визуального корреляционного анализа данных и идентификации [7, c. 13].
Данные исследования дают понять, что нейронные сети могут быть обучены на различных типах данных, включаемых в датасет, и применены для ряда задач, включающих визуальный анализ данных и идентификацию типов зависимостей, например, типа зависимости по графическому образу представления информации.
Процесс реализации применения СНС на машиностроительном заводе
Для эффективного внедрения сверточных нейронных сетей (СНС) в производственные процессы машиностроительного предприятия было принято решение разработать специализированное веб — приложение «Сварочное производство», которое позволит обеспечить удобный доступ к нейросетевым моделям и интегрировать их в существующие производственные системы.
Развертывание системы на сервере организации дает ряд преимуществ [2, c.23]:
– централизованное управление, все необходимые нейросетевые модели и алгоритмы обработки данных будут находиться на защищенном корпоративном сервере, что упрощает их обслуживание и обновление;
– масштабируемость, по мере роста объемов производства и потребности в анализе изображений, вычислительные мощности сервера могут быть легко расширены для обработки возрастающего потока данных;
– безопасность, размещение критичной информации на внутреннем сервере организации позволяет обеспечить ее конфиденциальность и защиту от несанкционированного доступа.
При выборе нейросетевой модели, рассматривались такие параметры:
– возможность дообучения модели на своем датасете;
– точность определения;
– потребность в памяти;
– размер модели;
– скорость обработки.
В результате оценки распространенных моделей, представленных в таблице 2, по описанным критериям, была выбрана нейросеть YOLO версии 8.
Таблица 2
Модели СНС
|
Название модели |
Возможность дообучения модели на своем датасете |
Точность определения, % |
Потребность в памяти |
Размер модели, мб |
Скорость обработки изображения, сек |
|
YOLOv8 |
Да |
68–70 |
Низкая |
250 |
45 кадров |
|
SSD |
Да |
68–73 |
Средняя |
350 |
25 кадров |
|
Faster R–CNN |
Да |
70–75 |
Средняя |
550 |
7–10 кадров |
Изображения размечаются путем аннотирования ключевыми точками — метод разметки данных, при котором объекты на изображении выделяются с помощью точек, указывающих на ключевые точки или особенности объекта, что увеличивает точность системы [8].
Датасет представляет собой набор из 1000 снимков сварочных образцов размерами 150х200 мм, полученных в процессе аттестации сварщиков. Каждое изображение в датасете имеет разметку, указывающая на типы дефектов, присутствующих на сварочном образце. Разметка может включать в себя информацию о расположении, форме и размере дефектов, и различается цветовой гаммой. Каждый цвет определен к конкретному дефекту.
Нами рассматривалась только часть из них, а именно:
– прожог;
– вогнутость валика сварного шва;
– непровар;
– неравномерная ширина сварного шва;
– подрез сварного шва.
Данные объекты являются дефектами сварного соединения, которые образуются в следствии нарушения технологии сварки [9].
В результате разметки объектов, получалось изображение с отметками, повторяющими контур описанных дефектов, как показано на рисунке 1.
Рис. 1. Размеченные дефекты на изображении сварного соединения
Для улучшения результатов разметки варьировались некоторые параметры нейронной сети такие как:
– размер батча . Влияет на скорость обучения и качество модели. Отвечает за количество образцов данных, которые используются для обновления весов модели в каждой итерации обучения. Оптимальный диапазон от 32 до 256;
– скорость обучения. Влияет на время обучения. При слишком маленькой скорости, модель нейросети может застрять в локальных минимумах. Оптимальный диапазон от 0,001 до 0,0005;
– количество эпох. При низких значениях модель может получится необученной, при слишком высоких значениях — переобученной. Оптимальный диапазон от 100 до 200 эпох.
Изменяя данные параметры по отдельности, получали результат увеличения точности обучаемости на 0,02–0,07. Например, при увеличении размера батча с 32 до 64, точность менялась с 0,83 до 0,84.
При комбинированном изменении данных параметров, в результате получали разные значения точности обучения. Результаты представлены в таблице 3
Таблица 3
Зависимость точности обучения от параметров нейронной сети
|
Точность обучения, % |
Batch size |
Количество эпох |
Скорость обучения |
|
86 |
32 |
100 |
0,001 |
|
88 |
64 |
200 |
0,0005 |
|
94 |
100 |
180 |
0,0001 |
Так же была разработана проектная схема взаимодействия предполагаемых пользователей с веб-приложением «Сварочное производство», частью которого является внедренная сверточная нейронная сеть (Рисунок 2).
Рис. 2. Проектная схема веб-приложения «Сварочное производство»
В рамках работы приложения существуют следующие ролевые модели:
– Пользователь 1 — сотрудник машиностроительного завода, с доступом к базе данных: использует веб — приложение для создания базы данных сварщиков с актуальной информацией об их аттестации, сроке аттестации и личных данных. Выпускает распоряжения на проведение экзаменов сварщиков с истекающим сроком аттестации. Заполняет свидетельство о продлении аттестации у сварщиков.
– Пользователь 2 сотрудник, ответственный за подготовку сварщиков и проведения аттестации. Загружает изображения сварных соединений для оценки поверхности сварных швов на наличие дефектов. Обращается к обученной нейросети через интерфейс веб — приложения. На основании полученных результатов от нейросети, принимает решение с последующим допуском сварщиков на получения свидетельства об успешной аттестации.
– Сервер с данными — хранит всю информацию, записываемую через веб-приложение. Предоставляет доступ пользователю 2 к нейросети.
– Веб — приложение — отправляет запросы к нейросети, отправляет запросы к базе данных аттестованных сварщиков, отображает данные, заполненные пользователями, предоставляет доступ к шаблонам документов по аттестации сварщиков.
Заключение (выводы)
Изучение применения свёрточных нейронных сетей в машиностроительном производстве указывает о их способности к обучаемости по различным видам датасета, дает представление о возможностях и актуальности применения.
Разработанная проектная схема веб–приложения «Сварочное производство» позволяет оценить вклад в развитие машиностроительного производства с целью повышения качества и надежности выпускаемой продукции, а также позволит сотрудникам сократить время проведения аттестации на 80 %.
Литература:
- Денисенко А. А. Решение задачи бинарной классификации при помощи сверточных нейронных сетей с использованием фреймворка Tensorflow // Технические науки: проблемы и решения: сборник статей по материалам XX международной научно–практической конференции. СПб.: Свое издательство, 2019. С. 1–4.
- Карелина Е. Б., Клехо Д. Ю., Батырев Ю. П. Разработка интеллектуальной системы управления технологическим процессом бестарного хранения муки // Лесной Вестник. Forestry Bulletin, 2020. Т. 24. № 1. С. 124–130.
- Клехо Д. Ю., Карелина Е. Б., Батырев Ю. П. Использование технологии сверточных нейронных сетей в сегментации объектов изображения // Лесной вестник / Forestry Bulletin, 2021. Т. 25. № 1. С. 140–145. DOI: 10.18698/2542–1468–2021–1–140–145
- Ле Мань Х. Сверточная нейронная сеть для решения задачи классификации // Труды МФТИ, 2016. Т. 8. № 3. С. 91–97.
- Рысьмятова А. А. Использование сверточных нейронных сетей. М.: МГУ, 2016. 34 с.
- Сикорский О. С. О влиянии цветового пространства изображения на обучение сверточной нейронной сети в задаче классификации изображений // Новые информационные технологии в автоматизированных системах, 2018. № 21. С. 340–343.
- Смородинов А. Д. Исследование применимости сверточных нейронных сетей для задачи идентификации типа зависимости в наборах данных [Электронный ресурс] // Научно–исследовательский сетевой журнал «Инновационные системы и технологии». — 2024. — 2 апр. — URL: https://ru.jcyb.ru/nisii_tech/article/view/232 (дата обращения: 27.05.2024).
- Жданов А. Д., Жданов Д. Д., Хилик Е. Д. Автоматическое создание и разметка RGB–D изображений для обучения систем машинного зрения //Графикон–конференции по компьютерной графике и зрению. — 2023. — Т. 33. — С. 25–32.
- ГОСТ 30242–97 «Дефекты соединений при сварке металлов плавлением. Классификация, обозначение и определения»
