Системный подход к выбору моделей для предсказания разрушения деталей на основе статистических данных

В статье описана методика работы с результатами испытаний деталей. С помощью методов машинного обучения удалось научиться предсказывать максимальное значение силы на растяжение, которую выдерживает деталь перед полным разрушением. Лучшую модель из исследуемых удалось выбрать с помощью инструментов системного инжиниринга. Предлагаемая методика работы с экспериментальными данными в дальнейшем может являться основой для моделей надёжности авиационных систем.

Ключевые слова: метод анализа иерархий, метод Гермейера, обработка данных, моделирование, машинное обучение, метрики, прочностные испытания, надёжность авиационных систем.

Введение

Использование компьютерного моделирования в авиастроении помогает добиться повышения качества изделий, снизить стоимость и сроки проектирования. Системный подход к безбумажному проектированию предполагает, что проектные решения проверяются моделированием на каждом этапе разработки [1]. Для сокращения стоимости и сроков проектирования нужно выбирать самые оптимальные решения ещё на ранних этапах. Компьютерное моделирование может облегчить поиск таких решений.

Системный инжиниринг — это междисциплинарный подход к разработке сложных технических систем, который позволяет учитывать взаимосвязи и рассматривать систему как единое целое. Инструменты системного инжиниринга позволяют проводить сравнение показателей, сложно сравнимых между собой напрямую, выбирать самые оптимальные решения по совокупности факторов. Одними из удобных инструментов системного инжиниринга являются метод анализа иерархий (МАИ) и метод Гермейера. Они позволяют проводить многокритериальную оценку альтернатив с учётом значимости каждого сравниваемого критерия.

При проектировании авиационной техники критически важно обеспечить заданные показатели надёжности систем. Это можно сделать за счёт повышения коэффициентов запаса и введения избыточности. Моделирование показателей надёжности сложных технических систем является нетривиальной задачей по причине большого количества разнородных факторов, которые необходимо учитывать. Для разработки моделей надёжности систем на основе экспериментальных данных об испытаниях отдельных компонентов предлагается использовать машинное обучение.

Постановка задачи

В данной работе предлагаемый подход опробован на примере записей, полученных при экспериментальном разрушении деталей на испытательной машине. С помощью методов машинного обучения можно предсказать максимальное значение силы на растяжение, которую выдерживает деталь перед полным разрушением. С точки зрения машинного обучения рассматриваемая задача является задачей регрессии — необходимо рассчитать значение одной непрерывной количественной переменной (максимальной силы) по известным характеристикам геометрии детали. С помощью методов системного инжиниринга необходимо выбрать оптимальный вариант обучения.

Таблица 1

Требования, функции, элементы решения

Рассматриваемые детали представляют собой пластины из алюминиево-магниевого сплава толщиной 1.9 мм с различными конфигурациями отверстий. Всего для эксперимента выбрано 40 деталей. Экспериментальное разрушение деталей выполнено на универсальной испытательной машине «TIME WDW-300E». В ходе испытаний программно установлена скорость нагружения 5 мм/мин. Основные характеристики испытательной машины:

— наибольшая предельная нагрузка: 300 кН;

— пределы погрешности силоизмерителя: ±1 %;

— диапазон скоростей нагружения: от 0.005 до 500 мм/мин;

— масса: не более 2000 кг.

Этапы работы с экспериментальными данными представлены на рис. 1. Сбор данных, выбор признаков для модели машинного обучения и выбор самой модели относятся к исследовательским этапам. После этих этапов необходимо совершенствование модели машинного обучения таким образом, чтобы достичь заданного качества предсказания. Это может происходить в несколько итераций.

Рис. 1. Этапы работы с экспериментальными данными

Для работы с экспериментальными данными создана консольная программа «Structural Failure Predictor» на языке Python 3. Программа осуществляет подготовку экспериментальных данных для работы с моделями машинного обучения, поиск лучшей модели и тестирование обученной модели. Программа загружает свои настройки из конфигурационного файла. Далее программа выполняет чтение единого файла с описанием всех испытаний и отдельных файлов для каждого испытания. Имеющиеся данные программа преобразует с учётом смещений нулей при измерении силы нагружения и деформации детали, рассчитывает дополнительные признаки. Программа выводит в отдельных окнах графики, позволяющие оценить подготовленные для обучения данные. Далее программа осуществляет поиск лучшей модели с помощью инструмента автоматизированного подбора гиперпараметров, а затем — тестирование лучшей модели с выводом результатов в консоль.

— сила нагружения, кН;

— деформация детали по экстензометру, мм;

— перемещение траверсы машины, мм;

— время с момента начала нагружения, сек.

Записи разрушения деталей в координатах «сила растяжения — деформация», преобразованные программой «Structural Failure Predictor» с учётом смещений нулей, представлены на рис. 2.

Рис. 2. Записи разрушения деталей

Экспериментальная зависимость максимальной силы нагружения детали от геометрии представлена на рис. 3. Диаграмма рассеяния показывает: чем меньше количество отверстий и диаметр каждого отверстия, тем больше максимальная сила нагружения.

Рис. 3. Зависимость максимальной силы от геометрии детали

Для выбора подходящих для модели машинного обучения признаков можно воспользоваться матрицей корреляции. Матрица корреляции показывает взаимосвязи входных признаков между собой и с целевым признаком. Одним из перспективных алгоритмов расчёта коэффициентов корреляции является алгоритм «Phi_K» [2]. Матрица корреляции «Phi_K», сгенерированная программой «Structural Failure Predictor», представлена на рис. 4. При рассмотрении матрицы корреляции видно, что геометрические характеристики детали значительно влияют на максимальную силу нагружения.

Рис. 4. Матрица корреляции «Phi_K»

Программа «Structural Failure Predictor» делит имеющиеся данные на обучающую и тестовую выборку в заданном соотношении (3:1) и выполняет поиск лучшей модели, используя только обучающую выборку. При поиске лучшей модели программа записывает метрики оценки каждой модели — табл. 2. В таблице средние значения и среднеквадратичные отклонения (СКО) метрик оценки посчитаны по результатам кросс-валидации каждой модели. Средние и медианные абсолютные ошибки показывают отклонения предсказанных значений целевого признака от истинных значений. Коэффициент детерминации — это доля дисперсии целевого признака, объясняемая рассматриваемой моделью. Чем ближе коэффициент детерминации к единице, тем выше обобщающая способность модели.

Таблица 2

Метрики оценки моделей

Оценка и сравнение альтернатив

Программа «Structural Failure Predictor» при работе алгоритма поиска лучшей модели рассчитала и вывела 10 метрик оценки. Большое количество разных метрик трудно для прямого человеческого восприятия. Далее проведена численная оценка важности каждой метрики с помощью метода анализа иерархий. Метод предполагает попарное сравнение важности всех метрик с помощью оценок по шкале от «подавляюще превосходит» до «подавляюще уступает». Результаты попарного сравнения записываются в матрицу, затем рассчитывают итоговый вес каждой метрики оценки — табл. 3. Чем больше значение веса метрики, тем более значимый вклад она вносит в выбор лучшей модели.

Расчёт важности метрик оценки по МАИ

Далее проведена оценка моделей по методу Гермейера. Для использования этого метода необходимо преобразовать значения метрик оценки таким образом, чтобы более высокое значение соответствовало лучшему качеству модели. В исходном виде это справедливо лишь для среднего коэффициента детерминации, поэтому остальные метрики преобразованы по следующему закону (1):

;(1)

где — преобразованное значение метрики;

— исходное значение метрики.

Формула для оценки оптимальности каждой альтернативы по методу Гермейера (в долях от лучшего значения метрики) имеет вид (2):

где — оценка оптимальности альтернативы;

— весовой коэффициент;

— лучшее значение метрики;

— текущее значение метрики.

Результаты расчёта оптимальности альтернатив по методу Гермейера для каждой модели машинного обучения представлены в табл. 4.

Таблица 4

Интерпретировать оценки оптимальности альтернатив по методу Гермейера можно следующим образом: чем меньше значение оценки, тем лучше альтернатива. Если значение оценки какой-то метрики равно нулю, то альтернатива является лидером по этой метрике. Интегральный критерий Гермейера можно вычислить как сумму оценок оптимальности метрик альтернативы.

Наименьшее значение интегрального критерия Гермейера показывает лучшую модель — это DecisionTreeRegressor [4]. Оценки метрик позволяют определить, что у этой модели средние и медианные ошибки предсказаний являются минимальными среди всех моделей. Также минимально среднее время обучения. При этом среднеквадратичные отклонения небольшие. Высокое значение коэффициента детерминации при кросс-валидации говорит о хорошей обобщающей способности модели.

Другой хорошей моделью является LinearRegression [4]. Значения оценок этой модели немного хуже по метрикам средних ошибок и по коэффициенту детерминации, однако у этой модели низкие среднеквадратичные отклонения ошибок.

Тестирование лучшей модели выполнено на тех данных, которые не были задействованы при обучении. При тестировании средняя абсолютная ошибка (Mean Absolute Error) максимального значения силы составила 0.711 кН. Сравнение полученного значения средней абсолютной ошибки с исходными данными (рис. 2) показывает, что результат удовлетворительный. Другой важной метрикой, рассчитанной при тестировании модели, является коэффициент детерминации. Значение коэффициента детерминации — 0.7925, следовательно, в 79.25 % случаев предсказание модели ближе к истине, чем простое среднее значение целевого признака.

Заключение

Таким образом, предлагаемый в работе подход опробован экспериментально. С помощью методов машинного обучения удалось научиться предсказывать максимальное значение силы на растяжение, которую выдерживает деталь перед полным разрушением. Лучшую модель из исследуемых удалось выбрать с помощью инструментов системного инжиниринга. Опробована методика работы с экспериментальными данными, которая в дальнейшем может являться основой для более сложных моделей надёжности авиационных систем.

Литература:

1. Суздалева, Е. А. САПР в авиастроении и проблемы, возникающие при переходе на безбумажное проектирование / Е. А. Суздалева, А. О. Марченков // Вестник науки и образования. — 2019. — № 21 (75).
2. Документация к библиотеке «Phi_K» [Электронный ресурс]. — 2024. — Режим доступа: https://phik.readthedocs.io/en/latest/, свободный (дата обращения 13.10.2024).
3. А. А. Бородкин Системный инжиниринг для поиска технических решений. Сборник лекций, 6-е изд. / А. А. Бородкин, Г. А. Ефименко. — М.: МФТИ, 2019. — 142 с.
4. Документация к библиотеке «Scikit-learn» [Электронный ресурс]. — 2024. — Режим доступа: https://scikit-learn.org/stable/, свободный (дата обращения 13.10.2024).
5. Бринк Х. Машинное обучение / Х. Бринк, Д. Ричардс, М. Феверолф. — СПб.: Питер, 2017. — 336 с.