Методы машинного обучения с использованием нейронных сетей широко используются в самых различных областях человеческой деятельности.Нейронные сети вошли в практику везде, где нужно решать задачи распознавания, прогнозирования, классификации или управления. В статье рассматриваются инновационные алгоритмы, позволяющие справиться со сложностью извлечения признаков и распознавания образов при видеоинспекции канализационных трубопроводов из-за условий освещения, вариаций освещения и неизвестных закономерностей различных дефектов канализации. Представлены различные технологии инспекции канализационных сетей: визуальные технологии, технологии структурного обследования, технологии, специфичные для идентификации конкретных дефектов, и гибридные технологии, которые представляют собой комбинацию нескольких инструментов.

Ключевые слова: инспекция канализационных трубопроводов, идентификация дефектов, R-CNN, морфологическая сегментация, аномальные кадры, сверточная нейронная сеть, компьютерное зрение, машинное обучение.

Основная цель исследования — разработка структуры системы автоматического обнаружения и классификации дефектов в видео инспекции канализационного видеонаблюдения с использованием методов компьютерного зрения и глубоких нейронных сетей. Рассматривается применение инновационных алгоритмов, позволяющих справиться со сложностью извлечения признаков и распознавания образов в видео инспекции канализации из-за условий освещения, вариаций освещения и неизвестных закономерностей различных дефектов канализации. Разрабатываются две основные подмодели: 1) выявление и локализация аномалий в видеороликах осмотра канализации; 2) обнаружение и классификация дефектов среди обнаруженных аномальных структур.

На первом этапе предлагается инновационный подход к выявлению рам с потенциальными аномалиями и их локализации на исследуемом участке трубы. Нормальные и аномальные кадры классифицируются с использованием одноклассовой опорной векторной машины (OC-SVM). Предлагаемый подход использует трехмерное масштабное инвариантное преобразование признаков (SIFT) для извлечения пространственно-временных характеристик и сбора динамической статистики сцены в канализационных видео системы видеонаблюдения. OC-SVM обучается с помощью функций кадра, которые считаются нормальными, а выбросы для этой модели считаются аномальными кадрами. На следующем этапе идентифицируются обнаруженные аномальные кадры путем распознавания в них текстовой информации с использованием подхода сквозного распознавания текста.

Предлагаемый подход к локализации выполняется в два этапа: сначала текстовые области обнаруживаются с использованием алгоритма максимально устойчивых экстремальных областей (MSER), затем текстовые символы распознаются с помощью сверточной нейронной сети (CNN). Работоспособность предложенной модели проверена с использованием видеороликов из реальных отчетов о проверке канализационных сетей, где точность обнаружения аномалий и локализации рамы составила 95 % и 86 % соответственно. Выявление аномальных кадров и исключение нормальных кадров из дальнейшего анализа может сократить время и стоимость обнаружения. Это также обеспечивает точность и качество оценки за счет уменьшения количества игнорируемых аномальных кадров, вызванных ошибкой оператора.

На втором этапе предлагается структура обнаружения дефектов для обеспечения идентификации и классификации дефектов среди идентифицированных аномальных кадров. Во-первых, глубокая сверточная нейронная сеть (CNN), которая предварительно обучена с использованием трансферного обучения, используется в качестве экстрактора признаков. На следующем этапе оставшиеся сверточные слои построенной модели обучаются с помощью предоставленного набора данных из различных типов дефектов канализации для обнаружения и классификации дефектов в аномальных фреймах. Разработанная модель может помочь инспекторам канализации в более быстром и точном обследовании трубопроводов. Вся структура сократит время оценки состояния и повысит точность отчетов об оценке сточных вод.

Литература:

1. Qiao, S., Chen, L.C. and Yuille, A., 2020. DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution. arXiv preprint arXiv:2006.02334.
2. Bochkovskiy, A., Wang, C.Y. and Liao, H. Y. M., 2020. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv preprint arXiv:2004.10934.
3. Tan, M., Pang, R. and Le, Q.V., 2020. Efficientdet: Scalable and efficient object detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10781–10790).
4. Everingham, M., Eslami, S.A., Van Gool, L., Williams, C.K., Winn, J. and Zisserman, A., 2015. The pascal visual object classes challenge: A retrospective. International journal of computer vision, 111(1), pp.98–136.
5. Zhao, Z.Q., Zheng, P., Xu, S.T. and Wu, X., 2019. Object detection with deep learning: A review. IEEE transactions on neural networks and learning systems, 30(11), pp.3212–3232.
6. Szeliski, R., 2010. Computer vision: algorithms and applications. Springer Science & Business Media.
7. Nixon, M. and Aguado, A., 2019. Feature extraction and image processing for computer vision. Academic press.
8. Jiang, X. ed., 2019. Deep Learning in Object Detection and Recognition. Springer.
9. Pardo, A. and Kittler, J. eds., 2015. Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications: 20th Iberoamerican Congress, CIARP 2015, Montevideo, Uruguay, November 9–12, 2015, Proceedings (Vol. 9423). Springer.