Обработка и сегментация тепловизионных изображений



В статье рассматривается проблема сегментации тепловизионных изображений (в инфракрасном диапазоне). Представленный метод использует систему рангов изображения для выделения и построения границ областей, а также определения особых точек интереса. Важной характеристикой метода является его способность сохранить детали в условиях высокой изменчивости областей изображения, игнорируя при этом детали в низкой изменчивости регионов. Разработанный метод сегментации может быть применим, также, к сильно зашумленным изображениям.

Ключевые слова: инфракрасные изображения, лапласиан, отклик, свёртка, бинаризация, сегментация, контур изображения, метод жука, порог

Любые физические объекты (тела) с температурой, отличной от абсолютного нуля, излучают, поглощают, отражают и пропускают инфракрасное (далее — ИК) излучение, предоставляя возможность извлекать информацию об исследуемом объекте. ИК излучение отличается от видимого и превосходит последнего тем, что оно имеет возможность проходить сквозь атмосферную дымку, замутненную среду, туманы и полную темноту, позволяя видеть объекты, удаленные на расстояние в десятки и сотни километров, создавать видеосъемку с самолета, со спутника и прочих системах, расположенных на расстоянии от удаленного целевого объекта [1, 2]. Для визуализации объектов, полученных с помощью ИК излучений, необходимо выполнить предварительную обработку изображения. Под предобработкой понимается выполнение определённых операций над изображением, таких как применение фильтров улучшения, контрастирование, удаление шумов, применение различных масок, а для выделения объектов и их последующего анализа производится сегментация изображения.

Сегментацией изображения — это распределение множества пикселей изображения на объекты и области фона, которые отличаются друг от друга по каким-либо признакам, например, цвет, яркость, геометрические характеристики. На сегодняшний день сегментация является важной составляющей в области компьютерного зрения, позволяющая получать данные об объектах на изображениях, что даёт возможность решать задачи обнаружения, автосопровождения целей. Методы сегментации находят своё применение на медицинских, инфракрасных изображений, спутниковых снимках, в машинном зрении, в распознавании образов.

1. Постановка задачи

Задача состоит в разработке метода, отличного от существующих, который позволит выполнять сегментацию на инфракрасных изображениях. Для достижения такой цели важно, чтобы метод обладал следующими свойствами:

1. Высокая эффективность: работа в реальном времени на видеопоследовательностях;
2. Выделять особо важные видимые области с возможностью их оценки характеристик;
3. Исключать вероятности ошибок.

За последние несколько лет наблюдается прогресс в разработках методов сегментации изображений (например, в [3, 4]), но не все из них удовлетворяют заданным требованиям, например, высокоскоростные алгоритмы не всегда позволяют выделить особо важные нелокальные свойства образа. Представленный метод сегментации выделяет определенные важные области на изображении, формируя связные участки, что позволит в дальнейшем описать характеристики объектов. Эффективность работы составляет раз для n пикселей изображения с низким коэффициентом.

Однако, в отличие от классических методов [5, 6], предложенный алгоритм, адаптивно подстраивается под критерии поиска объектов, исходя из степени изменчивости соседних областей изображения, основываясь на вычислениях оператора свертки над изображениями и выполнении матричных операций, взвешенного суммирования с накоплением, для которых требуются векторные параллельные вычисления, так как последовательные вычисления не всегда смогут уложиться за заданное время выполнить все функции.

Рассмотрим пример изображения, иллюстрирующий некоторые нелокальные характеристики изображения, представленный на рис. 1.

Рис. 1. Исходное изображение

Посмотрев на изображение слева отчётливо видно, что оно содержит единственную область — силуэт кошки. Из-за малого количества яркостей и однородности фона на таком изображении сегментация возможна любым доступным алгоритмом. В то время как на рисунке справа можно заметить очень большой разброс интенсивности яркостей на всём изображении. Каждая «светлая» часть будет восприниматься как область или объект, что может повлечь за собой непредвиденные ошибки в выделении границ и распознавании (слияние, объединение контуров, порождение новых областей). Важная особенность такого изображения — все области должны быть определены как независимые с использованием нелокального критерия принятия решений (т. е., в обработке в изображения должны участвовать все пиксели). Это объясняется тем, что разница между перепадами фона и области очень мала. Для того, чтобы сегментировать такое изображение, должен быть использован адаптивный подход.

Метод сегментации базируется на выделении контуров объектов, являющиеся наиболее информативными его составляющими. Под контуром понимается совокупность связных точек, имеющая замкнутую структуру, вдоль которых происходит резкое изменение яркости или ее производных по пространственным координатам. Также контур может быть внутренний или внешний.

Точки контура, в сравнении с остальными пикселями изображения, более устойчивы, полученные в разное время, разных ракурсах, условиях погоды и смены температуры. За счет того, что контурные точки составляют незначительную часть всех точек на изображениях, работа с ними позволяет, повысить быстродействие цифровых систем обработки изображений и снизить энергопотребление. Контуры позволяют создавать простые аналитические описания изображений объектов, инвариантных к переносу, повороту и масштабированию.

Существует большое количество методов сегментации на основе выделения контуров: градиентный метод, контрастностный, метод вторых производных, Превитта-Кирша, Марра-Хилдерта, фрактальный и др. Наиболее общим способом нахождения контуров является обработка изображения с помощью скользящей маски (серии масок) с общим числом коэффициентов более четырех, вычислении характерной величины (первой, второй производной, контрастности и т. д.), которая может принимать широкий спектр значений, и сравнения ее с порогом. Каждый подход имеет свои положительные и отрицательные стороны, например, градиентный метод, использует первую производную яркости изображения, реализуемая оператором Робертса, Собела, Превитта. В сравнении с методом второй производной данный метод защищен от воздействий шума, обеспечивает минимальные искажения вершин и выступов, но неоднородное освещение и прочие искажения, нарушающие непрерывность яркостной картины, могут приводить к разрывам контуров, поэтому градиентные методы необходимо дополнять процедурами связывания, что усложняет алгоритм сегментации.

Метод вторых производных [7, 8] применяется для обнаружения границ в пересечении нуля и реализуется с помощью оператора Лапласа (лапласиана). Оператор Лапласа излишне чувствителен к шуму и приводит к удвоению контуров, что дает нежелательный эффект и усложняет сегментацию. Поэтому оператор Лапласа часто используется вместе со сглаживающей гауссовой функцией (Лапласианом гауссиана), что позволяет увеличить четкость выделения краев и снизить влияние шума.

Метод активных контуров используется для обнаружения границ на изображении кривых минимальной энергии [9]. На границе объекта достигается минимум функционала энергии внутренних и внешних сил, действующих на кривую. Недостатком является необходимость подбора весовых коэффициентов функционала и задания начального приближения контура в достаточно малой окрестности границы выделяемого объекта. Благодаря тому, что метод использует локальные характеристики изображения, полученные контуры точно соответствуют границам объекта и являются связными.

Множество методов и алгоритмов с успехом применяются в различных прикладных областях. Однако, обеспечение точного выделения контуров объектов на тепловизионных изображениях в силу многомерности сигналов и многообразия сцен, которые могут существенно отличаться по своим характеристикам, требует увеличения размерности фильтра для обработки изображений, точного расчета порога и дополнительных преобразований, что приводит к большим вычислительным затратам. Эта задача усложняется еще в большей степени, если стоит задача, связанная с сопровождением цели в инфракрасном диапазоне. Таким образом, выделения контуров объектов интереса с высокой точностью на тепловизионных, а также сильно зашумленных изображениях, с небольшими вычислительными затратами является актуальной задачей.

2. Идея и реализация

Представленный алгоритм сегментации использует метод второй производной (оператор Лапласа). В тестовый стенд входит, модуль цифровой обработки изображения, позволяющий принимать изображение (последовательный поток бит данных) с тепловизионного устройства — цветное или чёрно-белое, сегментировать его, результат — выходное изображение и (или) телеметрию выводить на дисплей. Под телеметрией понимается информационный набор свойств объекта, такие как размеры, максимальная яркость объекта, особо важные точки обнаружения, принадлежащие области, количество граничных точек и т. п.

В основу разработки алгоритмов встаёт вопрос о его качестве и скорости выполнения с высокой точностью и небольшими вычислительными затратами. Исходя из этих требований алгоритм построен по следующей логике:

– тепловизионное (цветное) изображение приводится к чёрно-белому формату (ранг 0). В градациях серого значения пикселей черно-белого изображения лежат в диапазоне от 0 до 255 (0 — чёрный, 255 — белый);

– для сокращения времени вычислений и отсечения посторонних шумов на изображении значения пикселей приводим в диапазон 0 до 127 логическим сдвигом вправо на один разряд;

– приведение изображения к рангу 1 — уменьшение изображения по длине и ширине в два раза;

– применение к изображению оператора свёртки или оператора Лапласа;

– вычисление порога;

– бинаризация и выделение границ объектов.

Рассмотрим входное ИК изображение ранг 0 (рис. 2), полученное с тепловизионного устройства. Размеры его составляют 640×480 (307200) видимых пикселей. Приведение к рангу 1 даст изображение с размерами 320×240 (76800) видимых пикселей.

Рис. 2. Исходное ИК изображение (ранг 0)

Цветное изображение приводится градациям серого любым из известных методов:

1) классическим, по стандарту CCIR-601:

(1)

2) среднеарифметическим значением цветовых составляющих трёх каналов:

(2)

3) Быстрым: выполнять алгоритм с пикселями зеленого цвета:

(3)

где R(red), G(green), B(blue) — составляющие цифрового цветного изображения.

Рационально далее рассматривать изображение как прямоугольную матрицу размерностью n × m элементов, значения которых лежат в диапазоне от 0 до 127. Старший разряд — знаковый, равен нулю, все значения матрицы положительные. Для решения задач предварительной обработки изображений применяются матричные фильтры, выполняющая операцию свёртки, которая позволяет получить значения отклика, учитывая значения окружающих его пикселей, в пределах размерности ядра. Данную матрицу-фильтр еще называют ядром свертки — обычно это квадратная матрица размерностью n × n элементов, где n — нечетное. Как было отмечено ранее, различные матричные фильтры, применяются для выполнения сглаживания, удаления шумов на изображениях, повышения чёткости, выделения границ. Большинство из них имеют размерность 3 × 3 элементов. Для сильно зашумленных изображений (в т. ч. тепловизионных) возникает необходимость использовать маски относительно большого размера.

Предлагается ввести дискретный диагональный лапласиан с фильтром размерностью 11 × 11 элементов, сумма элементов матрицы равна нулю:

Центральный элемент устанавливается на исследуемый (текущий) пиксель. Остальные элементы также накладываются на соседние пиксели. Далее высчитывается сумма, где слагаемыми являются произведения значений пикселей на значения ячейки ядра, накрывшего данный пиксель:

,(4)

где — матрица ранга ; — операция логического сдвига вправо на два разряда.

Логический сдвиг вправо на два бита (деление на четыре) результата свёртки производится для того, чтобы привести его в диапазон от (минус 32768 до плюс 32767), что вдвое уменьшает объём необходимой памяти и позволяет избавиться от реакции на шумы в изображении. Чем больше размерность ядра свёртки, тем более точную реакцию можно ожидать от текущего пикселя, так как множество соседних пикселей также участвуют в операции свёртки, что приводит к большему числу вычислений.

Обработка изображения данным фильтром 11×11 предполагает большое число операций умножения, а в данной матрице присутствуют и двузначные числа, что приведёт к увеличению времени на вычисление значения одного отклика. В результате, для уменьшения вычислительных затрат, приблизительно в три раза, вместо оператора 11×11 следует использовать оператор с размером ядра 7×7 элементов и затем двукратно оператором с ядром 3×3 элементов, что даст равносильный результат при обработке одним оператором 11×11.

,.

Пример матрицы ранга 1 и результат свертки показан на рис. 3а и рис. 3б.

Рис. 3. Операция свёртки: а) матрица ранг 1; б) матрица-результат свёртки

Распознавание образов на не зашумлённых изображениях даёт хороший результат применение метода контурного анализа. Однако, и в условиях шума, плохой видимости или наличия посторонних предметов также возможно применить контурный метод с использование масок большей размерности, а также введения определения «особых точек» — экстремальных значений отклика на таких изображениях.

Для определения особых точек за основу взят алгоритм детектора Моравеца, сопоставляющий экстремумы на углах изображения [10], используя локальные детекторы. На вход детектора поступает чёрно-белое изображение (область). На выходе формируется матрица с элементами, значения которых определяют степень правдоподобности нахождения угла в соответствующих пикселях изображения [11]. Величина порога позволяет «отбросить» пиксели, степень правдоподобности которых, меньшей порога. Оставшиеся точки являются особыми или экстремумами. Детектор Моравеца является простым детектором углов, производя оценку изменения интенсивности пикселя (y, x) смещением квадратного окна с центром в текущем пикселе (y, x) на один пиксель в каждом из восьми направлений. Ниже на рис. 4 представлена таблица направлений детектора Моравеца.

Рис. 4. Таблица направлений детектора Моравеца

– Для каждого направления смещения

вычисляется изменение интенсивности:

(5)

где — интенсивность пикселя с координатами (y, x) в исходном изображении.

– Строится карта вероятности нахождения углов в каждом пикселе изображения посредством вычисления оценочной функции. По существу, определяется направление, которому соответствует наименьшее изменение интенсивности, т. к. угол должен иметь смежные ребра.

– Отсекаются пиксели, в которых значения оценочной функции ниже некоторого порогового значения.

– Удаляются повторяющиеся углы с помощью процедуры NMS (non-maximal suppression) [12].

– Ненулевые элементы соответствуют углам на изображении.

Применение детектора Моравеца позволит не высчитывать изменение интенсивности, а сразу производить анализ над сформированной матрицей откликов. По таблице направлений будут определяться максимальное и минимальное значение значения отклика, находящегося в центре окна:

(6)

для всех считаются экстремумами. Экстремумы могут находиться в максимально близости друг от друга через один элемент отклика, поэтому с целью уменьшения количества итераций при нахождении экстремума следующее, по направлению развертки, значение исключается из процедуры сравнения. На рис. 5 изображена случайная область матрицы-свёртки с выбранными экстремальными значениями разных знаков.

Рис. 5. Определение экстремальных значений отклика

Предлагается в отдельном структурированном массиве телеметрии запоминать значения экстремумом, их порядковый номер, координаты (y, x), значение яркости изображение по соответствующим координатам.

2.1. Бинаризация по откликам

Подходя к решению задачи сегментации, а именно определению связных групп элементов на изображении, необходимо выделить общий признак или пороговое значение, которое позволит разделить искомый сигнал на классы. Операция порогового разделения заключается в сопоставлении значения яркости каждого пикселя изображения с заданным значением порога, и может быть представлена фильтром:

(7)

где — пороговое значение,

Обратимся к определению бинарного изображению. Это цифровое изображение, пиксели которого принимают два значения — 0 и 1, а, соответственно, бинаризация — это срез значений пикселей исходного изображения по пороговому значению и составление новой бинарной матрицы.

На изображениях с однотонными объектами порог бинаризации выбирается из гистограммы яркостей изображения. Объектами или поисковыми областями на тепловизионных изображениях выступают, как правило, светлые (более «тёплые») участки. В зависимости от температуры, областями могут выступать и часть стены, лестничный проход и прочие геометрические фигуры определенного размера, попавшие, например, под теплый поток воздуха или имеющий по своей физической структуре выделяющие тепло элементы. Перепад яркостей может лежать во всём диапазоне [0,255]. Именно поэтому, встаёт необходимость избавляться от шумов, сокращая максимальное значение до 128. На представленном ниже рисунке (рис. 6), самый высокий пик гистограммы соответствует наиболее популярному яркостному значению, расценивающийся как потенциальный объект, а множество пиков соответствуют фоновым и неопределенным областям, которые могут восприниматься также, как отдельные объекты.

Рис. 6. Гистограмма распределения значений яркостей

В некоторых случаях для нахождения порога используется метод Оцу [13], который определяет порог, минимизирующий вариацию яркостей пикселов в объекте и фоне. Порог выбирается между наибольшими значениями пикселей пиков на гистограмме.

Применение метода Оцу к тепловизионным изображениям будет вызывать проблемы с наличием посторонних шумов, которые будут давать не всегда верный уровень порога, как было упомянуто ранее, из-за большого разброса яркостей, и выбор среднего значения гистограммы будет недостаточным критерием. Возникает вопрос о выборе порогового значения и некоторого коэффициента вариации V для таких изображений (отношение среднеквадратичного отклонения значений гистограммы к среднеарифметическому значению всех яркостей матрицы изображения).

Имея сформированную таблицу экстремумов G^E и матрицу изображения F¹ образованная в результате применения маски лапласиана, порог бинаризации можно найти по формуле (8):

где(8)

— i-й элемент из списка экстремумов.

Коэффициент вариации необходим для того, чтобы характеризовать однородность данных, значений и устойчивость процессов, отразить степень разброса значений независимо от масштаба измерений. Возможно и не использовать

Примем к сведению, что один пиксель на изображении, не привязанный к связной группе похожих пикселей исследуемого сегмента, оценивается системой как шум и не будет являться областью, из-за для возникла необходимость сокращения диапазона яркостей сдвигом на один разряд вправо. Благодаря этому маска лапласиана не будет реагировать на не столь значительные одиночные пиксели. Теоретически, входное изображение размерностью 320×240 пикселей позволяет содержать 8480 областей (минимальный размер области 2×2 пикселя с минимальным расстоянием между ними в один пиксель), за конечное число областей можно принять значение 0xFFFD (65533₁₀).

Бинаризация в матрице откликов осуществляется путём среза отклика по порогу и порождением двух матриц областей той же размерности для откликов с положительными (G^P) и отрицательными (G^N) значениями с условиями:

(9)

(10)

На рис. 7 изображен участок результата бинаризации матрицы откликов положительных элементов срезом по пороговому значению.

Рис. 7. Результат бинаризации

Массив положительных значений (G^P) содержит точки, принадлежащие искомым областям, а массив отрицательных (G^N) — фоновые и зашумленные области. Данный массив G^N возможно исключить из контурной обработки, если в задачах распознавания не требуется анализ областей фона.

2.2. Построение областей

Завершающим шагом алгоритма по сегментации является выделение связных совокупностей ненулевых элементов в матрицах G^P и G^N и описание контуров. Каждая такая совокупность будет являться областью, помечаться в текущей матрице своим порядковым номером в диапазоне Направление движения слева направо по строкам:

– нулевые элементы не учитываются;

– отмеченная ранее область из диапазона также пропускается.

– элементы со значением 0xFFFD обозначает себя как новая найденная область;

– вводятся признаки внутренней (0xFFFE) и внешней (0xFFFF) границ.

Блок-схема алгоритма построения областей представлена на рис. 8.

2.3. Модифицированный метод обхода контура

Контурная точка области — это любая точка, принадлежащая области, в окрестности которой имеются точки, не принадлежащей данной области.

Метод «обхода контуров» (метод «жука») относится к типам отслеживающих алгоритмов, выполняя на изображении поиск объекта — первая встретившаяся точка и контур объекта отслеживается и векторизуется. Является простым алгоритмом с последовательной реализацией, но имеющую сложность в обработке внутренних контуров — «дыр» в изображении [14]. Сущность его заключается в просмотре (сканировании) всего изображения и выделении контурных точек без отслеживания.

Рис. 8. Схема алгоритма построения областей

В случае бинарного изображения, «жук» начинает сканирование с белой точки с граничной точки участка изображения и движется по направлению к области черных элементов. Декартовы координаты точек перехода с черного на белое или с белого на черное дают местоположение границы. На рис. 9 приведён пример классического отслеживающего алгоритма.

Рис. 9. Классический алгоритм «жука»

К недостаткам алгоритма можно отнести отсутствие проверки на диагональные подряд идущие элементы, пропуская и обозначая признак внутреннего контура, а также возможность пропуска сквозных участков внутри объекта.

Модификация метода заключается в введении новой таблицы направлений, которая позволит избежать пропуск непроверенных значений бинаризации, а также присваивать области порядковый номер. Возле очередной контурной точки совершается круговой обход против часовой стрелки по соседним свободным ячейкам до встречи со следующей контурной точкой, и так далее до возврата в начальную точку контура [16]. В дополнении к этому нужно проверить противоположное направление входа в начальную точку на наличие контурной точки и присвоить ей соответствующий признак. Свободные ячейки получают признак внешнего или внутреннего контура. Записывая координаты и областей и сопоставляя их с исходным изображением можно определить габаритные координаты областей. Введем таблицу направлений и таблицу переходов.

Таблица 1

Направления

Таблица 2

Переходы

Напр. входа	0	1	2	3	4	5	6	7
Начало обхода	6	0	0	0	2	4	4	4

Данное улучшение позволяет пройти по всем пикселям, которые классический алгоритм жука мог пропустить и не оконтурить область нужным образом. На рис. 10 продемонстрированы шаги выполнения обхода случайной области модифицированной версией жука. Вход (стартовое значение) в область выделен чёрным цветом. Вернувшись в начальную точку, жук продолжает проверку на соседние окрестные точки и потом снова возвращается в начальную позицию.

Рис. 10. Модифицированный алгоритм «жука»

Приложения

Еще примеры выполнения алгоритма (рис. 11):

Рис 11. Примеры результатов выполнения алгоритма

В заключении хотелось бы отметить, что предложенный метод сегментации, не смотря на большое количество вычислений, позволяет повысить точность определения границ на сильно зашумлённых и тепловизионных изображениях с большим количеством перепадов яркостей. Полученные параметры по областям дают возможность определить её габариты, классифицировать объекты, а также при определении экстремальных точек метод сегментации может найти своё применение в создании эталонных моделей и распознавании образов на видеопоследовательностях. Из недостатков разработки можно отметить увеличение времени вычисления откликов за счёт высокой размерности ядра фильтра Лапласа.

В следующей статье хотелось бы рассмотреть подход к реализации метода на векторном процессоре, продемонстрировать возможности векторного ядра с функцией взвешенного суммирования для вычисления откликов скользящим окном свёртки и сравнить результаты вычислений с результатами на скалярном процессоре.

Литература:

1. Козелкин В. В., Усольцев И. Ф. Основы инфракрасной техники: Учебник для техникумов. — 3-е изд., перераб. и доп. — М.: Машиностроение, 1985. — 264 с.
2. Госсорг Ж. Инфракрасная термография. Основы, техника, применение. — М.: Мир, 1988. — 416 с.
3. J. Shi, J. Malik. Normalized Cuts and Image Segmentation // IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2000. — С. 888–905.
4. Y. Weiss. Segmentation using Eigenvectors: A Unifying View // Proceedings of the International Conference on Computer Vision, 2000. — С. 975–982.
5. R. Urquhart. Graph theoretical clustering based on limited neighborhood sets // Pattern Recognition, 1982. — С. 173–187.
6. C. T. Zahn. Graph-theoretic methods for detecting and describing gestalt clusters // Pattern Recognition, 1971. — С. 68–86.
7. Потапов А. А., Гуляев Ю. В., Никитов С. А. Новейшие методы обработки Видеокодирование. Н.264 и MPEG-4 — стандарты нового поколения:изображений. — М.: ФИЗМАТ ЛИТ, 2008. — 496 с.
8. Ричардсон Я. Видеокодирование. Н.264 и MPEG-4 — стандарты нового поколения. — М.: Техносфера, 2005. — 368 с.
9. Мурашов Д. М. Метод автоматизированной сегментации изображений цитологических препаратов на основе модели активного контура // ТРУДЫ МФТИ. — 2009. — № 1, том 1. — С. 80–89.
10. Papageorgiou C., Poggio T. A trainable system for object detection Computer Vision // International Journal of Computer Vision. — 2000. — № 38. — С. 15–33.
11. Детекторы и дескрипторы ключевых точек. Алгоритмы классификации изображений. Задача детектирования объектов на изображениях и методы её решения // ИНТУИТ национальный открытый университет. URL: http://www.intuit.ru/studies/courses/10621/1105/lecture/179831.
12. Leibe B., Leonardis A., Schiele B. Robust Object Detection with Interleaved Object Categoization and Segmentation // International Journal of Computer Vision. — 2007. — № 77. — С. 259–289.
13. Otsu N. A Threshold Selection Method from Gray-Level Histograms // IEEE Transactions on Systems, Man, and Cybernetics. — 1979. — № 9. — С. 62–66.
14. Андреев А. Ю., Бобков С. П. Сегментация символов в изображении модифицированным методом жука // Современные наукоемкие технологии. — 2014. — № 1(37). — С. 85–88.
15. Разработка автоматизированной системы поиска и обработки выделенных объектов на изображениях с помощью методов контурного анализа // Портал магистров ДонНТУ. URL: http://masters.donntu.org/2006/kita/vovk/diss/index.htm