Разработка и исследование алгоритма коррекции ночных изображений бюджетных web-камер

1. Введение. При оценке состояния центральной нервной системы больного и дифференциальной диагностики между эпилептическими и неэпилептическими причинами заболевания, большое значение имеет метод непрерывного видеонаблюдения за поведением больного и синхронизированная запись ЭЭГ.

Для большинства больных эпилепсией обычная запись ЭЭГ в течение 20 минут является единственно необходимым тестом. Однако, этот период недостаточно продолжителен, чтобы можно было зарегистрировать эпилептическую активность, и маловероятно, что именно в это время произойдет клинически выраженный приступ или припадок, поэтому длительная регистрация ЭЭГ дает возможность выявить редко проявляющиеся патологические изменения биоэлектрической активности мозга. [1]

Вследствие чего желательно проведение видео-ЭЭГ-мониторинга состояния пациента во время дневного и ночного сна.

Видео-ЭЭГ-мониторинг состояния бодрствования и сна является совершенно безвредным методом исследования, не имеющим противопоказаний, и может проводиться в любом возраста, а том числе и детям раннего возраста, любое количество раз.

Для проведения видеомониторинга необходимы видеокамеры высокой чувствительности или ИК-подсветкой. Камеры с высокой чувствительностью являются дорогостоящими. Камеры с ИК-подсветкой имеют ряд недостатков — изображение лица человека формируется с измененной мимикой, а также возникают дополнительные помехи от стекла, стен, кафеля.

Поэтому актуальной является задача разработки системы дистанционного видеомониторинга с применением бюджетных web-камер с низкой чувствительностью. При этом выдвигается гипотеза, что разработчики бюджетных web-камер не использовали полностью возможности улучшения изображений для адаптации в ночных условиях.

Цель работы повышение качества формирования изображений бюджетными web-камерами в сложных условиях.

2. Разработка алгоритма коррекции ночных изображений бюджетных web-камер

Постановка задачи на исследование

1.      Экспериментальное определение характеристик web-камеры:

формирование тестовых полутоновых изображений с заданным интервалом (1 минута);

определение по тестовым полутоновым изображениям момента не восприятия камерой наблюдаемых объектов;

определение по тестовым полутоновым изображениям момента окончания изменения уровней яркости с увеличением освещенности;

отбор изображений в данном временном диапазоне, сформированных через равные промежутки времени;

проведение визуального анализа затемненных изображений.

2.      Построение гистограмм для отобранных изображений.

3.      Подбор аппроксимирующих функций для каждого уровня яркости тестового изображения.

4.      Разработка алгоритма восстановления изображения на основе дневного с использованием аппроксимирующих функций для каждого уровня яркости тестового изображения.

Рис. 1.Структурная схема экспериментальной установки

Описание установки: тестовое изображение передается на web-камеру (в нашем случае D-Link DSB c 320). С камеры оно поступает на ПК в базу хранения изображений. В дальнейшем из базы хранения они поступают блок обработки изображения. Где и происходит повышение качества изображений, снятых в сложных условиях (в ночное и сумеречное время)? Когда распознавание предметов очень низкое.

Разработка алгоритма для web-камеры DSB с320

Использование набора полутоновых областей позволяет сформировать гистограмму распределения яркостей изображения. Изменение гистограммы фиксировалось в течение перехода от дневного освещения к ночному с интервалом в одну минуту.

Из полученной базы изображений, были выбраны кадры, характеризующие переход от четкого изображения к новому его визуальному отсутствию.

Для каждой области тестового изображения (рис.2) были построены графики изменения яркости со временем (рис. 3).

Рис. 2

Рис. 3

Для каждого графика были подобраны аппроксимирующие функции

 (1)

где — яркость области тестового изображения в дневное время суток;

- коэффициент, характеризующий скорость уменьшения яркости изображения.

На рис. 4 приведены графики  относительного изменения яркости области тестового изображения со временем для девяти градаций яркости, построенные по аппроксимирующим функциям.

Для каждого дискрета времени были проанализированы значения коэффициентов  и относительных яркостей тестовой области , где - максимальная яркость тестового изображения в дневное время суток. В результате было отмечено приблизительное равенство и  (рис. 5).

В результате замены на  получим следующее выражение:

Рис. 4.

Рис. 5.

Полученное выражение позволяет получить выражение для яркости каждой области со временем.

На рис. 6 представлены графики изменений относительных яркостей областей изображения, характеризующие степень амплитудных искажений изображений в различные дискреты времени.

При этом наблюдается тенденция понижения яркости участков с исходной малой яркостью. Полученные зависимости позволяют получить значения коэффициента коррекции  и восстановить  исходные яркости изображения:

.

Недостаток такого способа восстановления яркости заключается в том, что не учитывается изменение освещенности.

Рис. 6.

Используем предварительную информацию о наиболее яркой области тестового изображения или эталонной белой точке реального изображения с дифференцированным рассеиванием.

Аппроксимирующая функция  яркости белой эталонной области тестового изображения описывается так:

Откуда получаем

В результате выражение (1) примет вид:

 (2)

Из выражения (2) выразим . Это будет оценочное значение, поэтому обозначим его как . Полученное уравнение является трансцендентным и явного решения не имеет.

Запишем выражение в общем виде:

где

Оценим поведение коэффициента: , а .

Используем ряд Тейлора, тогда

В этом случае уравнение имеет три решения:

Из полученных решений выбираем только первое, т. к. второе и третье решения являются комплексными, а яркость не может быть комплексной величиной.

Следовательно

Проанализируем поведение  корректирующей функции для четырех значений коэффициентов , , , . (рис.7), полученной как отношение восстановленного массива яркости при линейном изменении значений входной яркости к входной яркости I.

Из рис.7 видно, что наибольшему усилению подвергаются малые яркости, а большие яркости практически не изменяются. Причем чем сложнее условия наблюдения (больше значение коэффициента k), тем сильнее яркостные искажения и, соответственно, более медленное изменение корректирующей функции. Это соответствует результатам экспериментальных исследований искажений яркости в ночных условиях.

Данный алгоритм предполагает восстановление ночного изображения к точке отсчета в дневное время. Из-за некорректности программного обеспечения, выпускаемых бюджетных web-камер, сформированное ими изображение даже в дневное время не использует весь диапазон яркостей. Поэтому после обработки предлагаемым алгоритмом необходимо произвести нормировку изображения.

Рис. 7

3. Экспериментальные исследования

Из базы изображений, сформированных в различное время суток с заданным интервалом времени (в нашем случае интервал составляет 1 мин.). Выбираются изображения с плохим различением деталей (ночные, сумеречные изображения), которые в процессе обработке будут улучшены, т. е. приближены по восприятию к дневным. Из этой же базы необходимо выбрать изображение, снятое в светлое время суток (дневное изображение), с которым будут сравниваться изображения в процессе обработки исследуемые изображения. Эти изображения необходимо разложить на rgb-составляющие, после чего изображения поступают в блок обработки изображения, где обрабатываются в соответствии с заданным алгоритмом. После завершения обработки происходит формирование изображения. Если необходимо проводится нормировка изображения. Полученное изображение поступает в блок анализа и расчета, где полученное изображение сравнивается по критерию минимума ошибки воспроизведения изображения. После этого приступаем к оценке качества полученного изображения.

Оценка визуального качества цифровых изображений

Используем известный эмпирический подход [2] к оценке визуального качества изображения. Для формирования этой оценки рассматриваются такие параметры изображения как среднеарифметическое значение  яркостей, полнота использования

градаций яркостей, резкость изображения и его обобщенный контраст.

Величина  отображает уровень адаптации по яркости зрительной системы человека, оптимальным значением которой является половина максимально возможного диапазона яркостей . Поэтому величину отклонения  от  можно использовать как оценку уровня адаптации зрительной системы:

Вторым важным параметром оценки визуального качества изображения является полнота использования его элементами градаций яркостей. Аналитическое выражение этого параметра такое:

где S- количество уровней яркостей, для каждого из которых на данном

изображении присутствуют большее, чем b*N*M количество элементов с данной яркостью (N и M- размеры изображения, b- некоторая константа).

Третьим параметром оценки визуального качества изображения в данном методе является его резкость, которая измеряется скоростью нарастания яркости, разделенной на общую величину перепада:

где f(x)- это видеосигнал; aи b- точки, которые расположены на противоположных краях перепада. Поэтому оценку резкости находят следующим образом

.

Четвертый параметр дает оценку контраста изображения. Когда оценивается визуальное качество изображения независимо от его сюжетного наполнения, тогда за KCпринимают обобщенный контраст изображения .

В целом выражение для количественной оценки визуального качества полутоновых монохромных изображений записывают так:

где k- нормирующий коэффициент.

Экспериментальные исследования данного метода дают результаты, которые хорошо согласуются с субъективной визуальной оценкой.

Тестирования алгоритма. Одно и то же изображение трех кубиков с буквами A,B,C, расположенных на равномерном фоне, обрабатываем в соответствии с алгоритмом усиления локальных контрастов (УЛК) [3] и разработанным алгоритмом.

Результаты обработки представлены на рис.8.

Рис. 8

В таблицах 1,2,3 приведены результаты оценки качества изображений соответственно кубиков А, В, С. Результаты показали, что применение обработки № 1 для всех изображений позволяет поднять качество изображений в 4 раза, но при этом остается проигрышным реальному дневному изображения приблизительно в 3 раза.

Также была проведена проверка предложенного алгоритма в ограниченной версии без автоматического выбора параметра коррекции. Выбор параметра коррекции осуществлялся вручную.

Новый алгоритм обеспечил выигрыш по всем параметрам по отношению к ночному приблизительно в 10 раз, и обеспечил формирование изображения близкого к дневному.

Кроме критериев оценки качества была использована оценка точности восстановления дневного изображения по усредненной сумме разностей  дневного и  сравниваемого изображений. Результаты приведены в таблице 4.

где N — число точек в изображении.

Таблица 1

Результаты оценки качества изображения кубика А

Критерии оценки	Обработанное ночное изображение алгоритмом УЛК	Ночное изображение	Дневное изображение	Обработанное ночное изображение разработанным алгоритмом
Среднеарифметическое значение яркости, L_	23.13	5.03	66.15	42.526
Уровень адаптации LQ	0.599	0.597	0.874	0.674
Полнота использования градаций яркостей, KQ	1,092	4.923	1.446	1.05
Резкость, RQ	27.039	5.857	15.143	28.214
Общая оценка, Q	408.911	86.552	1.266*103	849.276

Таблица 2

Результаты оценки качества изображения кубика B

Критерии оценки	Обработанное ночное изображение алгоритмом УЛК	Ночное изображение	Дневное изображение	Обработанное ночное изображение разработанным алгоритмом
Среднеарифметическое значение яркости, L_	23.13	5.03	66.15	42.526
Уровень адаптации LQ	0.599	0.597	0.874	0.674
Полнота использования градаций яркостей, KQ	1,092	4.923	1.446	1.05
Резкость, RQ	9.168	2.143	4.429	11.122
Общая оценка, Q	138.644	31.665	370.198	334.797

Таблица 3

Результаты оценки качества изображения кубика C

Критерии оценки	Обработанное ночное изображение алгоритмом УЛК	Ночное изображение	Дневное изображение	Обработанное ночное изображение разработанным алгоритмом
Среднеарифметическое значение яркости, L_	23.13	5.03	66.15	42.526
Уровень адаптации LQ	0.599	0.597	0.874	0.674
Полнота использования градаций яркостей, KQ	1,092	4.923	1.446	1.05
Резкость, RQ	23.347	5.286	12	22.204
Общая оценка, Q	353.084	78.108	1.003*103	668.353

Таблица 4

Обработанное ночное изображение алгоритмом УЛК	Ночное изображение	Обработанное ночное изображение разработанным алгоритмом
=43.85	=61.12	=34.203

Найдем отношение дневного изображения к обработанному с помощью алгоритмов: , .

Результаты показали, что применение алгоритма обработки № 1 для всех изображений позволяет поднять качество изображений в 4 раза, но при этом остается проигрышным настоящему дневному изображению приблизительно в 3 раза.

Новый алгоритм обеспечил выигрыш по всем параметрам по отношению к ночному приблизительно в 10 раз, и обеспечил формирование изображения более близкого к дневному изображению.

Литература:

1.    Отделение нейрофизиологии РДКБ/ http://www.rdkb-onf.ru/

2.    Нестерук В. Ф. Преобразование оптических изображений и оценка их качества // Успехи научной фотографии. М.: Наука. — 1985. — Т. 23. 93–102.

3.    Ким В., Ярославский Л. П. Ранговые алгоритмы обработки изображений // Адаптивные методы обработки изображений. М.: Наука, 1988. 35–73.