Ключевые слова: video processing, обработка видео, сердцебиение, пульс, удаленный контроль.
Для пространственного усиления (увеличения амплитуды) движения изображения требуется найти связь между временной обработкой и пространственной. Допустим, интенсивность исходного изображения в положении x, y для пространственной частоты 
и момент времени t описывается следующим выражением: Equation Section (Next)
(1.1)
где 
и 
— функции пространственного смещения от времени, т. к. изображение испытывает локально-поступательное движение. 
и 
соответствующие коэффициенты, пропорциональные скорости перемещения объекта на изображении. А 
- описывает аддитивный случайный процесс c Гауссовым законом распределения.
Поскольку интенсивность входного изображения описывается суммой независимых элементарных функций:
(1.2)
то с целью повышения наглядности и уменьшения объема математических выкладок, далее будет рассмотрен одномерный случай
(1.3)
Соответственно, для получения изображения с усилением пространственного движения, в случае одномерного изображения интенсивность выходного изображения должна выглядеть следующим образом:
(1.4)
для некоторого коэффициента 
.
Предположим, что интенсивность изображения может быть аппроксимирована рядом Тейлора первого порядка [1,2], тогда:
(1.5)
На основании теории об оптическом потоке [3], а именно:
Пиксель в позиции 
с интенсивностью 
за один кадр будет перемещен соответственно на 
тогда можно записать следующее:
(1.6)
Считая, что перемещение мало, применив ряд Тейлора, получим:
(1.7)
Откуда следует:
(1.8)
Или же в случае одной пространственной координаты получим:
(1.9)
Тогда, учитывая 
=
, можно заключить, что составляющую
(1.10)
с точки зрения временной обработки сигналов, можно интерпретировать как применение операции дифференцирования, или в некотором приближении — широкополосного временного полосового фильтра к 
в каждой точке x.
Далее производится усиление полосового сигнала 
на величину коэффициента усиления и сложение с исходным сигналом:
(1.11)
перезапишем, выполнив подстановки:
(1.12)
Предполагая, что разложения Тейлора первого порядка выполнено для усиленного временного возмущения 
, тогда выражение для интенсивности изображения с усиленным пространственным движением в некотором приближении можно записать так:
(1.13)
Для полноты картины важно отметить, что составляющая
(1.14)
записывается в таком виде только в случае, если все спектральные составляющие пространственного смещения от времени 
попали в полосу пропускания фильтра.
Рассмотрим случай, когда 
не полностью находится в полосе пропускания временного фильтра. В таком случае 
- будет обозначать k-ю частотную компоненту полного спектра . Соответственно каждая составляющая будет ослабляться в соответствии с АЧХ временного фильтра, посредством коэффициента 
. Тогда прошедший фильтрацию сигнал запишется в виде:
(1.15)
Или же в частотной области:
(1.16)
где 
- спектральная плотность , 
— АЧХ временного фильтра. 
- временная частота колебаний.
Поскольку в выражениях (1.11) и (1.12) имеется перемножение 
на коэффициент усиления движения 
, то можно ввести новое обозначение частотно-зависимого коэффициента усиления движения 
. Тогда выражения (1.4) и (1.12) запишутся в следующем виде:
(1.17)
(1.18)
Данные выражения показывают, что модуляция спектральных компонент временного сигнала приводит к модуляции коэффициента усиления движения
для каждой временной подполосы 
сигнала движения. Эта особенность может быть использована в целях выделения движений, имеющих определенную частотную полосу колебаний, при этом не «засоряя» кадр усиленными шумами и другими не интересующими в данный момент движениями.
Математическое моделирование
Для наглядности рассмотрим на графиках, приведенные выше математические выкладки. Примем, что в рассматриваемом примере (1.4) отсутствует аддитивный случайный процесс в составляющей 
, т. к. на данном этапе важно показать принцип, а не шумовые характеристики. Возьмем 
функцию пространственного смещения во времени в момент времени 
, а в момент времени 
, соответственно 
:
Рис. 1. Демонстрация приближения интенсивности по Тейлору
Как можно видеть, по приведенным графикам на рис. 1, приближение по Тейлору является весьма точным при небольшой величине пространственного смещения во времени (красная и желтая линии практически совпадают), синий график демонстрирует исходную интенсивность в момент времени t = 0.
Взяв производную по времени для исходной интенсивности и задавшись коэффициентом усиления =3 были получены следующие результаты:
Рис. 2. Демонстрация усиления пространственного движения по описанному алгоритму
На рис.2 демонстрируется работа описанного алгоритма, можно видеть, что пространственное усиление движение посредством осуществления временной обработки даёт хорошие результаты, а искажения по амплитуде –интенсивности даже меньше, нежели чем при аппроксимации по пространственной координате.
Так же было проведено моделирование для случая описания интенсивности Гауссовой функцией:
(1.19)
Моделирование проводилось при параметрах 
, а 
:
Рис. 3. Демонстрация приближения по Тейлору для Гаусс функции
По графикам на рис. 3 отмечается, что аппроксимация по Тейлору даёт очень точные приближения аппроксимированная интенсивность (красный график) практически не просматривается под графиком исходной интенсивности в момент времени t+1 (желтый график).
Взяв производную по времени для исходной интенсивности и задавшись коэффициентом усиления =10 были получены следующие результаты:
Рис. 4. Демонстрация усиления пространственного движения (Гаусс-функция) по описанному алгоритму
На рис.4 демонстрируется работа описанного алгоритма, можно видеть, что пространственное усиление движения посредством осуществления временной обработки даёт отличные результаты, почти совпадающие с алгоритмом усиления по приближению Тейлора по пространственной координате. Но в отличии от него, нет необходимости знать величину 
- заранее, что при обработке реальных видеорядов — невозможно.
Экспериментальная работа
Была произведена обработка реальных видеорядов. В качестве исходника использовался образец видео, на котором запечатлён молодой человек в профиль, после комплекса физических нагрузок (пульс, измеренный после записи видео, спустя 3 минуты, по тонометру — 132 ударов в минуту).
На первом этапе эксперимента была проведена обработка видеоряда посредством взятия производной между кадрами, без использования временного фильтра и последующим усилением движения по описанному алгоритму. Экспериментально был подобран оптимальный для данного видео коэффициент усиления =10. Так же при обработке был использован пространственный НЧ фильтр третьего порядка с нормированной частотой среза = 0.25.
На видео, прошедшем обработку отчётливо видны пульсации в области шеи человека. Для определения их частоты, пульсации фиксировались при превышении некоторого порога яркости (в данном случае 125 из 255 возможных), на определенном области строки кадра (510–540 пикселы), где располагается шея человека. Наглядная демонстрация приведена на рис. 5. и рис. 6.
Результат анализа данного участка кадра приведен на рис. 7. Доминирующая спектральная составляющая соответствует частоте 2.321 Гц (с учётом частоты кадров при записи = 30к/с), что соответствует частоте сердцебиения в 139 уд/мин. С учетом показаний тонометра, полученные данные позволяют сделать заключение о верности определения частоты сердечного ритма по видеоряду.
Рис. 5. Поясняющий рисунок к определению частоты сердцебиения (удар сердца), кадр № 48
Рис. 6. Поясняющий рисунок к определению частоты сердцебиения (отсутствие удара сердца), кадр № 52
Рис. 7. Результат анализа частоты сердцебиения человека по видеоряду
Так же были проведены эксперименты по обработке и выделению частоты сердцебиения человека с использованием временного фильтра вместо операции дифференцирования между кадрами. В качестве исходника был использован тот же видеоряд, для обработки был применен идеальный (имеющий прямоугольную АЧХ) фильтр, основанный на перемножении в частотной области, имеющий полосу пропускания от 0.83 Гц до 3 Гц — соответствующую ожидаемому диапазону частоты сердечных сокращений. Коэффициент усиления =30 и дополнительный коэффициент усиления для цветовых пространств 
= 1 (вся обработка проводилась в цветовой модели YIQ [4]). Так же была применена пространственная фильтрация изображения НЧ фильтром третьего порядка с нормированной частотой среза = 0.125.
Определение частоты сердцебиения осуществлялось путем выбора на обработанном видео области, на которой наиболее заметно движение. Наиболее наглядно это демонстрирует видеоряд, составленный только из усиливающей компоненты
из выражения (1.11)
Рис. 8. Видеоряд, восстановленный из усиливающей составляющей отсутствие удара сердца — слева, справа — удар сердца
Таким образом измерение частоты сердцебиения осуществлялось посредством вычисления среднего значения по выделенному на рис. 9 сектору изображения и последующему анализу полученной последовательности.
Рис. 9. Сектор кадра, выбранный для оценки частоты сердцебиения
Был получен результат, представленный на рис. 10
Рис. 10. Результат оценки частоты пульса человека с применением временного полосового фильтра
Наблюдается ярко-выраженная спектральная составляющая, превышающая остальные на частоте 2.313Гц или 138 уд/мин, что так же соответствует показаниям тонометра.
Аналогичная обработка была проведена для оценки частоты сердечных сокращений человека в состоянии покоя (пульс по тонометру 82 удара в минуту). Использованы параметры =30, = 1, пространственный НЧ фильтр 3-го порядка с нормированной частотой среза 0.25. Результаты приведены на рис.11.
Рис. 11. Результат оценки частоты пульса человека в состоянии покоя с применением временного полосового фильтра
Основная спектральная составляющая соответствует частоте 1.383 Гц или 83 уд/мин, что почти соответствует зафиксированной тонометром частоте в 82 уд/мин.
Литература:
- Lucas, B. D. An iterative image registration technique with an application to stereo vision. / B. D. Lucas, T. Kanade. — Текст: непосредственный // In Proceedings of IJCAI. — San Francisco, CA, United States: Morgan Kaufmann Publishers Inc., 1981. — С. 674–679.
- HORN, B. Determining optical flow. / B. HORN, B. SCHUNCK. — Текст: непосредственный // Artificial intelligence. — 1981. — № 17. — С. 185–203.
- Optical flow. — Текст: электронный // en.wikipedia.org: [сайт]. — URL: https://en.wikipedia.org/wiki/Optical_flow (дата обращения: 13.05.2020).
- Color Spaces. — Текст: электронный // https://compression.ru: [сайт]. — URL: https://compression.ru/download/articles/color_space/ch03.pdf (дата обращения: 13.05.2020).
