Метод защиты от подделок для мобильных систем распознавания по радужной оболочке глаза



Высокая степень защиты от подделок — одно из основных требований для современной биометрической системы. Технология распознавания человека по радужной оболочке глаза, в последнее время активно используется в мобильных устройствах, и для обеспечения должной степени защиты, система распознавания должна быть устойчива к подделкам разных типов, чтобы предотвратить компрометацию данных пользователя мобильного устройства. В данной работе предлагается метод защиты от подделок радужной оболочки глаза для мобильного устройства. Метод основан на применении свёрточной нейронной сети, и способен работать в реальном времени на мобильном устройстве с сильно ограниченными вычислительными ресурсами. Классификация изображения радужной оболочки на два класса “живой”, “подделка” осуществляется по одному кадру, при этом на вход нейронной сети подаётся пара изображений: изображение области глаза, и нормализованное изображение радужки. В данной работе рассмотрены следующие типы подделок: напечатаные на бумаге, напечатаные на бумаге с наложением на изображение радужки прозрачной контактной линзы, напечатаные на бумаге с наложением на изображение радужки капли прозрачного клея. Предложенный метод был протестирован на базе изображений, собранной вручную, содержащей вышеуказанные типы подделок. Тестирование показало высокие результаты как по точности классификации, так и по скорости работы. Кроме того, метод оказался устойчив к постоянно изменяющимся условиям съёмки, что является типичной и значительной особенностью работы с мобильным устройством.

Ключевые слова: мобильная биометрия, распознавание по радужной оболочке, защита от подделок, свёрточные нейронные сети.

Распознавание по радужной оболочке обладает определёнными преимуществами перед другими биометрическими технологиями [17], [18], которые делают данную технологию одной из наиболее предпочтительных для мобильного устройства. В последние годы несколько компаний представили смартфоны, оснащённые технологией аутентификации по радужной оболочке глаза. Наиболее известные из них — [19], [20], [21]. Биометрическая аутентификация — многообещающая технология, развитие которой позволит отказаться от привычных схем аутентификации, использующих пароль. Это позволит увеличить удобство работы с устройством, и при этом увеличит уровень защиты персональных данных.

После выхода на рынок устройств, оснащённых технологией распознавания по радужке, было предпринято несколько попыток взлома данной технологии. Некоторые попытки взлома были успешными, как описано в статьях [22], [23]. В рамках данной работы были проведены эксперименты, которые показали, что указанные методы действительно позволяют обойти простую биометрическую систему, однако стоит заметить, что для этого необходимо выполнение нескольких важных условий: изображение радужки должно быть получено с инфракрасной камеры с высоким разрешением, диаметр радужки должен составлять как минимум 250–300 пикселей, печать должна производиться в разрешении не меньше 600 dpi. Для выполнения данных условий необходима высококачественная ИК камера, и съёмка с короткого расстояния, при этом глаза должны быть открыты, взгляд направлен в камеру, и радужка не должна быть размытой, пересвеченной или недосвеченной. Выполнение всех условий — непростая задача, однако, это возможно, поэтому, проблема защиты от подделок по-прежнему актуальна для систем распознавания по радужке, особенно на мобильных устройствах.

Предлагаемый метод основан на применении свёрточной нейронной сети, и способен работать в реальном времени на смартфоне. Классификация на 2 класса: “живой” и “подделка” осуществляется по одному кадру, при этом на вход сети подаётся два изображения: область глаза и нормализованная радужка. Поскольку защита от подделок — задача, в которой сложно предсказать все возможные варианты входных данных (типы подделок), данная работа фокусируется на нескольких типах подделок: напечатанные на бумаге, напечатанные на бумаге с наложением на изображение радужки прозрачной контактной линзы, напечатанные на бумаге с наложением на изображение радужки капли прозрачного клея. Тестирование метода проводилось на базе изображений, собранной вручную с использованием микрокомпьютера Raspberry Pi 3 с камерой и активной ИК подсветкой. В собранной базе изображений так же были присутствуют вариации в условиях съёмки, которые имеют место при работе с мобильным устройством. Результаты экспериментов показали, что предлагаемый метод обладает высокой точностью и скоростью работы.

Обзор литературы

Все существующие методы защиты от подделок, описанные в литературе, могут быть поделены на 2 типа: аппаратные методы, требующие специального оборудования, и программные методы, принимающие решение используя в качестве входа только изображение, полученное с камеры. Мобильные устройства обычно не обладают дополнительным оборудованием для защиты от подделок, поскольку это увеличивает стоимость устройств, и зачастую и уменьшает удобство их использования. В то же время современные программные методы достаточно точны, и не требуют дополнительных затрат, поэтому, они чаще всего используются в мобильных устройствах, и поэтому, они рассматриваются в данной работе.

Одно из первых исследований в данной области было проведено Дж. Даугманом [24], в ходе данного исследования он обнаружил что печать на принтере может оставлять заметные следы на подделках, которые можно обнаружить по двумерному Фурье спектру изображения, полученного с камеры. Данный подход показал свою эффективность в борьбе с напечатанными подделками, однако имеет достаточно низкую точность на остальных типах подделок. Несколько подходов к детектированию подделок является анализ признаков, извлекаемых из Фурье спектра изображения были предложены в работах [1, 2]. В работе [3] предлагается разложение изображения на пирамиды Лапласа. Также, существуют методы, основанные на анализе текстурных признаков. Такие методы описаны, например, в работах [4], [5], где используются различные вариации LBP. Существуют работы, в которых в качестве текстурных признаков для анализа подделок используется BSIF [6]. В работе [7] представлен метод, основанный на комбинации различных текстурных признаков, применимый к детектированию подделок не только радужки, но также и лица, и отпечатков пальцев.

Метрики качества изображения тоже могут быть использованы для определения подделок. В основе таких методов лежит предположение, что изображение, полученное с подделки, имеет качество, отличное от качества изображения, полученного с реального образца. В работе [9] представлен набор метрик качества, позволяющий с высокой точностью определять напечатанные подделки радужки.

Одним из самых перспективных подходов к классификации изображений являются свёрточные нейронные сети. Данный подход был применён к проблеме определения подделок радужки и отпечатка пальца, и показал высокое качество классификации, как описано в работе [8].

Надёжный сравнительный анализ методов определения подделок радужки может быть найден в отчётах по результатам соревнований LivDet-Iris, которые проводились в 2013 [10], 2015 [11] и 2017 [12] годах.

Вышеупомянутые подходы к определению подделок были также применены на мобильных устройствах, которые подразумевают сильные ограничения по памяти и вычислительной мощности [13], [14], [6].

Предлагаемый метод

В данной работе предлагается алгоритм детектирования подделок радужной оболочки глаза. На вход алгоритму подаётся пара изображений — изображение области глаза, центрированное по центру радужки , и нормализованное изображение радужки (рис. 1). Выделение региона глаза и нормализация могут быть выполнены на основании аппроксимации границ радужки окружностями.

Структура алгоритма представлена на рис. 1. Алгоритм применяется после этапа нормализации радужки, типичного для систем распознавания по радужке, и состоит в выделении и приведении изображений области глаза и нормализованной радужки к необходимому размеру и пропускании через свёрточную нейронную сеть.

Изображение области глаза определяется как квадрат с центром в центре радужки и со сторонами , где — радиус радужки.

Рис. 1. Структура алгоритма защиты от подделок.

Далее, изображения и приводятся к константному размеру, как показано на рис. 1. Данный размер выбран на основании экспериментов, как обеспечивающий оптимальную точность и время выполнения.

Архитектура нейронной сети

Архитектура предлагаемой нейронной сети построена на основе архитектуры MobileNet, разработанной Google, которая показала высокую эффективность на мобильных устройствах. Сеть имеет два входа для изображения области глаза и нормализованной радужки соответственно. Эти два изображения, полученные с одного кадра, обрабатываются соответствующими свёрточными блоками нейронной сети (рис. 1). Блоки для обоих входов изображены на таблице 1, они имеют схожую структуру и состоят в свою очередь из основных блоков MobileNet, предложенных в [16] и описанных в таблице 2.

Тензоры, получающиеся на выходе блоков далее конкатенируются, после чего к результату применяется global average pooling. Далее следует полносвязный слой с 2 значениями на выходе с softmax классификатором, который возвращает вероятности принадлежности входного изображения классам “подделка” и “живой” (0 и 1 соответственно).

Таблица 1

Структура свёрточных блоков для изображения области глаза инормализованной радужки

Слой	Размер входа
	Свёрточный блок для изображения области глаза	Свёрточный блок для нормализованной радужки
Conv. 3x3 (s'=2)
Conv. Block (s'=1)
Conv. Block (s'=2)
Conv. Block (s'=1)
Conv. Block (s'=2)
Conv. Block (s'=1)
Global Avg. Pooling

Таблица 2

Структура основного блока MobileNet (Conv. Block)

Слой	Stride
Depthwise Conv.
BatchNorm
ReLU
Conv.
BatchNorm
ReLU

Описание базы изображений

Существует несколько баз, содержащих картинки живых радужек и подделок. По аналогии с базами данных для распознавания по радужке, они могут быть разделены на две группы: снятые в видимом диапазоне, и в ближнем ИК диапазоне. В данной работе рассматриваются только изображения, полученные в ИК диапазоне, поскольку в данном диапазоне работает большинство современных биометрических систем, ввиду различных преимуществ. Наиболее простой вероятный сценарий попытки взлома системы распознавания на мобильном телефоне — распечатанное изображение радужки. В современных работах описываются алгоритмы, успешно решающие задачу распознавания таких подделок, но они не специализируются на мобильных устройствах, и баз данных подделок, собранных на мобильное устройство в свободном доступе так же нет.

По этой причине, для данной работы была собрана собственная база данных, которая содержит изображения для следующих типов подделок:

− Изображения радужки, напечатанные на бумаге (PR);

− Изображения радужки, напечатанные на бумаге, накрытые прозрачной контактной линзой (PWL);

− Изображения радужки, напечатанные на бумаге, с каплей прозрачного клея на радужке (PWG).

Данные типы подделок были выбраны поскольку с их помощью были проведены успешные попытки взлома мобильных биометрических систем [22], [23]. Изображения были получены с помощью ИК камеры высокого разрешения с расстояния 20–40 см., подделки были напечатаны на белой бумаге в разрешениях 600 и 1200 dpi. Для съёмки подделок разных типов были использованы одни и те же распечатки.

В качестве мобильного устройства для съёмки был использован микрокомпьютер Raspberry Pi 3 с модулем камеры PiCamera v2.1 с наложенным ИК фильтром. Для получение более чётких и освещённых фотографий использовалась активная ИК подсведка в виде светодиода. Более подробная информация о базе изображений приведена в таблице 3. Разделение на обучающий/тестовый набор данных было проведено по пользователям (данные два набора не пересекаются по пользователям). Несколько примеров изображений приведено на Рис. 2.

Рис. 2. Примеры изображений радужки одного глаза в разных условиях: (a) — живой глаз в нормальном освещении (IN), (b) — живой глаз, съёмка на улице (OUT), (c) — подделка, напечатанная на бумаге (PR), (d)-(e) — подделка с прозрачной контактной линзой (PWL), (f) — подделка с прозрачным клеем (PWG)

Таблица 3

Характеристики собранной базы изображений

Parameter	Value
Image resolution
People/Eyes
Spoof/Live samples
IN/OUT/PR/PWL/PWG (full set)	10679/7869/6233/5907/5891
IN/OUT/PR/PWL/PWG (test set)	2534/2006/1436/1452/1568

Результаты экспериментов

Для сравнения точности предлагаемого алгоритма было реализовано несколько программных методов определения подделок, описанных в работах [5], [6], [13]. Данные методы были выбраны, поскольку они показывают лучшие результаты среди баз данных в ИК диапазоне [15]. Алгоритм, описанный в [12] не был включён в сравнительный анализ, ввиду высокой вычислительной сложностью, не подходящей для мобильного устройства (время работы данного алгоритма превышает время выполнения алгоритма предлагаемого в данной работе примерно в 400 раз).

Для оценки качества использовались следующие метрики: FerrLive — доля неверно классифицированных подделок, FerrFake — доля неверно классифицированных изображений живых радужек, CCR (Correct Classification Rate) — средняя точность классификации по всей базе. В таблице 4 приведены результаты тестирования. Важно заметить, что среди реализованных методов только методы [6], [13] были разработаны для мобильного устройства.

Таблица 4

Результаты тестирования

Method	FerrLive	FerrFake	CCR
Czajka [1]	0.505	0.207	0.661
He et al. [2]	0.370	0.739	0.442
Gupta et al. [5]	0.294	0.251	0.749
Raghavendra [6]	0.076	0.128	0.897
Sequeira [13]	0.320	0.293	0.694
Proposed	0.048	0.034	0.959

Тестирование предложенного метода проводилось на мобильном устройстве на платформе Android. Время работы измерялось на процессоре Qualcomm Snapdragon 835 (2.45 GHz). Время работы на одном ядре составило 4–6 миллисекунды.

Заключение

В данной работе предложен метод защиты от подделок изображений радужной оболочки. Метод основан на применении свёрточных нейронных сетей, и может быть применён после этапа сегментации и нормализации. Обученная модель принимает на вход изображение области глаза и нормализованной радужки, и возвращает вероятности принадлежности текущего кадра классам “живой” и “подделка”. Метод показал высокую точность на различных типах подделок, некоторые из которых ранее не рассматривались в литературе. Для оценки точности была собрана специализированная база изображений с использованием мобильного устройства. Эксперименты показали, что предложенный метод превосходит существующие решения и способен работать в реальном времени на мобильном устройстве.

Литература:

1. Czajka A. Database of iris printouts and its application: Development of liveness detection method for iris recognition // Proceedings of 18th International Conference on Methods Models in Automation Robotics (MMAR'13). — 2013. — С. 28–33.
2. He X., Lu Y., Shi P. A fake iris detection method based on FFT and quality assessment // Proceedings of Chinese Conference on Pattern Recognition (CCPR'08). — 2008. — С. 1–4.
3. Raja K. B., Raghavendra R., Busch C. Presentation attack detection using Laplacian decomposed frequency response for visible spectrum and Near-Infra-Red iris systems // Proceedings of IEEE 7th International Conference on Biometrics Theory, Applications and Systems (BTAS). — 2015. — С. 1–8.
4. He Z., Sun Z., Tan T., Wei Z. Efficient Iris Spoof Detection via Boosted Local Binary Patterns // Proceedings of Advances in Biometrics: Third International Conference. — 2009. — С. 1080–1090.
5. Gupta P., Behera S., Vatsa M., Singh R. On Iris Spoofing Using Print Attack // Proceedings of 22nd International Conference on Pattern Recognition. — 2014. — С. 1681–1686.
6. Raghavendra R., Busch C. Robust Scheme for Iris Presentation Attack Detection Using Multiscale Binarized Statistical Image Features // IEEE Transactions on Information Forensics and Security. — 703–715. — № 4. — С. 2015.
7. Gragnaniello D., Poggi G., Sansone C., Verdoliva L. An Investigation of Local Descriptors for Biometric Spoofing Detection // IEEE Transactions on Information Forensics and Security. — 2015. — № 4. — С. 849–863.
8. Menotti D., Chiachia G., Pinto A., Schwartz W. R., Pedrini H., Falcão A. X., Rocha A. Deep Representations for Iris, Face, and Fingerprint Spoofing Detection // IEEE Transactions on Information Forensics and Security. — 2015. — С. 864–879.
9. Galbally J., Ortiz-Lopez J., Fierrez J., Ortega-Garcia J. Iris liveness detection based on quality related features // 5th IAPR International Conference on Biometrics (ICB). — 2012. — С. 271–276.
10. Yambay D., Doyle J. S., Bowyer K. W., Czajka A., Schuckers S. LivDet-iris 2013 — Iris Liveness Detection Competition 2013 // Proceedings of IEEE International Joint Conference on Biometrics. — 2013. — С. 1–8.
11. Yambay D., Walczak B., Czajka A., Schuckers S. LivDet-Iris 2015 — Iris Liveness Detection Competition 2015 // Proceedings of IEEE International Conference on Identity, Security and Behavior Analysis (ISBA). — 2017. — С. 1–6.
12. Yambay D., Becker B., Kohli N., Yadav D., Czajka A., Bowyer K. W.,Schuckers S., Singh R., Vatsa M., Noore A., Gragnaniello D., Sansone C., Verdoliva L., He L., Ru Y., Li H., Liu N., Sun Z., Tan T. LivDet-Iris 2015 — Iris Liveness Detection Competition 2017 //. — 2015.
13. Sequeira A. F., Oliveira H. P., Monteiro J. C., Cardoso J. S. MobiLive 2014 — Mobile Iris Liveness Detection Competition // Proceedings of IEEE International Joint Conference on Biometrics. — 2014. — С. 1–6.
14. Sequeira A. F., J. Murari J., Cardoso J. S. Iris liveness detection methods in mobile applications // International Conference on Computer Vision Theory and Applications (VISAPP). — 2014. — С. 22–33.
15. Galbally J., Gomez-Barrero M. A review of iris anti-spoofing // Proceedings of the 4th International Conference on Biometrics and Forensics (IWBF). — 2016. — С. 1–6.
16. A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, H. Adam,. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications // CoRR. — 2017.
17. Daugman J. How iris recognition works //The essential guide to image processing. — Academic Press, 2009. — С. 715–739.
18. Chowhan S. S., Shinde G. N. Iris biometrics recognition application in security management // 2008 Congress on Image and Signal Processing. — IEEE, 2008. — Т. 1. — С. 661–665.
19. Justin Lee. Fujitsu smartphone powered by Delta ID iris recognition, 2015, URL: http://www.deltaid.com/, http://www.biometricupdate.com/201506/ ntt-docomo-fujitsu-smartphone-powered-by-delta-id-iris-recognition
20. Microsoft Corporation: Unlock your Lumia 950 or Lumia 950 XL with a look, 2017, URL: https://support.microsoft.com/en-us/instantanswers/4ea145a3-b98e-f8ed-a262–055ec78cdb80/unlock-your-lumia-950-or-lumia-950-xl-with-a-look
21. Samsung Electronics Inc.: Security, 2017, URL: http://www.samsung. com/global/galaxy/galaxy-s8/security/
22. Chaos Computer Club (CCC): Chaos Computer Club breaks iris recognition system of the Samsung Galaxy S8, 2017, URL: https://www.ccc. de/en/updates/2017/iriden
23. Bkav Corporation: Galaxy S8 Iris Scanner bypassed by glue, 2017, URL: http://www.bkav.com/top-news/-/view content/content/94273/ galaxy-s8-iris-scanner-bypassed-by-gl-1
24. Daugman J. Iris recognition and anti-spoofing countermeasures //7-th International Biometrics conference. — 2004.