1. Введение
Методы глубокого обучения позволили достичь экспертного уровня в ряде задач анализа медицинских изображений [1]. Вместе с тем более 50 % населения мира не имеет доступа к базовым медицинским услугам [2], а типичные требования диагностических систем искусственного интеллекта — графические ускорители, стабильный интернет и большой объём памяти — в условиях ограниченных ресурсов трудновыполнимы. Поэтому актуальна разработка компактных моделей для портативных устройств диагностики в точке оказания медицинской помощи (Point-of-Care), в том числе на основе микроконтроллеров класса ARM Cortex-M4.
Для снижения вычислительной сложности предложены компактные архитектуры MobileNet [3] и MobileNetV2 [4], а также MCUNet [5], ориентированная на микроконтроллеры. Однако они разрабатывались для общих задач классификации изображений и не учитывают клинически значимые метрики — чувствительность и специфичность. Автоматическая диагностика малярии по изображениям клеток крови хорошо изучена [6, 7], но большинство моделей для этой задачи имеют значительное число параметров, что затрудняет их применение в портативных устройствах.
Цель работы — разработка и экспериментальная проверка лёгкой свёрточной нейронной сети ALDI-CNN для обнаружения малярийных паразитов на изображениях клеток крови, а также её сравнение с базовой моделью Base-CNN и известными архитектурами AlexNet [8], SqueezeNet [9], ResNet18 [10] и MobileNetV2 [4].
2. Материалы и методы
Набор данных. Использован открытый набор NIH Malaria Dataset [6], содержащий 27 558 изображений клеток крови из тонких мазков, окрашенных по Гимзе: по 13 779 изображений в классах Parasitized (заражённые) и Uninfected (незаражённые). Изображения приведены к размеру 64×64×3: это снижает объём вычислений и памяти, при этом морфологические признаки паразита остаются различимыми. Данные стратифицированно разделены на обучающую (70 %, 19 290 изображений), валидационную (15 %, 4 134) и тестовую (15 %, 4 134) выборки. При обучении ALDI-CNN применялась аугментация «на лету»: поворот ±15°, горизонтальное и вертикальное отражение, сдвиг ±5 пикселей. Яркость не изменялась, так как интенсивность окраски является диагностически значимым признаком.
Модели. Базовая сеть Base-CNN включает два свёрточных блока (свёртка 3×3, ReLU, MaxPooling 2×2) с 16 и 32 фильтрами, полносвязный слой из 64 нейронов и выходной слой с классификатором Softmax. Предложенная ALDI-CNN (Adaptive Lightweight Diagnostic Intelligence CNN) получена целенаправленной модификацией Base-CNN: после каждого свёрточного слоя добавлена пакетная нормализация [11], стабилизирующая обучение; добавлен третий свёрточный блок с 64 фильтрами для выделения более сложных признаков; введён Dropout [12] с вероятностью 0,3 после третьего блока и 0,5 после полносвязного слоя для снижения переобучения. Послойная конфигурация моделей приведена в таблице 1.
Таблица 1
Послойная конфигурация моделей Base-CNN и ALDI-CNN
|
Блок / слои |
Base-CNN: выход |
Base-CNN: параметры |
ALDI-CNN: выход |
ALDI-CNN: параметры |
|
Вход |
64×64×3 |
– |
64×64×3 |
– |
|
Блок 1: Conv 3×3 (16) [+ BN] + ReLU + MaxPool 2×2 |
32×32×16 |
448 |
32×32×16 |
480 |
|
Блок 2: Conv 3×3 (32) [+ BN] + ReLU + MaxPool 2×2 |
16×16×32 |
4 640 |
16×16×32 |
4 704 |
|
Блок 3: Conv 3×3 (64) + BN + ReLU + Dropout (0,3) |
– |
– |
16×16×64 |
18 624 |
|
FC 64 + ReLU [+ Dropout (0,5)] |
64 |
524 352 |
64 |
1 048 640 |
|
FC 2 + Softmax |
2 |
130 |
2 |
130 |
|
Итого обучаемых параметров |
529 570 |
1 072 578 |
Обучение и оценка. Модели реализованы в MATLAB R2023b (Deep Learning Toolbox) и обучались на процессоре Intel Core i7 без GPU с параметрами: оптимизатор Adam [13], скорость обучения 0,001, размер мини-пакета 32, 10 эпох, функция потерь — перекрёстная энтропия. Для сравнения AlexNet, SqueezeNet, ResNet18 и MobileNetV2 обучались с нуля (без предобученных весов) на тех же выборках со стандартными входными размерами 227×227 и 224×224 (Adam, скорость обучения 0,0001, мини-пакет 16, 5 эпох). Качество оценивалось на тестовой выборке по метрикам Accuracy, Precision, Recall (чувствительность), Specificity (специфичность) и F1-score; положительным считался класс Parasitized.
3. Результаты и обсуждение
Таблица 2
Сравнение Base-CNN и ALDI-CNN по метрикам качества
|
Модель |
Accuracy, % |
Precision, % |
Recall, % |
Specificity, % |
F1-score, % |
Время обучения, с |
|
Base-CNN |
94,78 |
96,58 |
92,84 |
96,71 |
94,67 |
1958 |
|
ALDI-CNN |
96,20 |
97,28 |
95,07 |
97,34 |
96,16 |
3014 |
ALDI-CNN превосходит базовую модель по всем метрикам качества (таблица 2). Наиболее важен рост чувствительности с 92,84 % до 95,07 %: число пропущенных заражённых клеток на тестовой выборке уменьшилось со 148 до 102, то есть примерно на 31 %, а число ложноположительных ответов — с 68 до 55. Время обучения увеличилось с 1958 до 3014 с, что допустимо, так как обучение выполняется однократно на компьютере. ALDI-CNN удовлетворяет целевым требованиям к модулю (чувствительность не менее 95 %, специфичность не менее 90 %), тогда как Base-CNN не достигает требуемой чувствительности. Сравнение с известными архитектурами приведено в таблице 3.
Таблица 3
Сравнение ALDI-CNN с существующими архитектурами
|
Модель |
Accuracy, % |
Precision, % |
Recall, % |
Specificity, % |
F1-score, % |
Время обучения, с |
|
ALDI-CNN |
96,20 |
97,28 |
95,07 |
97,34 |
96,16 |
3 014 |
|
AlexNet |
96,25 |
94,93 |
97,73 |
94,78 |
96,31 |
53 217 |
|
SqueezeNet |
96,40 |
94,65 |
98,36 |
94,44 |
96,47 |
25 042 |
|
ResNet18 |
96,76 |
96,99 |
96,52 |
97,00 |
96,75 |
323 480 |
|
MobileNetV2 |
96,59 |
95,51 |
97,78 |
95,40 |
96,63 |
183 790 |
Все модели показали близкую точность (96,2–96,8 %). ALDI-CNN уступает остальным архитектурам по чувствительности (95,07 % против 96,52–98,36 %), но имеет наибольшие Precision (97,28 %) и специфичность (97,34 %) при наименьшем входном размере 64×64. Время обучения ALDI-CNN в 8–107 раз меньше, чем у сравниваемых моделей. Модель содержит около 1,07 млн параметров (≈1,07 МБ после квантования в INT8), что позволяет рассчитывать на её размещение во Flash-памяти микроконтроллера объёмом не менее 2 МБ.
4. Заключение
Предложена лёгкая свёрточная нейронная сеть ALDI-CNN для обнаружения малярийных паразитов на изображениях клеток крови. По сравнению с базовой моделью точность выросла с 94,78 % до 96,20 %, чувствительность — с 92,84 % до 95,07 %, специфичность — с 96,71 % до 97,34 %. По сравнению с AlexNet, SqueezeNet, ResNet18 и MobileNetV2 модель обеспечивает наибольшие специфичность и Precision при многократно меньших вычислительных затратах.
Ограничения работы: эксперимент выполнен на одном наборе данных, модель не проверялась на целевом микроконтроллере. Далее планируются тестирование модели на микроконтроллерных платформах и валидация на данных из полевых условий.
Литература:
- LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. — 2015. — Vol. 521, № 7553. — P. 436–444. — DOI: 10.1038/nature14539.
- World Health Organization. Primary health care on the road to universal health coverage: 2019 monitoring report. — Geneva: WHO, 2019.
- Howard A. G., Zhu M., Chen B. et al. MobileNets: efficient convolutional neural networks for mobile vision applications // arXiv preprint. — 2017. — DOI: 10.48550/arXiv.1704.04861.
- Sandler M., Howard A., Zhu M. et al. MobileNetV2: inverted residuals and linear bottlenecks // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2018. — P. 4510–4520. — DOI: 10.1109/CVPR.2018.00474.
- Lin J., Chen W.-M., Lin Y. et al. MCUNet: tiny deep learning on IoT devices // Advances in Neural Information Processing Systems. — 2020. — Vol. 33. — P. 11711–11722.
- Rajaraman S., Antani S. K., Poostchi M. et al. Pre-trained convolutional neural networks as feature extractors toward improved malaria parasite detection in thin blood smear images // PeerJ. — 2018. — Vol. 6. — Art. e4568. — DOI: 10.7717/peerj.4568.
- Poostchi M., Silamut K., Maude R. J., Jaeger S., Thoma G. Image analysis and machine learning for detecting malaria // Translational Research. — 2018. — Vol. 194. — P. 36–55. — DOI: 10.1016/j.trsl.2017.12.004.
- Krizhevsky A., Sutskever I., Hinton G. E. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems. — 2012. — Vol. 25. — P. 1097–1105.
- Iandola F. N., Han S., Moskewicz M. W. et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size // arXiv preprint. — 2016. — DOI: 10.48550/arXiv.1602.07360.
- He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2016. — P. 770–778. — DOI: 10.1109/CVPR.2016.90.
- Ioffe S., Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift // Proceedings of the 32nd International Conference on Machine Learning (ICML). — 2015. — Vol. 37. — P. 448–456.
- Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: a simple way to prevent neural networks from overfitting // Journal of Machine Learning Research. — 2014. — Vol. 15, № 1. — P. 1929–1958.
- Kingma D. P., Ba J. Adam: a method for stochastic optimization // International Conference on Learning Representations (ICLR). — 2015. — DOI: 10.48550/arXiv.1412.6980.

