В России зарегистрировано около 400 тысяч инвалидов по зрению, из них 10 % — тотально незрячие. Но, благодаря смартфонам и уникальному программному обеспечению, они могут позволить себе жить полноценной жизнью. В статье представлено описание созданного автором уникального мобильного приложения для людей — инвалидов по зрению.
Ключевые слова: мобильные приложения, среда разработки, инвалиды по зрению.
Современный мобильный телефон — незаменимое устройство для большинства людей, независимо от их состояния здоровья. Но для людей с инвалидностью — это не просто удобный гаджет, а средство реабилитации, которое может быть полезнее многих традиционных ТСР.
Для большинства зрение является самым важным способом получения и интерпретации информации из внешнего мира. Ученые до сих пор до конца не знают, как работает мозг, поэтому подтвердить это точной статистикой не могут, но эксперты сходятся во мнении, что глаза — наш основной орган чувств. Люди с нарушениями зрения воспринимают мир совершенно иначе. Они не лучше и не хуже, они просто другие. Слепота, безусловно, связана с проблемами, поскольку практически весь мир приспособлен для зрячих. Слепым приходится нелегко с вещами, которых остальной мир не замечает.
Многие представляют себе слепоту как хождение с закрытыми глазами, но это не так. Говоря юридически, можно быть незрячим и все еще немного видеть. Человек считается слепым, когда его глаза воспринимают не более 10 % того, что видят остальные, даже с корректирующими линзами. Он вынужден прибегать к альтернативным мерам, чтобы делать то же, что и люди с нормальным зрением.
На данный моменте на рынке мобильных приложений существует огромное количество приложений. Мелким разработчикам не выгодно самим придумывать и планировать будущие приложение, из-за этого очень развит плагиат, то есть если кто-то создает действительно хорошую игру или приложение, то все остальные уже на следующий день создают множество низкокачественных копий. В сфере социальных мобильных приложений все относительно спокойно и конкуренции почти нет.
Вот наиболее интересные технологические разработки, которые могут сделать жизнь незрячих более комфортной, а иногда позволяют почти буквально видеть мир.
TapTapSee это приложение создание чтобы облегчить повседневный быт для слабовидящих людей. Из функционала имеет только функцию распознавание объектов на фотографии, из плюсов можно отметить хорошие качество распознавание объектов, из минусов — невозможность озвучить результат распознавания прямо после скачивания что заставляет слабовидящего чел человека читать мелкий текст с текстовым результатом анализа или же лезть в настройки телефона для включения данной функции. Ко второму значительному минусу можно отнести привязанность к наличию быстрого безлимитного интернета так как приложение не умеет работать в офлайн режиме и использует Azure Cognitive Services для анализа изображения что накладывает ограничение на количество обработанных фотографий и выливается в ежемесячную плату разработчика приложения. Следующим существенным недостатком является затаённость на наличие платного контента. На этом недостатки приложения в принципе, как и его функционал заканчиваются.
Приложение “Sullivan+” уже имеет больше функций чем “TapTapSee” но приложение также привязано к интернету и так же зависит от работоспособности Azure Cognitive Services. Из функций данного приложения стоит отметить “Распознавание текста”, “Описание изображения” и “Режим AI” (Совмещает режим “Распознавание текста” и режим “Описание изображения” в одной вкладке) плюсом данного приложения является хорошие качество распознавание объектов и текста из минусов привязка к Azure Cognitive Services и наличие всплывающей рекламы.
Приложение “Яндекс.Разговор” предназначенное для помощи в общении между глухими, слабослышащими и слышащими людьми. Приложение переводит сказанное собеседником в текст на экране и озвучивает набранные вручную сообщения.
В качестве среды разработки использовалась Visual Studio Community из-за её обширного функционала и бесплатного использования для любого индивидуального разработчика или команд с неограниченным количеством разработчиков.
Для разработки приложения был выбран фреймворк Xamarin — это фреймворк для кроссплатформенной разработки мобильных приложений (iOS, Android, Windows Phone) с использованием языка C#. С точки зрения исполнения приложений между iOS и Android есть одно ключевое различие — способ их предварительной компиляции. Как известно, для выполнения приложений в Android используется виртуальная Java-машина Dalvik.
В качестве языка программирования использовался язык C# из-за привязанности к Xamarin Forms.
После выбора языка программирования, фреймворка и среды разработки можно приступить к написанию программы. Первое что необходимо сделать это создать план для разработки приложения он включал в себя все функции готового приложения, набросок интерфейса программы и библиотеки, которые планировалось использовать для разработки приложения. На следующем этапе я создал проект Xamarin Forms в Visual Studio и подключил необходимые библиотеки.
После настройки библиотек необходимо создать пользовательский интерфейс для этого надо создать страницу MainPage.xaml и в ней прописать разметку MasterDetailPage. После чего для кнопок прописать логику, располагающаяся в файле MainPage.xaml.cs. При нажатии на какую-либо кнопку на стартовую страницу вставляется содержимое другой страницы так пользователь может переходить по вкладкам.
Далее можно приступить к реализации основных функций приложения и начать с функции распознавания текса по плану у этой функции будет 2 режима работы онлайн и офлайн. В первом случае изображение будет отправляется на сервер для анализа, где мощные нейронные сети будут распознавать текст на изображении и отправлять его на устройство клиенту для этого в дальнейшем будет написан сервер. Во втором случае распознавание текста с изображение будет происходить при помощи библиотеки Tesseract для этого был скачен и подключен языковой файл и установлена сама библиотека.
Рис. 1. Авторское приложение для инвалидов по зрению
При разработке сервера была выбрана основа консольного приложения.net core для возможности запуска на всех популярных операционных системах. Логика сервера заключается в приеме подключения от клиентов и получении массива байт и последующем преобразовании его в изображение далее изображение передается библиотеке IronOCR или же YOLO в зависимости от требования клиента. После распознавания текста или получения объектов с изображения сервер отправляет клиенту результат.
20–30 лет назад в арсенале слепых и слабовидящих людей были лишь трости, собаки-поводыри и простейшие электронные приборы с голосовой функцией (часы, стационарные телефоны). Но сегодня мы живём в цифровом мире. В мире гаджетов, мессенджеров и интерфейсов.
Созданное мобильное приложение может стать помощникам инвалидам по зрению, визуальное восприятие которых ограничено болезнью или полной слепотой, для развития и получения образования, а также востребованных рынком труда профессий и навыков.
Литература:
- Марк Дж. Прайс. C# 7 и.NET Core. Кроссплатформенная разработка для профессионалов. — Питер, 2017. — 640 с.
- Троелсен Эндрю, Джепикс Филипп. Язык программирования C# 7 и платформы.NET и.NET Core. — Москва, 2018. — 1328 с.
