В данной статье проводится исследование системы графологического анализа почерка, основанной на применении нейронных сетей.
Ключевые слова: анализ почерка, характеристики почерка, обработка изображений, нейронные сети.
Идея изучения характера человека по почерку существовала в течение длительного времени. Известно, что возможности идентификации человека по почерку тесно связаны с индивидуальностью почерка, т. е. неповторимостью совокупности характеризующих его признаков в почерках разных лиц [1]. Установлено, что на каждом этапе формирования почерка, а затем и в период закрепления навыка письма наблюдается зависимость между признаками почерка и внешними и внутренними факторами, действующими на человека [2].
Общая гипотеза о существовании взаимосвязи признаков почерка и свойств личности опирается на известное в почерковедении положение о психофизиологической природе почерка. Необходимо отметить, что почерк вовсе не представляет собой нечто застывшее, раз и навсегда определившееся, а напротив, может претерпевать изменения и иногда довольно существенные. И не только значительные изменения окружающих условий влияют на почерк, он дает непосредственное отражение как более или менее постоянных настроений, так и внезапных эмоциональных реакций, состояний возбуждения, подавленности и т. п. «Всякое представление, возникающее в психике, любая тенденция, связанная с этим представлением, заканчиваются и отражаются в движении» — И. М. Сеченов.
Различные методы психологического исследования характера человека применяются довольно давно. В Интернете имеются сайты, где все желающие могут узнать тип и свойства нервной системы, черты характера с помощью разработанных методик. Подобные программы существуют и для локальных ПК. Однако до сих пор практически закрытой и не автоматизированной остается методика составления психологического портрета личности по почерку, а ведь почерк, как и отпечатки пальцев, сетчатка глаза, набор ДНК, является уникальным источником данных, позволяющих охарактеризовать его владельца с психологической стороны, основываясь не на субъективном восприятии индивидуума, а на объективных параметрах, отраженных на письме. Ни одна из программ не работает с почерком напрямую. Существующие системы получают информацию о почерке, который оценивается самим пользователем. В данных системах есть недостатки, такие как: субъективная оценка пользователя и его неподготовленность в вопросе анализа почерка. Пользователь не всегда может точно оценить уровень того или иного признака. Если определить наклон, типы которого довольно четко разграничены, достаточно легко, то с такой характеристикой, как округлость, для определения которой необходимо подсчитать количество дугообразных и угловатых элементов и вычислить их долевое соотношение, могут возникнуть трудности. Даже графологи порой могут не сойтись во мнении относительного оценки какой-нибудь характеристики почерка.
Графология как наука развивается уже более 400 лет, но именно в век компьютерных технологий она может сделать большой скачок вперёд: сегодня для анализа почерка можно применить уже современные компьютерные технологии. К примеру, есть возможность сканирования экземпляров почерка, а методы цифровой обработки изображений сегодня используются в широком круге областей. Это позволяет привести собранные экземпляры почерка к виду, удобному для анализа. В то же время машинное обучение или Machine Learning — одна из самых популярных областей Computer Science. Благодаря широкому распространению цифровых устройств, о машинном обучении заговорили как о революционном способе решения таких задач, как распознавание изображений, классификация и анализ данных, построение прогнозов и многих других.
Распознавание человеческой личности на основе анализа почерка состоит из пяти этапов: сбор данных, предварительная обработка изображения, сегментация, извлечение графологических признаков каждого сегмента и затем его классификация.
Рассмотрим более детально этапы и их последовательность.
- Сбор данных
Для данного исследования использовались образцы рукописного почерка учащихся средней школы с 6 по 11 классы. Каждому из них было предложено написать простой текст на нелинованной бумаге формата А4. Далее образцы были собраны в базу данных путем сканирования.
- Предварительная обработка изображения
На этапе предварительной обработки изображение обрабатывается путем применения порогового значения для удаления фонового шума, а также корректируется размер до правильной ориентации.
- Сегментация
При сегментации рукописного изображения, цифровой почерк разбивается на части для эффективного анализа.
- Выделение графологических признаков
Характеристики — количественные измерения, которые могут быть получены из образца почерка, по которым в дальнейшем можно получить характеристику общего стиля письма.
Эти измерения могут быть получены из целого образца, отдельного параграфа, слова или даже одного символа. Для того, чтобы количественно оценить процесс анализа документов, каждый из образцов отображается на набор функций, которые соответствуют ему. Такой набор называется характерным вектором. Например, если из образца почерка были извлечены характеристики 
, то они образуют вектор 
, который является точкой в d=мерном пространстве (здесь t — знак транспонирования вектора).
Рассмотрим четыре отличительных признака, таких как нажим, размер букв, расстояние между словами, наклон базовой линии.
4.1 Нажим
Чтобы измерить нажим, используется простой метод определения порога. Вычисляется интенсивность темных пикселей в изображении, и если она больше некоторого значения 
, то нажим считается сильным, если же она меньше значения 
– слабым.
4.2 Размер букв
Определяется как средняя высота букв. Чтобы определить высоту букв, на изображении слова ищется первый и последний черные пиксели по оси y. Разница между ними и будет искомым параметром.
4.3 Расстояние между словами
Данная классификация основана на характеристиках, которые были получены после сегментации линий. Для нахождения расстояния между словами необходимо высчитать количество белых пикселей между концом одного слова и началом другого слова.
4.4 Наклон базовой линии
Угол наклона базовой линии рассчитывается следующим образом:
(1)
, где 
, 
— координаты нижней точки первой буквы строки, 
, 
— координаты нижней точки последней буквы строки.
- Обучение и тестирование
Для программной реализации был выбран язык программирования Python 3 [3]. Основным его достоинством является простота и скорость разработки. Для Python существует большое количество библиотек машинного обучения. Для реализации поставленной задачи были выбраны следующие библиотеки:
Keras. Эта библиотека содержит многочисленные реализации широко применяемых строительных блоков нейронных сетей, таких как слои, целевые и передаточные функции, оптимизаторы, и множество инструментов для упрощения работы с изображениями и текстом;
PIL (Python Image Library), наиболее часто используемую для работы с изображениями в Python;
Pytesser — OCR-библитека для языка Python (оптическое распознавание символов).
Обучающий набор состоял из 100 образцов почерка школьников. Образцы для обучения были выбраны так, чтобы в них имелись все вариации рассматриваемых характеристик. Каждый делится на 15 сегментов. При помощи библиотек PIL и pytesseract изображения были предобработаны.
Процесс и результаты обучения нейронной сети показаны на рисунке 1 и рисунке 2.
Рис. 1. Процесс обучения нейронной сети
Рис. 2. Результат обучения нейронной сети
Возьмем изображение для проверки работы системы.
Рис. 3. Образец испытуемого почерка
Обработаем его, как было указано выше, и получим вектор, который можно подавать на вход нашей модели. Итоговый вектор показан на рисунке 4.
Рис. 4. Итоговый вектор
Теперь можно делать предсказание и вывести для каждого класса метрику Accuracy. Результаты показаны на рисунке 5.
Рис. 5. Результат работы программы
Разработанная модель уверена на 57 %, что данный почерк несет депрессивный характер, на 23 %, что это апатия, и лишь на 20 %, что почерк без явных признаков отклонений.
В будущем в данной системе распознавания образов почерка можно увеличить количество рассматриваемых характеристик почерка, чтобы обеспечить более полную картину личности. Также стоит учитывать возможность изменение данных, на которых производится обучение, и выбора более оптимальных параметров обучения, чтобы обеспечить лучшую точность.
Литература:
1. Погибко Ю. Н., Сидельникова Л. В., Хускивадзе Т. Х. Предпосылки разработки научных основ и создания методик криминалистической психолого-почерковедческой экспертизы. СПб. — М.: ВНИИСЭ, 1985.
2. Зуев-Инсаров Д. Почерк и личность. Способ определения характера по почерку // Тайна характера. Чтение характера по почерку. Харьков: Фолио, 1996.
3. Документация по языку Python 3. Режим доступа: https://www.python.org/download/releases/3.0/
4. Keras: the Python deep learning API. Режим доступа: https://keras.io/
5. Vikram Kamath, Nikhil Ramaswamy, P. Navin Karanth, Vijay Desai, S. M. Kulkarni. Development of an automated handwriting analysis system // Asian Research Publishing Network Journal of Engineering and Applied Sciences. — 2011. — Vol. 6, № 9. — C. 135–139.
