Методика прогнозирования эмоционального состояния на основе компьютерного зрения в реальном времени | Статья в журнале «Молодой ученый»

Отправьте статью сегодня! Журнал выйдет 29 июня, печатный экземпляр отправим 3 июля.

Опубликовать статью в журнале

Автор:

Научный руководитель:

Рубрика: Информационные технологии

Опубликовано в Молодой учёный №25 (524) июнь 2024 г.

Дата публикации: 17.06.2024

Статья просмотрена: 4 раза

Библиографическое описание:

Константинов, Д. С. Методика прогнозирования эмоционального состояния на основе компьютерного зрения в реальном времени / Д. С. Константинов. — Текст : непосредственный // Молодой ученый. — 2024. — № 25 (524). — URL: https://moluch.ru/archive/524/115804/ (дата обращения: 21.06.2024).

Препринт статьи



В статье описывается уникальная методика прогнозирования эмоционального состояния человека на основе компьютерного зрения. В работе обосновывается выбор модели для анализа эмоционального состояния, строится регрессионная прогнозная модель.

Ключевые слова: компьютерное зрение, оценка эмоционального состояния, прогнозирование, статистическая выборка, горизонт прогнозирования.

Предлагаемая методика прогнозирования эмоционального состояния на основе компьютерного зрения состоит из трёх этапов:

— оцифровка эмоционального состояния на основе компьютерного зрения;

— определение объёма статистической выборки и величины горизонта прогнозирования;

— прогнозирование эмоционального состояния в реальном времени с применением адаптивной регрессионной модели.

При выборе модели для оцифровки эмоционального состояния, необходимо учитывать её быстродействие и точность. Для выбора предлагается использовать набор данных с изображениями лиц разбитый на категории базовых эмоций. При этом среднее время обработки изображения рассчитывается по формуле (1).

где n — это количество изображений в массиве, t i — время обработки i-го изображения.

Качество работы модели рассчитывается как доля правильно распознанных эмоций на изображении.

При построении регрессионной модели необходимо подобрать параметры: объём статистической выборки и величина горизонта прогнозирования. Значения этих параметров существенно влияют на точность прогнозирования. Подбор производится экспериментально с использованием видеозаписи, содержащей сцену общения в определённых обстоятельствах. Например, в задаче корректировки качества обслуживания, необходимо видеозапись беседы с клиентом. Важно, чтобы на видео было хорошо отражено лицо. Для подбора параметров и модели, используются тепловые карты со следующими метриками: среднеквадратическая ошибка, средняя абсолютная ошибка, средняя абсолютная ошибка в процентах, коэффициент детерминации.

Пример тепловой карты для коэффициента детерминации (столбцы — количество кадров в объёме статистических данных, строки — количество кадров горизонта прогнозирования, значения в ячейках — коэффициент детерминации) представлен на рисунке 1.

Тепловая карта коэффициента детерминации

Рис. 1. Тепловая карта коэффициента детерминации

При анализе тепловых карт были определены приемлемые величины искомых параметров, которые равняются 90 секундам и 30 секундам соответственно. Лучшую точность прогнозирования показала модель ARIMA. В исследовании использовались такие модели, как:

— линейная регрессия;

— полиномиальная регрессия (второй степени);

— полиномиальная регрессия (третьей степени);

— ARIMA.

Процесс прогнозирования эмоционального состояния в реальном времени представлен схемой (рисунок 2).

Схема прогнозирования в реальном времени

Рис. 2. Схема прогнозирования в реальном времени

Алгоритм прогнозирования состоит из следующих этапов:

— накопление статистических данных за 90 секунд с интервалом в 1 секунду;

— обучение модели ARIMA на основе накопленных данных;

— прогнозирование следующих 30 секунд.

В результате прогноз производится в режиме реального времени и непрерывно.

Необходимо учитывать, что на практике в прогнозировании нуждаются только несколько эмоций, например, в задаче корректировки качества взаимодействия с клиентом, прогнозируются только негативные эмоции, которые не должен испытывать клиент, например: гнев, страх, печаль, отвращение. Для определения необходимых эмоций используется формальная модель эмоций Джеймса-Рассела [1]. Она определяет эмоцию, как точку в двумерном пространстве, сформированном двумя базисами «Интенсивность» и «Оттенок» [2]. Схема данной модели представлена на рисунке 3.

Схема формальной модели эмоций Джеймса-Рассела

Рис. 3. Схема формальной модели эмоций Джеймса-Рассела

Таким образом, предлагаемая методика прогнозирования эмоционального состояния на основе компьютерного зрения в реальном времени охватывает все аспекты, которые необходимо учитывать в данной задаче.

Литература:

1. Russell J. A. A circumplex model of affect //Journal of personality and social psychology. — 1980. — Т. 39. — №. 6. — С. 1161.

2. Константинов Д. С., Томилов И. Н. Распознавание эмоционального состояния человека на основе компьютерного зрения / Д. С. Константинов; науч. рук. И. Н. Томилов. — Текст: непосредственный // Сборник материалов Всероссийской (заочной) научной конференции преподавателей, аспирантов и студентов (Хабаровск, 25–26 декабря 2023г.). [Электронное научное издание: 1 Файл — 54,0Мб]. — С. 83–86. — ISBN 978–5–04–092883–7.



Задать вопрос