Методика прогнозирования эмоционального состояния на основе компьютерного зрения в реальном времени | Статья в журнале «Молодой ученый»

Отправьте статью сегодня! Журнал выйдет 13 июля, печатный экземпляр отправим 17 июля.

Опубликовать статью в журнале

Автор:

Научный руководитель:

Рубрика: Информационные технологии

Опубликовано в Молодой учёный №25 (524) июнь 2024 г.

Дата публикации: 17.06.2024

Статья просмотрена: 5 раз

Библиографическое описание:

Константинов, Д. С. Методика прогнозирования эмоционального состояния на основе компьютерного зрения в реальном времени / Д. С. Константинов. — Текст : непосредственный // Молодой ученый. — 2024. — № 25 (524). — URL: https://moluch.ru/archive/524/115804/ (дата обращения: 30.06.2024).



В статье описывается уникальная методика прогнозирования эмоционального состояния человека на основе компьютерного зрения. В работе обосновывается выбор модели для анализа эмоционального состояния, строится регрессионная прогнозная модель.

Ключевые слова: компьютерное зрение, оценка эмоционального состояния, прогнозирование, статистическая выборка, горизонт прогнозирования.

Предлагаемая методика прогнозирования эмоционального состояния на основе компьютерного зрения состоит из трёх этапов:

— оцифровка эмоционального состояния на основе компьютерного зрения;

— определение объёма статистической выборки и величины горизонта прогнозирования;

— прогнозирование эмоционального состояния в реальном времени с применением адаптивной регрессионной модели.

При выборе модели для оцифровки эмоционального состояния, необходимо учитывать её быстродействие и точность. Для выбора предлагается использовать набор данных с изображениями лиц разбитый на категории базовых эмоций. При этом среднее время обработки изображения рассчитывается по формуле (1).

где n — это количество изображений в массиве, t i — время обработки i-го изображения.

Качество работы модели рассчитывается как доля правильно распознанных эмоций на изображении.

При построении регрессионной модели необходимо подобрать параметры: объём статистической выборки и величина горизонта прогнозирования. Значения этих параметров существенно влияют на точность прогнозирования. Подбор производится экспериментально с использованием видеозаписи, содержащей сцену общения в определённых обстоятельствах. Например, в задаче корректировки качества обслуживания, необходимо видеозапись беседы с клиентом. Важно, чтобы на видео было хорошо отражено лицо. Для подбора параметров и модели, используются тепловые карты со следующими метриками: среднеквадратическая ошибка, средняя абсолютная ошибка, средняя абсолютная ошибка в процентах, коэффициент детерминации.

Пример тепловой карты для коэффициента детерминации (столбцы — количество кадров в объёме статистических данных, строки — количество кадров горизонта прогнозирования, значения в ячейках — коэффициент детерминации) представлен на рисунке 1.

Тепловая карта коэффициента детерминации

Рис. 1. Тепловая карта коэффициента детерминации

При анализе тепловых карт были определены приемлемые величины искомых параметров, которые равняются 90 секундам и 30 секундам соответственно. Лучшую точность прогнозирования показала модель ARIMA. В исследовании использовались такие модели, как:

— линейная регрессия;

— полиномиальная регрессия (второй степени);

— полиномиальная регрессия (третьей степени);

— ARIMA.

Процесс прогнозирования эмоционального состояния в реальном времени представлен схемой (рисунок 2).

Схема прогнозирования в реальном времени

Рис. 2. Схема прогнозирования в реальном времени

Алгоритм прогнозирования состоит из следующих этапов:

— накопление статистических данных за 90 секунд с интервалом в 1 секунду;

— обучение модели ARIMA на основе накопленных данных;

— прогнозирование следующих 30 секунд.

В результате прогноз производится в режиме реального времени и непрерывно.

Необходимо учитывать, что на практике в прогнозировании нуждаются только несколько эмоций, например, в задаче корректировки качества взаимодействия с клиентом, прогнозируются только негативные эмоции, которые не должен испытывать клиент, например: гнев, страх, печаль, отвращение. Для определения необходимых эмоций используется формальная модель эмоций Джеймса-Рассела [1]. Она определяет эмоцию, как точку в двумерном пространстве, сформированном двумя базисами «Интенсивность» и «Оттенок» [2]. Схема данной модели представлена на рисунке 3.

Схема формальной модели эмоций Джеймса-Рассела

Рис. 3. Схема формальной модели эмоций Джеймса-Рассела

Таким образом, предлагаемая методика прогнозирования эмоционального состояния на основе компьютерного зрения в реальном времени охватывает все аспекты, которые необходимо учитывать в данной задаче.

Литература:

1. Russell J. A. A circumplex model of affect //Journal of personality and social psychology. — 1980. — Т. 39. — №. 6. — С. 1161.

2. Константинов Д. С., Томилов И. Н. Распознавание эмоционального состояния человека на основе компьютерного зрения / Д. С. Константинов; науч. рук. И. Н. Томилов. — Текст: непосредственный // Сборник материалов Всероссийской (заочной) научной конференции преподавателей, аспирантов и студентов (Хабаровск, 25–26 декабря 2023г.). [Электронное научное издание: 1 Файл — 54,0Мб]. — С. 83–86. — ISBN 978–5–04–092883–7.

Основные термины (генерируются автоматически): эмоциональное состояние, ARIMA, компьютерное зрение, реальное время, коэффициент детерминации, статистическая выборка, абсолютная ошибка, величина горизонта прогнозирования, полиномиальная регрессия, формальная модель эмоций.


Ключевые слова

прогнозирование, компьютерное зрение, оценка эмоционального состояния, статистическая выборка, горизонт прогнозирования

Похожие статьи

Задать вопрос