Данная статья посвящена обзору возможностей применения нейрокомпьютерного интерфейса NeuroSky Mindwave Mobile для управления мобильным роботом. Проведенное исследование позволяет утверждать, что NeuroSky MindWave Mobile позволяет фиксировать определенные сигналы головного мозга, которые возможно использовать для управления движением робота, однако набор таких сигналов ограничен. Таким образом, нейрокомпьютерный интерфейс NeuroSky MindWave Mobile может использоваться для управления различными роботами для выполнения ограниченного набора действий.
Ключевые слова: нейрокомпьютерный интерфейс, ЭЭГ, робот, P300, BCI.
Последние достижения в области ЭЭГ (электроэнцефалография) открыли широкие возможности для исследований и разработки приложений по использованию данных сигналов головного мозга в различных предметных областях. Традиционно, данные ЭЭГ получали с помощью громоздких медицинских устройств путем установки инвазивных датчиков непосредственно в мозг под черепом, либо, используя, мокрые электроды, обрабатываемые специальным гелем. В настоящий момент на рынке появились устройства нескольких производителей, которые позволяют собирать данные ЭЭГ с помощью неинвазивных сухих электродов. Данные устройства от ЭЭГ устройств медицинского класса отличает компактность, удобство использования в повседневной жизни, а также значительно более низкая цена. Примерами таких устройств являются продукты компаний NeuroSky, MindFlex, Emotiv.
В связи с возрастающей доступностью данных технологий важной задачей является исследование и оценка возможности их использования в различных областях человеческой деятельности обычными пользователями в не лабораторных условиях для различных научных и практических приложений. В данной статье рассматривается возможность использования коммерческих нейрокомпьютерных интерфейсов для управления мобильным роботом. Мы рассмотрели и оценили возможности применения различных сигналов головного мозга, которые детектировались нейрокомпьютерным интерфейсом NeuroSky MindWave Mobile (Рис. 1б), для управления движением мобильного робота Orbotix Sphero (Рис. 1а).
|
а |
б |
Рис. 1. Устройства, используемые в экперименте: а — мобильный робот Orbotix Sphero; б — нейрокомпьютерный интерфейс NeuroSky MindWave Mobile
Отличительной особенностью нашего исследования от предыдущих исследований управления устройствами и системами на основе ЭЭГ данных является изучение эффективности использования одноканального ЭЭГ сигнала, а не многоканального. Современные клинические ЭЭГ системы имеют большое количество электродов (32, 64, 128, 256) и соответственно предоставляют многоканальный ЭЭГ сигнал. В своем экспериментальном исследовании мы использовали одноканальный коммерческий нейрокомпьютерный интерфейс NeuroSky MindWave Mobile. NeuroSky MindWave Mobile позволяет получать ЭЭГ сигнал с единственного сухого датчика, располагающегося над левой фронтальной лобной долей головного мозга.
Форм-фактор используемого нейрокомпьютерного интерфейса и неинвазивный электрод позволяют говорить об удобстве использования данного устройства для повседневных задач управления устройствами и компьютерными системами.
Краткий обзор предыдущих работ
В последние годы идея использования сигналов головного мозга для управления различными устройствами привлекла внимание многих исследователей. Так, например, несколько групп ученых в своих работах анализировали возможность использования нейрокомпьютерного интерфейса Emotiv Epoc для управления роботизированной рукой [5, 9]. Другие исследователи изучали возможности управления объектами в виртуальной среде (например, объектами в видеоиграх [6]) и устройствами (радиоуправляемый вертолет [2]) с помощью клинических ЭЭГ систем. Также исследователи изучали возможности применения сигналов головного мозга для управления элементами графического интерфейса пользователя компьютерных систем. Группа ученых под руководством Фабиани исследовала применение нейрокомпьютерного интерфейса для управления движением курсора в двух измерениях [4], а группа американских ученых предприняла попытку создания системы управления интерфейсом смартфона Apple iPhone с помощью нейрокомпьютерного интерфейса Emotiv Epoc [3]. В большинстве указанных выше работ и аналогичных им для преобразования сигналов головного мозга в управляющее воздействие для устройства или объекта компьютерной системы используется подход на основе детектирования вызванного потенциала P300. Подробнее о данном подходе и его применении при использовании нейрокомпьютерного интерфейса Emotiv Epoc можно узнать из данной статьи [1]. Данный подход требует использования нейрокомпьютерного интерфейса как минимум с тремя электродами, поэтому в нашем исследовании он оказался не применим.
Эксперимент
Мобильный робот Orbotix Sphero представляет из себя шар, способный перемещаться в заданном направлении с помощью встроенного двигателя, а также поворачиваться вокруг своей оси. Orbotix Sphero обладает беспроводным интерфейсом Bluetooth, что позволяет отдавать ему управляющие команды с внешних устройств. Для управления скоростью движения в текущем направлении мобильного робота предлагается использовать уровень концентрации пользователя, а для поворота робота на 90 градусов — уровень расслабления пользователя. Уровень концентрации и уровень расслабления пользователя вычисляются с помощью нейрокомпьютерного интерфейса NeuroSky MindWave Mobile на основе данных активности альфа- и бета-волн головного мозга. Известно, что альфа-волны (8–12 Гц) преобладают в ЭЭГ при расслаблении человека, а бета-волны (13–30 Гц) преобладают в ЭЭГ при концентрации человека на выполнении каких-либо мыслительных задач [7, 8].
Общая схема экспериментальной системы управления мобильным роботом представлена на Рис. 2.
Рис. 2. Общая схема экспериментальной системы управления мобильным роботом
Характеристики нейрокомпьютерного интерфейса NeuroSky MindWave Mobile
Нейрокомпьютерный интерфейс NeuroSky MindWave Mobile имеет 1 датчик для считывания сигналов головного мозга, а также один дополнительный датчик опорного канала. Датчики имеют следующий тип: пассивные, сухие. При работе нейрокомпьютерный интерфейс ловит электрические сигналы не только от мозга, но и от мышц. Эти сигналы сильнее, чем от мозга и их нужно фильтровать. Для этого считывается дополнительный сигнал оттуда, где есть сигналы от мышц, но нет сигналов от мозга — это точки в височной области или районе ушей (для NeuroSky MindWave Mobile это мочка левого уха). Схема расположения датчиков на голове изображена на Рис. 3.
Рис. 3. Схема расположения электрода NeuroSky MindWave Mobile соответствует зоне Frontal Polar 1 (Fp1), датчик опорного сигнала располагается в зоне A1
Зафиксированные нейрокомпьютерным интерфейсом данные сигналов головного мозга передаются по беспроводному Bluetooth каналу на компьютер, который по определенному алгоритму обрабатывает полученные сигналы и преобразует их в управляющие сигналы для мобильного робота.
Для определения уровня расслабления и уровня концентрации оператора, управляющего мобильным роботом на основе альфа- и бета-волн соответственно был использован следующий алгоритм:
1) К исходному ЭЭГ сигналу применяется быстрое преобразование Фурье в соответствии с формулами:
(1)
где X является вектором зафиксированных необработанных ЭЭГ сигналов за последние 2 секунды, Y — спектральной мощностью X, вычисленной с помощью быстрого преобразования Фурье. Yn показывает амплитуду волн n-ой частоты.
2) Вычисляется среднее значение амплитуды мозговых волн на соответствующем диапазоне частот в соответствии с формулами:
(2)
Среднее значение амплитуды мозговых волн в альфа диапазоне Pα получается усреднением значений Y в диапазоне от 8 до 12 Гц. Среднее значение амплитуды мозговых волн в бета диапазоне Pβ получается усреднением значений Y в диапазоне от 13 до 30 Гц.
3) Полученное среднее значение для альфа- и бета-волн нормализуется в соответствии с формулой (3) в диапазоне от 0 до 100.
(3)
4) Полученное нормализованное значение для альфа-волн принимается в качестве показателя расслабления пользователя, полученное нормализованное значение для бета-волн принимается в качестве показателя концентрации пользователя.
Для того, чтобы инициировать движение мобильного робота в его текущем направлении, оператору с одетым нейрокомпьютерным интерфейсом необходимо поддерживать уровень концентрации выше определенного порогового значения (в нашем эксперименте данное пороговое значение равно 50 для показателей концентрации и расслабления) не менее 3 секунд. Для того, чтобы инициировать поворот мобильного робота на 90 градусов, оператору необходимо поддерживать уровень расслабления выше порогового значения не менее 3 секунд. Если оператор выполняет указанные выше условия по уровню концентрации или расслабления, то компьютер отправляет по беспроводному Bluetooth каналу управляющие сигналы мобильному роботу Sphero.
На графике ниже (Рис. 4) указаны примеры описанных управляющих сигналов, которые отдавались мобильному роботу в процессе эксперимента.
Рис. 4. График управляющих сигналов
Результаты и выводы
По результатам проведенного эксперимента можно сделать вывод, что нейрокомпьютерный интерфейс NeuroSky MindWave Mobile позволяет детектировать актуальные сигналы головного мозга. Последующая обработка данных сигналов позволяет на их основе сформировать определенный набор управляющих сигналов, который может быть использован для контроля как реальных удаленных устройств, так и объектов в виртуальной среде. Однако в следствии технических ограничений нейрокомпьютерного интерфейса NeuroSky MindWave Mobile (малое количество электродов) набор управляющих сигналов ограничен, но достаточен для управления несложными устройствами.
Литература:
1. Попов, Е. Ю. Исследование возможности применения нейрокомпьютерного интерфейса Emotiv EPOC для регистрации вызванных потенциалов P300 // Современные научные исследования и инновации. 2013. № 9 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2013/09/26479.
2. Andersen, K., Juvik, E., Kjellen, E., & Storstein, K. I. B. 2009. Radio controlled helicopter using neurofeedback.
3. Campbell, A.T., Choudhury T., Shaohan Hu, Hong Lu, Rabbi, M. 2010. NeuroPhone: Brain-Mobile Phone Interface using a Wireless EEG Headset. MobiHeld 2, 3–8 [Электронный ресурс]. URL: http://www1.cs.dartmouth.edu/reports/TR2010–666.pdf.
4. Fabiani, G.E., McFarland, D.J., Wolpaw, J.R., Pfurtscheller, G. Conversion of EEG activity into cursor movement by a brain-computer interface (BCI). IEEE transactions on neural systems and rehabilitation engineering: a publication of the IEEE Engineering in Medicine and Biology Society. 2004. 12(3). 331–8 [Электронный ресурс]. URL: http://www.ncbi.nlm.nih.gov/pubmed/15473195.
5. Fok, B., Schwartz, S., Schwartz, R., Holmes, C. D. Direct Recoupling of Intention and Movement (Washington University in St. Louis). 2011. IpsiHand: Direct Recoupling of Intention and Movement (Washington University in St. Louis) [Электронный ресурс]. URL: http://aac-rerc.psu.edu/wordpressmu/RESNA-SDC/2011/04/27/ipsihand-direct-recoupling-of-intention-and-movement-washington-university-in-st-louis/.
6. Larsen, E.A. 2010. Playstation Controlled by Brain Waves (Tech. Rep.). Trondheim.
7. Lin C-T, Ko L-W, Chiou J-C, Duann J-R, Huang R-S, Chiu T-W, Liang S-F, Jung T-P: Noninvasive neural prostheses using mobile and wireless EEG. Proceedings of the IEEE 2008, 96:1167–1183.
8. Lin CT, Chung IF, Ko LW, Chen YC, Liang SF, Duann JR: EEG-based assessment of driver cognitive responses in a dynamic virtual-reality driving environment. IEEE Transactions on Biomedical Engineering 2007, 54:1349–1352.
9. Ranky, G.N., Adamovich, S. Analysis of a Commercial EEG Device for the Control of a Robot Arm, Bioengineering Conference, Proceedings of the 2010 IEEE 36th Annual Northeast. [Электронный ресурс]. URL: http://www.ieee.org/portal/innovate/search/article_details.html?article=5458188.
