Практическое значение синестезии на примере программы the vOICe | Статья в журнале «Молодой ученый»

Отправьте статью сегодня! Журнал выйдет 28 декабря, печатный экземпляр отправим 1 января.

Опубликовать статью в журнале

Библиографическое описание:

Макарова А. М., Короткевич А. А., Жадан С. А. Практическое значение синестезии на примере программы the vOICe // Молодой ученый. — 2018. — №16. — С. 50-54. — URL https://moluch.ru/archive/202/49485/ (дата обращения: 15.12.2019).



Проведено исследование использования устройства сенсорного замещения the vOICe и роли синестезии в его работе. Изучены основные принципы и закономерности работы данной программы. Установлено значительное улучшение навыков использования устройства the vOICe в ходе регулярных тренировок с целью приобретения искусственной синестезии. Обосновано применение данной программы для людей с ограниченным зрением.

Ключевые слова: the vOICe, синестезия, сенсорное замещение, звуковой ландшафт.

Синестезия — феномен, при котором раздражение в одной сенсорной системе ведет к автоматическому отклику в другой [1]. Участки мозга выполняют различные функции, и увеличение перекрестных связей между ними может объяснить многие виды синестезии [2]. Возможно, этот феномен является ключевым в работе устройств сенсорного замещения. И искусственное развитие синестезии может увеличить эффективность работы этих устройств, среди которых одной из наиболее доступных систем является программа The vOICe.

Цель: дать оценку эффективности применения технологии сенсорного замещения the vOICe.

Задачи:

  1. Изучить практический аспект использования явления синестезии с помощью программы The vOICe.
  2. Оценить принцип работы технологии сенсорного замещения The vOICe.

Материалы иметоды. Программа, разработанная в рамках исследовательского проекта the vOICe голландцем Питером Мейером, сотрудником научно-исследовательского отдела компании Philips [3], 9 графических изображений и соответствующие звуковые ландшафты, изолированное светлое помещение, предмет (темный стул). Объектом исследования являлись 40 студентов без патологических отклонений в сенсорных системах.

Технология сенсорного замещения The vOICe основана на преобразовывании «сырых» визуальных изображений в соответствующие звуковые ландшафты, сохраняя при этом значительное количество визуальной информации [4]. Технически это позволяет «видеть звуком».

Существует три правила, используемых программой The vOICe при отображении изображения в звуке [5]:

  1. Лево и право. Изображения сканируются и озвучиваются по направлению слева направо. По умолчанию скорость озвучивания одного изображения равна одному снимку в секунду. Стереозвук также прокручивается слева направо, что облегчает отслеживание направления сканирования изображения. Таким образом, возникший слева или справа звук свидетельствует о наличии зрительного образа, расположенного, соответственно, в левой или правой стороне.
  2. Верх и низ. Возникающий при каждом сканировании тон обозначает высоту: чем выше тон, тем выше положение объекта в поле зрения. Следовательно, в зависимости от того, повышается или понижается тон звукового ландшафта, можно судить о том, восходящий, или, соответственно, нисходящий зрительный образ располагается перед человеком.
  3. Тень и свет. Громкость обозначает яркость: чем громче звук, тем ярче (светлее) изображаемый предмет. Следовательно, тишина соответствует черному цвету, громкий звук — белому, а все, что между ними — есть оттенки серого цвета.

Примеры графических изображений, использованных в данной работе

Рис. 1. Линия вверх

Рис. 2. Линия вниз

Рис. 3. Набор вертикальных полос

Рис. 4. Два квадрата

Рис. 5. Линия горизонтальная

Рис. 6. Пустой квадрат

Рис. 7. Пустой круг

Рис. 8. Верхняя половина круга

Рис. 9. Нижняя половина круга

Результаты иих обсуждение

Эксперимент, состоял из 2 этапов, в ходе которого испытуемые развивали навык узнавания определенных геометрических фигур и передвижения по комнате c закрытыми глазами.

На первом этапеисследования испытуемым требовалось узнавать изображения по звуковым ландшафтам. В течении первых 10 минут первого этапа эксперимента проводилась тренировка. С открытыми глазами студенты использовали the vOICe на 9 изображениях, представленных выше. Происходило это следующим образом: один из экспериментаторов поочерёдно показывал светлые фигуры на темном фоне, другой экспериментатор направлял камеру мобильного телефона таким образом, чтобы считывалось только нужное изображения. Испытуемый в это время смотрел на показываемые ему фигуры и запоминал их звучание. После 10-минутного перерыва все 9 изображений ещё раз просматривались 1 раз. Затем происходило испытание: студенты закрывали глаза и определяли, демонстрируемую им фигуру с помощью программы.

На втором этапе эксперимента задачей испытуемых была ориентировка в пространстве без использования зрительного анализатора. Для этого использовалась светлая комната и тёмный стул. Комната делилась на 5 секторов одинакового размера. Первый сектор всегда был пуст. В одном из оставшихся 4 находился стул. Задачей испытуемых было определить положение стула и обойти его. Двигаться требовалось лишь в одном направлении (Рис. 10).

Рис. 10. Схема комнаты, использовавшейся на втором этапе исследования

Результаты были таковы. 29 студентов справились с первым заданием без ошибок, 9 человек допустили 1 ошибку и 2 человека сделали 2 ошибки.

На втором этапе 25 человек не сделали ни одной ошибки. 11 человек ошиблись 1 раз и 4 человека 2 раза (Рис. 11)

Рис. 11. Соотношение результатов первого и второго этапов.

7 студентов (54 %) ошиблись в том, что перепутали круг и квадрат, 4(31 %) — перепутав круг с верхней половиной круга, 2(15 %) — круг с нижней половиной круга (Рис. 12).

Рис. 12. Структура ошибок, совершённых на 1 этапе

На втором этапе 6 человек (32 %) не увидели стул, а 13 человек (68 %) увидели стул там, где его не было, то есть этот тип ошибок совершался практически в 2 раза чаще, чем первый (Рис.13).

Рис. 13. Структура ошибок, совершённых на 2 этапе

Выводы:

  1. Программа the vOICe эффективна.
  2. Программа the vOICe позволяет развить базовый навык по распознанию наличия объекта, а также определения его формы в короткий период времени (40 мин).
  3. Регулярная практика по развитию данного навыка повышает эффективность искусственной синестезии и может существенно увеличить уровень адаптации и социализации людей, имеющих проблемы со зрением.

Литература:

  1. Cytowic, Richard E; Eagleman, David M. Wednesday is Indigo Blue: Discovering the Brain of Synesthesia (with an afterword by Dmitri Nabokov). — Cambridge: MIT Press, 2009. — ISBN 0–262–01279–0.
  2. Заиченко А. А., Картавенко М. В. Синестезия — феноменология, виды, классификации // Информатика, вычислительная техника и инженерное образование. — 2011. — С. 48–60.
  3. Meijer, Peter: Augmented Reality for the Totally Blind [https://www.seeingwithsound.com/]
  4. Carmichael, Joey: Device Trains Blind People To 'See' By Listening [http://www.popsci.com/science/article/2013–07/synesthesia-blind?dom=PSC&loc=recent&lnk=1&con=read-full-story]
  5. Учимся видеть [https://www.seeingwithsound.com/manual_ru/The_vOICe_Training_Manual_ru.htm]: Учебное пособие по использованию программы The vOICe; ред. Евгения Маркарян.
Основные термины (генерируются автоматически): сенсорное замещение, изображение, помощь программы, задача испытуемых, нижняя половина круга, верхняя половина круга, темный стул, искусственная синестезия, звуковой ландшафт, структура ошибок.


Похожие статьи

Применение многоуровневой фрактальной модели для задач...

При решении задач тематической обработки данных часто приходится анализировать пространственную структуру поля интенсивности изображений.

Верхняя и нижняя поверхности при нулевой шкале масштабов определяются как. (1).

Дети с нарушением зрения. Восприятие окружающего мира

Подбираются картинки крупные с яркими изображениями на контрастном фоне.

Одна из основных задач спецучреждения для детей с нарушением зрения — обучение связанной

Так, круг похож на формы мяча и тарелки. Это дает основание использовать в качестве эталонов...

Сенсорное развитие — фундамент умственного развития детей...

И тут на помощь приходит сенсорное воспитание.

- На втором-третьем году жизни задача сенсорного воспитания существенно усложняется.

Со второй половины первого года до начала третьего года формируются так называемые сенсомоторные предэталоны.

Особенности применения фильтров обработки изображений...

Приблизительно нижний порог равен 100, верхний — 250. В изображении, обработанном детектором Кенни,преобладают прямые линии и другие простые геометрические формы (треугольник, круг, квадрат, прямоугольник), которые возможно детектировать с помощью...

Наглядность как средство компенсации ограниченной языковой...

С помощью ситуативной наглядности эффективно семантизируются существительные, относящиеся

ошибки у англоговорящих студентов: высокий — верхний / низкий — нижний

становится программой для собственного высказывания, переключающей внимание...

Алгоритмы распознавания объектов | Статья в сборнике...

...[11].Данный алгоритм успешно применяли для решения широкого круга задач, связанных с распознаванием на изображении, в

С помощью алгоритмов, использующих оптический поток можно определить не только движение объектов, но и создать трехмерную структуру сцены.

Использование песочной терапии в работе учителя-логопеда...

Им требуется помощь учителя-логопеда, который работает над звуковой стороной, общим

Можно строить природные ландшафты: реки, озера, моря, горы, долины, по ходу объясняя сущность

Для успешной реализации поставленных задач, программа предполагает тесное...

Локальные традиции предметно-пространственной организации...

Женская половина (Иньпӧв). В женской половине находилась одна из наиболее значимых

Чужое пространство представлялось темным, неизведанным миром, населенным злыми

В отличие от трехуровневой вертикальной системы (верхний мир, средний мир, нижний мир)...

Коррекция оптической дисграфии: профилактика оптической...

Основная задача этой составной части профилактики заключается в обеспечении благоприятных социальных

Упражнение 1. Соедини предметы верхнего и нижнего ряда непрерывными линиями сверху вниз.

Упражнение 3. Обведи контурные изображения предметов, раскрась их.

Похожие статьи

Применение многоуровневой фрактальной модели для задач...

При решении задач тематической обработки данных часто приходится анализировать пространственную структуру поля интенсивности изображений.

Верхняя и нижняя поверхности при нулевой шкале масштабов определяются как. (1).

Дети с нарушением зрения. Восприятие окружающего мира

Подбираются картинки крупные с яркими изображениями на контрастном фоне.

Одна из основных задач спецучреждения для детей с нарушением зрения — обучение связанной

Так, круг похож на формы мяча и тарелки. Это дает основание использовать в качестве эталонов...

Сенсорное развитие — фундамент умственного развития детей...

И тут на помощь приходит сенсорное воспитание.

- На втором-третьем году жизни задача сенсорного воспитания существенно усложняется.

Со второй половины первого года до начала третьего года формируются так называемые сенсомоторные предэталоны.

Особенности применения фильтров обработки изображений...

Приблизительно нижний порог равен 100, верхний — 250. В изображении, обработанном детектором Кенни,преобладают прямые линии и другие простые геометрические формы (треугольник, круг, квадрат, прямоугольник), которые возможно детектировать с помощью...

Наглядность как средство компенсации ограниченной языковой...

С помощью ситуативной наглядности эффективно семантизируются существительные, относящиеся

ошибки у англоговорящих студентов: высокий — верхний / низкий — нижний

становится программой для собственного высказывания, переключающей внимание...

Алгоритмы распознавания объектов | Статья в сборнике...

...[11].Данный алгоритм успешно применяли для решения широкого круга задач, связанных с распознаванием на изображении, в

С помощью алгоритмов, использующих оптический поток можно определить не только движение объектов, но и создать трехмерную структуру сцены.

Использование песочной терапии в работе учителя-логопеда...

Им требуется помощь учителя-логопеда, который работает над звуковой стороной, общим

Можно строить природные ландшафты: реки, озера, моря, горы, долины, по ходу объясняя сущность

Для успешной реализации поставленных задач, программа предполагает тесное...

Локальные традиции предметно-пространственной организации...

Женская половина (Иньпӧв). В женской половине находилась одна из наиболее значимых

Чужое пространство представлялось темным, неизведанным миром, населенным злыми

В отличие от трехуровневой вертикальной системы (верхний мир, средний мир, нижний мир)...

Коррекция оптической дисграфии: профилактика оптической...

Основная задача этой составной части профилактики заключается в обеспечении благоприятных социальных

Упражнение 1. Соедини предметы верхнего и нижнего ряда непрерывными линиями сверху вниз.

Упражнение 3. Обведи контурные изображения предметов, раскрась их.

Задать вопрос