Разработка веб-сервиса для генерации музыкальной последовательности по изображению | Статья в журнале «Молодой ученый»

Отправьте статью сегодня! Журнал выйдет 31 октября, печатный экземпляр отправим 4 ноября.

Опубликовать статью в журнале

Авторы: , ,

Рубрика: Информационные технологии

Опубликовано в Молодой учёный №51 (289) декабрь 2019 г.

Дата публикации: 23.12.2019

Статья просмотрена: 26 раз

Библиографическое описание:

Никитин, Н. А. Разработка веб-сервиса для генерации музыкальной последовательности по изображению / Н. А. Никитин, В. Л. Розалиев, Ю. А. Орлова. — Текст : непосредственный // Молодой ученый. — 2019. — № 51 (289). — С. 27-30. — URL: https://moluch.ru/archive/289/65648/ (дата обращения: 22.10.2020).



В данной работе описан процесс проектирования и разработки веб-сервиса для автоматизированной генерации звуков по изображению. Также описан основной метод для с синтеза музыки изображению, который основывается на совместном использовании нейронных сетей и светомузыкальной теории. Описано тестирование программы.

Ключевые слова: рекуррентная нейронная сеть, светомузыкальная теория, Keras, автоматизированная генерация музыки, схемы соотнесения цветов и нот.

На данный момент публикуется всё больше работ, направленных на автоматизацию процесса создания музыкальных композиций, однако данный процесс является творческим, зависит от многих факторов, начинаю от опыта и настроения композитора, заканчивая областью проживания и другими внешними факторами, поэтому создание музыки не может проходить в автоматическом режиме, поэтому роль пользователя-композитора очень высока и можно лишь говорить об автоматизации этого процесса. Передаваемая музыкой и картинами эмоциональность сложно распознаваема [1, с. 67]. Процесс создания музыки хотя и основывается на чётко определённых музыкальных правилах, однако не поддаётся полной формализации.

Для снижения роли пользователя в процессе выбора характеристик музыкальной композиции, а также для учёта эмоциональной составляющий (например, эмоционального состояния пользователя-композитора), в данной работе предполагается получать характеристики композиции с изображения.

Первым этапом разработки сервиса является определение основного метода программы — метода генерации музыкального материала по изображению. Данный метод состоит из двух составляющих алгоритмов: алгоритм соотнесения цветовых и музыкальных характеристик; алгоритм генерации мелодической части с использованием нейронных сетей.

Основными параметрами результирующего музыкального произведения является тональность и темп. Именно эти параметры определяют эмоциональную составляющую произведения, и должны быть определены путём анализа цветовой гаммы изображения. Для этого, в первую очередь, необходимо определить соотношение цветовых и музыкальных характеристик [2]: оттенок цвета соотносится с высотой ноты, цветовая группа с музыкальным ладом, яркость с октавой ноты, насыщенность с длительностью. Затем, необходимо определить схему соотнесения названия цвета и ноты. На данный момент существует большое количество подобных схем, однако в данной работе была реализованы схемы И. Ньютона, Луи-Бертрана Кастеля, А. Уоллеса Римингтона, А. Эппли и Л. Дж. Бельмонта [3]. Алгоритм определения тональности опирается на анализ изображения и состоит из 4 шагов.

Первый шаг — преобразуем входное изображение из цветового пространства RGB в HSV. Данный шаг позволяет преобразовать изображение к более удобному виду, поскольку HSV пространство уже содержит необходимые характеристики — название цвета (определяется по параметру hue), насыщенность (параметр saturation) и яркость (параметр brightness).

Второй шаг — анализируя в целом изображение, определяем преимущественный цвет.

Третий шаг — определяем название и цветовую группу преимущественного цвета.

Четвёртый шаг — согласно выбранной схеме соотнесения цветов и нот, а также результатах, полученных на предыдущих шагах, определяем тональность произведения.

Для определения темпа произведения, необходимо получить яркость и насыщенность (по параметрам saturation и brightness) преимущественного цвета, и рассчитать темп, согласно данным параметрам.

В данной работе предполагается следующий алгоритм получения композиции по изображению (алгоритм генерации мелодической части с использованием нейронных сетей):

1) согласно методу соотнесения цветовых и музыкальных характеристик получаем тональность произведения и последовательность первых 20 % нот, считанных с изображения;

2) далее по полученной последовательности нот предсказываем продолжение произведения с помощью обученной модели и нейронной сети;

3) по итоговой последовательности нот и тональности, согласно методу соотнесения цветовых и музыкальных характеристик, строим гармоническую часть произведения.

Архитектура предложенной программы представлена на рисунке 1.

Рис. 1. Архитектура веб-сервиса для генерации звуков по изображению

Скриншоты веб-сервиса для генерации музыкальной последовательности по изображению представлены на рисунках 2, 3 и 4.

Рис. 2. Главная страница веб-сайта

Рис. 3. Страница генерации звуков по изображению

Рис. 4. Страница скачивания сгенерированных звуков

Для оценки композиций были привлечены специалисты-эксперты, которые оценивали композиции по следующим критериям: соответствие характеру изображения; реалистичность звучания инструмента (фортепьяно или гитара); мелодичность композиции; качество гармонии (аккомпанемента); приятность мелодии для восприятия; цельность композиции; реалистичность/искусственность композиции.

Проанализировав оценки всех экспертов и высчитав средние по каждому критерию, можно сделать вывод о том, что фортепьяно на слух экспертов звучит реалистичнее, чем гитара. Также можно сделать вывод о том, что композиция, сгенерированная по абстрактным изображениям, более приятна на слух, чем генерация по пейзажам. В целом общее впечатление от сгенерированных звуков у экспертов положительное. Среди минусов некоторые эксперты выделяют однотипность гармонии, иногда рваность и недостаточную реалистичность произведения, и не достаточную реалистичность гитары.

Литература:

  1. Розалиев, В. Л. Methods and Models for Identifying Human Emotions by Recognition Gestures and Motion / Розалиев В. Л., Заболеева-Зотова А. В. // The 2013 2nd International Symposium on Computer, Communication, Control and Automation 3CA 2013, December 1–2, 2013, Singapore: Papers. — [Amsterdam — Beijing — Paris]: Atlantis Press, 2013. — P. 67–71.
  2. Caivano J. L. Colour and sound: Physical and Psychophysical Relations // Colour Research and Application. — 1994. — № 12. — pp. 126–132.
  3. Чернышев, Д. Цвета и ноты [Электронный ресурс]. — М., 2014. — Режим доступа: http://mi3ch.livejournal.com/2506477.html
Основные термины (генерируются автоматически): HSV, изображение, преимущественный цвет, RGB, алгоритм генерации, мелодическая часть, метод соотнесения, параметр, тональность произведения, цветовая группа.


Ключевые слова

рекуррентная нейронная сеть, светомузыкальная теория, Keras, автоматизированная генерация музыки, схемы соотнесения цветов и нот

Похожие статьи

Анализ методов сегментации изображений | Статья в журнале...

Наиболее распространенный алгоритм этой группы методов это алгоритм k-средних.

В RGB цветовом пространстве используются три основных цвета: красный, синий и зеленый.

Метод решения подзадачи. Проводится цветовая сегментация в цветовом пространстве HSV.

Алгоритм распознавания текстовой информации на изображении...

Одним из самых быстрых и удобных способов перевода информации из физического формата в электронный вид является сканирование документов. Результатом данного процесса будет электронный файл, представленный в виде графического изображения.

Методы определения выдержки для светочувствительной...

Алгоритм с параметрами минимум и максимум базируется на разбиении гистограммы на шесть зон (рис.1), по которым производится

Методы определения объектов на изображении. Метод Виолы-Джонса — это алгоритм , позволяющий обнаруживать объекты на изображении .

Методы предварительной фильтрации изображения

Методы предварительной фильтрации изображения. Авторы: Амелина Валерия Юрьевна, Исаева Елена Сергеевна.

Обычно интенсивность (цвет) каждого пикселя

Наипростейший алгоритм частотной области обработка изображения с фильтром нижних частот с...

Алгоритмы распознавания объектов | Статья в сборнике...

Существует множество методов распознавания объектов на изображении.

То есть, на каждом этапе алгоритм работает с той частью данных, которую алгоритм на предыдущих шагах плохо

В основе алгоритма Хафа лежит метод обнаружения линий на изображении.

Обзор систем анализа тональности текста на русском языке

Алгоритм основан на поиске максимального значения тональности в тексте для каждой шкалы (т.е. поиск слова с максимальной негативной оценкой и слова с максимальной позитивной оценкой). При работе алгоритма учитывается простейшее взаимодействие слов (например...

Обработка рентгеновских изображений с применением оценки...

Для оценки визуального качества изображений применим комплексный метод.

Результат применения функции с параметром 'neg', что приводит к инверсии изображения, показан на рис.2.

- методы динамического программирования; - алгоритм Дейкстры; - метод Normalized.

Сравнительный анализ методов Наивного Байеса и SVM...

В статье раскрывается понятие классификации текстовых документов для автоматического обнаружения категорий по текстам. Проводится сравнительный анализ двух самых главных алгоритмов, которыми являются методы наивного Байеса и SVM. Делается вывод, что при...

Метод обнаружения автомобилей на аэрокосмических снимках

Представлен алгоритм обнаружения автомобилей на цветных изображениях, полученных аэрофотосъёмкой.

Это позволяет выделять автомобили на фоне как области с цветовыми характеристиками, отличающимися от фоновых, и имеющие определённые размер и форму.

Звуковая палитра текста как способ интерпретации его внутренней...

Этот метод психолингвистического исследования, между тем, не является абсолютно

Подводя итог, можно с уверенностью сказать, что предлагаемый нами цветовой фоносемантический

Цвет – одна из категорий, при помощи которой автор работает над созданием образа, он важен...

Похожие статьи

Анализ методов сегментации изображений | Статья в журнале...

Наиболее распространенный алгоритм этой группы методов это алгоритм k-средних.

В RGB цветовом пространстве используются три основных цвета: красный, синий и зеленый.

Метод решения подзадачи. Проводится цветовая сегментация в цветовом пространстве HSV.

Алгоритм распознавания текстовой информации на изображении...

Одним из самых быстрых и удобных способов перевода информации из физического формата в электронный вид является сканирование документов. Результатом данного процесса будет электронный файл, представленный в виде графического изображения.

Методы определения выдержки для светочувствительной...

Алгоритм с параметрами минимум и максимум базируется на разбиении гистограммы на шесть зон (рис.1), по которым производится

Методы определения объектов на изображении. Метод Виолы-Джонса — это алгоритм , позволяющий обнаруживать объекты на изображении .

Методы предварительной фильтрации изображения

Методы предварительной фильтрации изображения. Авторы: Амелина Валерия Юрьевна, Исаева Елена Сергеевна.

Обычно интенсивность (цвет) каждого пикселя

Наипростейший алгоритм частотной области обработка изображения с фильтром нижних частот с...

Алгоритмы распознавания объектов | Статья в сборнике...

Существует множество методов распознавания объектов на изображении.

То есть, на каждом этапе алгоритм работает с той частью данных, которую алгоритм на предыдущих шагах плохо

В основе алгоритма Хафа лежит метод обнаружения линий на изображении.

Обзор систем анализа тональности текста на русском языке

Алгоритм основан на поиске максимального значения тональности в тексте для каждой шкалы (т.е. поиск слова с максимальной негативной оценкой и слова с максимальной позитивной оценкой). При работе алгоритма учитывается простейшее взаимодействие слов (например...

Обработка рентгеновских изображений с применением оценки...

Для оценки визуального качества изображений применим комплексный метод.

Результат применения функции с параметром 'neg', что приводит к инверсии изображения, показан на рис.2.

- методы динамического программирования; - алгоритм Дейкстры; - метод Normalized.

Сравнительный анализ методов Наивного Байеса и SVM...

В статье раскрывается понятие классификации текстовых документов для автоматического обнаружения категорий по текстам. Проводится сравнительный анализ двух самых главных алгоритмов, которыми являются методы наивного Байеса и SVM. Делается вывод, что при...

Метод обнаружения автомобилей на аэрокосмических снимках

Представлен алгоритм обнаружения автомобилей на цветных изображениях, полученных аэрофотосъёмкой.

Это позволяет выделять автомобили на фоне как области с цветовыми характеристиками, отличающимися от фоновых, и имеющие определённые размер и форму.

Звуковая палитра текста как способ интерпретации его внутренней...

Этот метод психолингвистического исследования, между тем, не является абсолютно

Подводя итог, можно с уверенностью сказать, что предлагаемый нами цветовой фоносемантический

Цвет – одна из категорий, при помощи которой автор работает над созданием образа, он важен...

Задать вопрос