Базовые принципы построения системы синтеза речи | Статья в журнале «Молодой ученый»

Автор:

Рубрика: Информатика

Опубликовано в Молодой учёный №13 (147) март 2017 г.

Дата публикации: 02.04.2017

Статья просмотрена: 154 раза

Библиографическое описание:

Пугач А. С. Базовые принципы построения системы синтеза речи // Молодой ученый. — 2017. — №13. — С. 16-19. — URL https://moluch.ru/archive/147/41430/ (дата обращения: 18.02.2019).



Синтезом речи называется процесс восстановления формы речевого сигнала по его параметрам. Синтез речи по тексту может быть использован в информационно-справочных системах, для помощи людям с нарушениями опорно-двигательного или зрительного аппаратов, выдачи информации о технологических процессах. В целом речевой синтез может потребоваться во всех случаях, когда получателем информации является человек.

Обобщенную схему синтезатора речи можно представить следующим образом:

Рис. 1. Схема синтезатора речи

Входящим элементом системы является текст, поэтому необходимо отметить, что подход к решению проблемы синтеза речи главным образом зависит от языка. В каждом языке есть свои особенности произношения, фонетика. Именно поэтому первая и наиболее важная задача системы синтеза речи — анализ и подготовка текста конкретного языка.

Один из вариантов синтеза речи — использование комбинации конкатенативного метода и формантного синтеза. При такой конфигурации необходимый выходной сигнал создается на основе конкатенации фрагментов акустического сигнала, вырезанных из разговора спикера-донора. Таким образом, для создания системы синтеза речи необходимо составление базы данных фрагментов сигнала. Затем при синтезе фрагменты из базы данных изменяются по определенным правилам. Это требуется для того, чтобы дать сигналу необходимые просодические характеристики, такие как частота основного тона, длительность или энергия. Оперируя этими характеристиками, можно соединить фрагменты в единый сигнал без скачков.

Блок подготовки (нормализации) текста разделяется на следующие подсистемы:

  1. Начальная подготовка.

На этой стадии определяются особые части в тексте, такие как цифры, дроби, даты, время и другие. Эти данные преобразовываются в последовательность слов. Данный преобразователь для каждого типа таких спецсимволов проектируется отдельно в зависимости от языка синтезатора и контекста.

  1. Многие системы синтеза речи осуществляют проверку орфографии.

В таком случае необходимо спроектировать или экспортировать словарь и реализовать возможность отмены изменений и сохранения новых введенных пользователем слов в такой словарь.

  1. Отделение первых единиц языка — слов.

Входной текст преобразуется в список словоформ. Знаки препинания также оставляются в этом списке, поскольку они необходимы при дальнейшей обработке.

  1. Анализ пунктуации.

Наиболее простой способ реализации такого анализа — просмотр знаков препинания и расстановка пауз различной длительности в предложениях согласно просодическим правилам. Такие паузы повышают натуральность сгенерированного речевого сигнала. Примерную длительность пауз можно рассчитать экспериментально. [4]

Таблица 1

Паузы при синтезе речи

Знак препинания

Длительность

Точка(.)

1

Восклицательный знак(!)

0,9

Знак вопроса(?)

0,8

Запятая(,)

0,5

На данном этапе из сформированного ранее списка словоформ все знаки препинания заменяются на специальные команды, которые будут считаны в блоке формирования сигнала.

  1. Фонетический транскриптор.

Транскриптор обрабатывает полученный список слов, преобразуя их в необходимый набор минимальных единиц языка. В разработке транскриптора можно опираться на базу данных транскрипции различных слов, однако такая база будет занимать очень большое количество памяти. Другой подход связан с хранением базовых правил преобразования словоформ в фонемы. Необходимо спроектировать алгоритм, использующий такие правила и пропускать через него каждое слово.

  1. Формирование просодических характеристик.

Под просодическими характеристиками подразумевается тон, акцент, ритмика языка. Физическими аналогами этих понятий выступают частота основного тона, энергия и длительность сигнала, которые понадобятся для генерации речевого сигнала.

Рассмотрим основные подсистемы блока формирования сигнала.

  1. Проектирование базы данных сигналов

База данных акустических сигналов — базовая составляющая любых систем синтеза речи, построенных с помощью данного метода. Размерность элементов может быть различной в зависимости от реализации и предметной области. Это могут быть фонемы, аллофоны, или даже целые слова [1]. Формат для каждой конкретной системы синтеза речи определяется из учета особенностей языка и реализации. Языковые единицы, используемые в базе данных, лучше всего хранить в формате wav в связи с удобством обработки информации в данном формате.

Процесс создания базы данных состоит из 2 стадий:

а. Начальная стадия, на которой сохраняются все языковые единицы, произнесенные спикером-донором.

б. Языковые единицы обрабатываются перед занесением в базу данных. Обработка происходит по следующему принципу:

  1. Звуковые сигналы записываются с частотой 16 кHz, что позволяет определить период T с точностью до .
  2. Из записанных сигналов удаляются посторонние шумы. Для этого можно использовать алгоритм разделения на речь и паузы.

Предполагается, что первые 10 фреймов записанного сигнала не содержат речевой сигнал. Для этой части сигнала вычисляются среднее значение и дисперсия величин и , получая тем самым статистические характеристики шума.

Где равен 1, если ≥ 0 и -1 в противном случае; L – число фреймов звукового сигнала.

Учитывая данные характеристики и максимальные значения величин и , вычисляется пороговое значение для кратковременной энергии речевого сигнала и пороговое значение для числа нулей интенсивности сигнала.[4]

Где ,

Если фрейм содержит речь, тогда новой переменной присваивается значение 1, в противном случае 0. Необходимо таким образом присвоить значение 1 фреймам с кратковременной энергией . Таким образом, фильтрация сводится к следующей процедуре. Рассчитаем для значения таким образом:

С помощью этого метода определяется непрерывная часть речи. Затем производится попытка расширить эту границу. Двигаясь от границы (налево от левой границы и направо от правой), производится проверка числа нулей интенсивности с порогом . Значение не должно превышать 20 фреймов слева от левого значения. В случае, если число превышает его, началом речи обозначается место пересечения. Это же справедливо для 20 фреймов справа от правой границы. Если обе части перекрыты, их можно объединить в одну. Таким образом определяется непрерывные части звука.

Рис. 2. Сигнал до использования алгоритма

Рис. 3. Сигнал после использования алгоритма

Эти стадии проделываются для каждого записываемого в базу данных сигнала.

  1. Формирование акустических параметров звукового сигнала.

Основная задача на этом этапе — определение энергетических, временных и частотных характеристик, которые будут отнесены к языковым единицам.

  1. Генерация речевого сигнала.

При соединении элементов базы данных акустических сигналов возникают искажения речевого сигнала. Для предотвращения данного эффекта применяется локальное сглаживание левой(i) и правой(j) соединяемых волн с помощью следующего алгоритма [3]:

а. При укорочении периода.

− От последнего (нулевого) отсчёта левой (i-й) стыкуемой волны отсчитываем 3-й отсчёт, для которого рассчитываем новое среднее значение Si3m из значений i-й и j-й волн по формуле:

− j-й волн по формуле:

− Далее процесс повторяется по следующей рекуррентной схеме вплоть до получения последнего нового значения для 0-го отсчёта i-й волны:

− Затем рассчитываются новые значения j-й волны:

Процесс заканчивается после получения нового значения для 4-го отсчёта j-й волны:

б. При удлинении периода алгоритм сглаживания аналогичен. Сохраняются также условия начала и конца процесса сглаживания. Добавляется лишь дополнительный k-й участок, повторяющий значение последнего (0-го) отсчёта i- волны, который вначале играет роль j-го участка, а затем i-го. Иначе говоря, единообразный алгоритм обеспечивает локальное сглаживание, начиная с 3-го отсчёта i–й волны и кончая 3–м отсчётом j–й волны независимо от присутствия или отсутствия дополнительного участка.

Нормализированный по длительности фонем, общему уровню амплитуд и плавно соединённый из различных фрагментов речевой сигнал изменяется, исходя из параметров, полученных на этапе 6 подготовки текста. Эти параметры нужны для того, чтобы сформировать контур частоты основного тона и наложить его на исходный речевой сигнал. После этого на сигнал накладывается амплитудные огибающие [5]. Благодаря этому можно получить нужную интонацию речевого сигнала.

Придерживаясь данных общих правил, на выходе можно получить качественный звуковой сигнал, имитирующий речь дикотра-донора.

Литература:

  1. Сорокин В. Н. Синтез речи. — М.: Наука, 1992. – 392 с.
  2. Фролов А., Фролов Г. Синтез и распознавание речи. — М.: Москва, 2008 г.
  3. Лобанов Б. М. Ретроспективный обзор исследований и разработок Лаборатории распознавания и синтеза речи. — Сб. «Автоматическое распознавание и синтез речи», ИТК НАН Беларуси, Минск, 2000.
  4. U. R. Aida–Zade, C. Ardil and A. M. Sharifova. The Main Principles of Text-to-Speech Synthesis System. — International Journal of Computer, Electrical, Automation, Control and Information Engineering Vol. 7, № 3, 2013.
  5. М. Н. Калимолдаев, Е. Н. Амиргалиев, Р. Р. Мусабаев Синтез интонационной составляющей речевого сигнала с применением сплайновой интерполяции. — КН МОН РК.
Основные термины (генерируются автоматически): речевой сигнал, баз данных, синтез речи, сигнал, основной тон, знак препинания, волна, система синтеза речи, кратковременная энергия, звуковой сигнал.


Похожие статьи

Подходы к выделению речи из исходного сигнала для системы...

кратковременная энергия речевого сигнала

Кратковременная энергия речевого сигнала и число нулей интенсивности являются основными параметрами речевого сигнала.

Предварительная обработка речевых сигналов для системы...

кратковременная энергия речевого сигнала

Кратковременная энергия звукового сигнала и число нулей интенсивности одновременно используются для выделения речи из входного сигнала.

Сравнительный анализ методов синтеза речи | Статья в журнале...

Самую простую синтезированную речь можно создавать путём объединения частей записанной речи, которые будут храниться в базе данных. Естественно, в случае, если необходим синтез сложного текста, такой метод использовать нельзя...

Распознавание речи на основе искусственных нейронных сетей

Пусть речевой сигнал как входные данные нейронной сети. После обработки звуковых данных получен массив сегментов сигналов.

Таблица 1 – Описание набора признаков речевого сигнала. Кадр.

Речевые технологии — следующий уровень сервиса

Первая — система синтеза речи. Синтез речи — это технология, которая дает возможность воспроизвести текст, как можно более похожим естественным человеческим

Обработка речи начинается с определения уровня помех и искажений, полученного речевого сигнала.

Сегментация, шумоподавление и фонетический анализ в задаче...

В статье рассматривается алгоритм сегментации и шумоочистки речевого сигнала, основанный на вычислении кратковременной энергии и использующий качественные пороговые оценки для идентификации пауз.

Методы распознавания речи | Статья в журнале «Молодой ученый»

– выделение границ речи; – выделение признаков сигнала.

Основные термины (генерируются автоматически): линейное предсказание, задача, решение этой, речевой сигнал, последовательность наблюдений, нейронная сеть, модель, коэффициент, исходный сигнал...

Моделирование особенностей бинаурального слуха...

Основные термины (генерируются автоматически): бинауральное восприятие, речевой сигнал, тоновой сигнал, граница применимости, модель, многофункциональный модуль сбора данных, корреляционный анализ, звуковое давление, вторичная задача, USB.

Модель сингулярного эстиматора частоты основного тона речи

Ключевые слова: речь, фонема, модель, сингулярный спектральный анализ речи, сингулярное оценивание частоты основного тона.

В настоящее время популярными алгоритмами оценивания частоты основного тона речевого сигнала являются RAPR, YIN и SWIPE’...

Обсуждение

Социальные комментарии Cackle

Похожие статьи

Подходы к выделению речи из исходного сигнала для системы...

кратковременная энергия речевого сигнала

Кратковременная энергия речевого сигнала и число нулей интенсивности являются основными параметрами речевого сигнала.

Предварительная обработка речевых сигналов для системы...

кратковременная энергия речевого сигнала

Кратковременная энергия звукового сигнала и число нулей интенсивности одновременно используются для выделения речи из входного сигнала.

Сравнительный анализ методов синтеза речи | Статья в журнале...

Самую простую синтезированную речь можно создавать путём объединения частей записанной речи, которые будут храниться в базе данных. Естественно, в случае, если необходим синтез сложного текста, такой метод использовать нельзя...

Распознавание речи на основе искусственных нейронных сетей

Пусть речевой сигнал как входные данные нейронной сети. После обработки звуковых данных получен массив сегментов сигналов.

Таблица 1 – Описание набора признаков речевого сигнала. Кадр.

Речевые технологии — следующий уровень сервиса

Первая — система синтеза речи. Синтез речи — это технология, которая дает возможность воспроизвести текст, как можно более похожим естественным человеческим

Обработка речи начинается с определения уровня помех и искажений, полученного речевого сигнала.

Сегментация, шумоподавление и фонетический анализ в задаче...

В статье рассматривается алгоритм сегментации и шумоочистки речевого сигнала, основанный на вычислении кратковременной энергии и использующий качественные пороговые оценки для идентификации пауз.

Методы распознавания речи | Статья в журнале «Молодой ученый»

– выделение границ речи; – выделение признаков сигнала.

Основные термины (генерируются автоматически): линейное предсказание, задача, решение этой, речевой сигнал, последовательность наблюдений, нейронная сеть, модель, коэффициент, исходный сигнал...

Моделирование особенностей бинаурального слуха...

Основные термины (генерируются автоматически): бинауральное восприятие, речевой сигнал, тоновой сигнал, граница применимости, модель, многофункциональный модуль сбора данных, корреляционный анализ, звуковое давление, вторичная задача, USB.

Модель сингулярного эстиматора частоты основного тона речи

Ключевые слова: речь, фонема, модель, сингулярный спектральный анализ речи, сингулярное оценивание частоты основного тона.

В настоящее время популярными алгоритмами оценивания частоты основного тона речевого сигнала являются RAPR, YIN и SWIPE’...

Задать вопрос