Модернизированная нейронная сеть Хэмминга | Статья в журнале «Молодой ученый»

Автор:

Рубрика: Технические науки

Опубликовано в Молодой учёный №15 (119) август-1 2016 г.

Дата публикации: 29.07.2016

Статья просмотрена: 38 раз

Библиографическое описание:

Сухочев А. В. Модернизированная нейронная сеть Хэмминга // Молодой ученый. — 2016. — №15. — С. 198-201. — URL https://moluch.ru/archive/119/32952/ (дата обращения: 20.10.2018).



Основная задача искусственной нейронной сеть Хэмминга [1] заключается в решении задач классификации бинарных входных векторов. В основе работы этой сети лежат процедуры, направленные на выбор в качестве решения задачи классификации одного из эталонных образов, наиболее близкого к поданному на вход сети зашумленному входному образу, и отнесение данного образа к соответствующему классу.

Классическая нейронная сеть Хэмминга может дать только один релевантный ответ в результате своей работы. В случае, если на самом деле имеется несколько ответов с одинаковой или относительно мало различающейся релевантностью, такой результат работы может оказаться нежелательным для практических нужд.

Способ модернизации нейронной сети Хэмминга, предложенный автором данной статьи, решает эту проблему.

Формальная постановка задачи.

Дано:

Обучающее множество , , , .

Задача:

Надо построить сеть, реализующую такую функцию F(X), чтобы для любого , такого что (), ,…, , где . Здесь – гиперпараметр нейронной сети (то есть параметр, настраиваемый вручную при конструировании сети). Этот гиперпараметр равняется максимальному количеству ответов нейронной сети. Также есть гиперпараметр ε, который будет использоваться в модуляторе (элементе нейронной сети Хэмминга, добавление которого является частью её модернизации).

Описание обучающего множества.

Обучающим множеством будет набор векторных представлений чисел, изображённых на рисунке 1. Каждый элемент любого такого вектора будет показывать, присутствует ли линия в графическом изображении номера, соответствующего этому вектору, на конкретной позиции, соответствующей этому элементу. К примеру, вектор, поставленный в соответствие графическому изображению цифры «0» из рисунка 1, имеет вид , а вектор, соответствующий цифре «5» – .

Рис. 1. Примеры графических изображений цифр, составляющих обучающую выборку

Принцип работы и архитектура классической искусственной нейронной сети Хэмминга.

Нейронная сеть Хэмминга состоит из нескольких слоёв (см. рис. 2):

  1. Слой 1 – для вычисления расстояния Хэмминга.
  2. Слой 2 – слой MaxNet для выявления наименьшего расстояния Хэмминга.
  3. Слой 3 – слой, состоящий из пороговых функций для получения ответа вида: 1 для «победителя» (самого ближайшего объекта обучающей выборки по отношению к данному) и 0 для всех остальных.
  4. Слой 4 ­ выходной слой, возвращающий вектор, поставленный в соответствие «победителю».

В первом, втором и третьем слоях находится столько нейронов [1], сколько было объектов в обучающей выборке. В последнем, выходном, слое находится столько нейронов, какова длина векторов, поставленных в соответствие объектам. Каждому из обучающих объектов ставится в соответствие нейрон первого слоя, веса которого инициализируются элементами вектора этого объекта. В слое MaxNet инициализируются веса связей между нейронами этого слоя следующими величинами:

  1. 1, если связь идёт из нейрона в него же самого,
  2. случайной величиной из интервала ( – это количество обучающих примеров), если связь соединяет два различных нейрона. В выходном слое каждому нейрону поставлен в соответствие какой-либо элемент вектора объекта. И веса связей этого нейрона инициализируются либо -1, либо 1. Это зависит от того, какое значение имеет данный элемент вектора у объектов, соответствующих связям этого нейрона.

Принцип работы заключается в том, что в слое MaxNet вычисляется объект обучающей выборки, ближайший к поданному на вход нейронной сети объекту, на основе данных о расстояниях, вычисленных в первом слое.

схема сети — копия.png

Рис. 2. Архитектура классической искусственной нейронной сети Хэмминга

Модернизация искусственной нейронной сети Хэмминга.

Помимо уже описанных элементов архитектуры сети появляются новые:

  1. модулятор понижения степени близости по расстоянию Хэмминг между предыдущим «победителем» и объектом, поданным на вход,
  2. временная память, хранящая изначальные расстояния от объектов обучающей выборки до объекта, поданного на вход (рис. 3).

Отличие этой нейронной сети от классической заключается в том, что проводится -ое количество запусков процесса соревнования в слое MaxNet. После каждого такого запуска «победитель» запоминается, и в начале следующего запуска его мера близости до объекта, поданного на вход, искусственно занижается на . Таким образом, вероятность повторной победы «победителя» при следующем запуске снижается при условии, что существуют объекты обучающей выборки, мера близости от которых до поданного на вход объекта не превышает меру близости от этого объекта до «победителя».

Тестовые данные.

Модернизированная искусственная нейронная сеть Хэмминга с гиперпараметрами c = 3, ε = 0.3 была обучена на графических изображениях чисел от 0 до 9 (см. рис. 1) и протестирована на этих же изображениях и на изображениях, которые не являются изображениями чисел, но похожи на них. Результаты тестирования можно увидеть в таблице 1.

схема сети.png

Рис. 3. Архитектура модернизированной искусственной нейронной сети Хэмминга

Таблица 1

Результаты тестирования модернизированной искусственной нейронной сети Хэмминга (с = 3, ε= 0.3)

Поданный на вход объект

Первый ответ нейронной сети

Второй ответ нейронной сети

Третий ответ нейронной сети

0.png

0.png

8.png

пропуск

5.png

6.png

5.png

9.png

6.1.png

6.png

0.png

5.png

9.1.png

8.png

9.png

2.png

7.1.png

1.png

7.png

пропуск

Из таблицы 1 видно, что сеть для входных изображений находит наиболее похожие на них изображения из обучающей выборки, иногда эта сеть дважды выдаёт один и тот же ответ (в таком случае ставится пропуск), иногда сеть сначала выдаёт менее релевантные ответы (это может быть обусловлено случайным фактором выбора весов).

Программную реализацию варианта модернизации нейронной сети Хэмминга, предложенной автором данной статьи, можно найти по следующей ссылке https://github.com/alex27594/hamming_neural_network.git.

Литература:

  1. Круглов В. В., Борисов В. В. Искусственные нейронные сети. Теория и практика. — 2-е изд., стереотип. — М.: Горячая линия-Телеком, 2002. — 382 с.
Основные термины (генерируются автоматически): нейронная сеть, обучающая выборка, слой, нейрон, обучающее множество, мера близости, модернизированная искусственная нейронная сеть, искусственная нейронная сеть, выходной слой, вес связей.


Похожие статьи

Разработка математической модели нейронной сети

нейрон, искусственный нейрон, нейронная сеть, сеть, вход, модель, взвешенный сумматор, клетка головного, процессорный элемент, связь.

Исследование возможностей использования нейронных сетей

сеть, нейронная сеть, искусственный нейрон, сигнал, взвешенная сумма, обучающая выборка, биологический нейрон, упрощенная модель, выход нейрона, вход.

Эволюционный подход к настройке и обучению нейронной сети

Построение искусственной нейронной сети (ИНС), с классической точки зрения, выполняется методом проб и ошибок. Исследователь задает параметры сети: количество слоев и нейронов, структуру связей между нейронами, а затем наблюдает результаты...

Искусственные нейронные сети | Статья в журнале...

Что же такое искусственные нейронные сети? Фактически, это математическая модель, абстракция.

И задача «выходного» слоя представить информацию в конечном виде. Каждый узел — это искусственный нейрон, или элементарный процессор.

Распознавание речи на основе искусственных нейронных сетей

где N – количество обучающих выборок, обработанных нейронной сетью примеров

Нейронная сеть, которая имеет максимальное выходное значение, и является нейронной сетью распознавания данного слова.

Виды архитектур нейронных сетей | Статья в журнале...

Составляющие искусственной нейронной сети. Все искусственные нейронные сети состоят из так называемых нейронов — модели, представляющей из себя пороговую величину, и связей

Путём объединения нескольких нейронов создаётся искусственная нейронная сеть.

Распознавание английского текста сверточной нейронной сетью

Сверточная нейронная сеть была впервые предложена Я. Лекуном и Й. Бенгуа [1]. СНС состоит из трех основных видов слоев: сверточный слой, субдискретизирующий слой и выходной слой (чаще всего полносвязный) [2]. Слои СНС расположены друг за другом...

Аппаратная реализация искусственных нейронных сетей.

Рассмотрены типы искусственных нейронных сетей. Представлены методы аппаратной реализации искусственных нейронных сетей с использованием аналоговых, либо цифровых схем нейрон-синапсов. Представлены выводы о работе данных алгоритмов на основе их...

Исследования особенностей развития нейронных сетей...

Искусственные нейронные сети создавались путём имитации на компьютере модели сетей нейронов.

Основные термины (генерируются автоматически): нейронная сеть, сеть, задача, пороговая величина, огромный интерес, общий вход, область, искусственная нейронная сеть...

Разработка математической модели нейронной сети

нейрон, искусственный нейрон, нейронная сеть, сеть, вход, модель, взвешенный сумматор, клетка головного, процессорный элемент, связь.

Исследование возможностей использования нейронных сетей

сеть, нейронная сеть, искусственный нейрон, сигнал, взвешенная сумма, обучающая выборка, биологический нейрон, упрощенная модель, выход нейрона, вход.

Эволюционный подход к настройке и обучению нейронной сети

Построение искусственной нейронной сети (ИНС), с классической точки зрения, выполняется методом проб и ошибок. Исследователь задает параметры сети: количество слоев и нейронов, структуру связей между нейронами, а затем наблюдает результаты...

Искусственные нейронные сети | Статья в журнале...

Что же такое искусственные нейронные сети? Фактически, это математическая модель, абстракция.

И задача «выходного» слоя представить информацию в конечном виде. Каждый узел — это искусственный нейрон, или элементарный процессор.

Распознавание речи на основе искусственных нейронных сетей

где N – количество обучающих выборок, обработанных нейронной сетью примеров

Нейронная сеть, которая имеет максимальное выходное значение, и является нейронной сетью распознавания данного слова.

Виды архитектур нейронных сетей | Статья в журнале...

Составляющие искусственной нейронной сети. Все искусственные нейронные сети состоят из так называемых нейронов — модели, представляющей из себя пороговую величину, и связей

Путём объединения нескольких нейронов создаётся искусственная нейронная сеть.

Распознавание английского текста сверточной нейронной сетью

Сверточная нейронная сеть была впервые предложена Я. Лекуном и Й. Бенгуа [1]. СНС состоит из трех основных видов слоев: сверточный слой, субдискретизирующий слой и выходной слой (чаще всего полносвязный) [2]. Слои СНС расположены друг за другом...

Аппаратная реализация искусственных нейронных сетей.

Рассмотрены типы искусственных нейронных сетей. Представлены методы аппаратной реализации искусственных нейронных сетей с использованием аналоговых, либо цифровых схем нейрон-синапсов. Представлены выводы о работе данных алгоритмов на основе их...

Исследования особенностей развития нейронных сетей...

Искусственные нейронные сети создавались путём имитации на компьютере модели сетей нейронов.

Основные термины (генерируются автоматически): нейронная сеть, сеть, задача, пороговая величина, огромный интерес, общий вход, область, искусственная нейронная сеть...

Обсуждение

Социальные комментарии Cackle

Похожие статьи

Разработка математической модели нейронной сети

нейрон, искусственный нейрон, нейронная сеть, сеть, вход, модель, взвешенный сумматор, клетка головного, процессорный элемент, связь.

Исследование возможностей использования нейронных сетей

сеть, нейронная сеть, искусственный нейрон, сигнал, взвешенная сумма, обучающая выборка, биологический нейрон, упрощенная модель, выход нейрона, вход.

Эволюционный подход к настройке и обучению нейронной сети

Построение искусственной нейронной сети (ИНС), с классической точки зрения, выполняется методом проб и ошибок. Исследователь задает параметры сети: количество слоев и нейронов, структуру связей между нейронами, а затем наблюдает результаты...

Искусственные нейронные сети | Статья в журнале...

Что же такое искусственные нейронные сети? Фактически, это математическая модель, абстракция.

И задача «выходного» слоя представить информацию в конечном виде. Каждый узел — это искусственный нейрон, или элементарный процессор.

Распознавание речи на основе искусственных нейронных сетей

где N – количество обучающих выборок, обработанных нейронной сетью примеров

Нейронная сеть, которая имеет максимальное выходное значение, и является нейронной сетью распознавания данного слова.

Виды архитектур нейронных сетей | Статья в журнале...

Составляющие искусственной нейронной сети. Все искусственные нейронные сети состоят из так называемых нейронов — модели, представляющей из себя пороговую величину, и связей

Путём объединения нескольких нейронов создаётся искусственная нейронная сеть.

Распознавание английского текста сверточной нейронной сетью

Сверточная нейронная сеть была впервые предложена Я. Лекуном и Й. Бенгуа [1]. СНС состоит из трех основных видов слоев: сверточный слой, субдискретизирующий слой и выходной слой (чаще всего полносвязный) [2]. Слои СНС расположены друг за другом...

Аппаратная реализация искусственных нейронных сетей.

Рассмотрены типы искусственных нейронных сетей. Представлены методы аппаратной реализации искусственных нейронных сетей с использованием аналоговых, либо цифровых схем нейрон-синапсов. Представлены выводы о работе данных алгоритмов на основе их...

Исследования особенностей развития нейронных сетей...

Искусственные нейронные сети создавались путём имитации на компьютере модели сетей нейронов.

Основные термины (генерируются автоматически): нейронная сеть, сеть, задача, пороговая величина, огромный интерес, общий вход, область, искусственная нейронная сеть...

Разработка математической модели нейронной сети

нейрон, искусственный нейрон, нейронная сеть, сеть, вход, модель, взвешенный сумматор, клетка головного, процессорный элемент, связь.

Исследование возможностей использования нейронных сетей

сеть, нейронная сеть, искусственный нейрон, сигнал, взвешенная сумма, обучающая выборка, биологический нейрон, упрощенная модель, выход нейрона, вход.

Эволюционный подход к настройке и обучению нейронной сети

Построение искусственной нейронной сети (ИНС), с классической точки зрения, выполняется методом проб и ошибок. Исследователь задает параметры сети: количество слоев и нейронов, структуру связей между нейронами, а затем наблюдает результаты...

Искусственные нейронные сети | Статья в журнале...

Что же такое искусственные нейронные сети? Фактически, это математическая модель, абстракция.

И задача «выходного» слоя представить информацию в конечном виде. Каждый узел — это искусственный нейрон, или элементарный процессор.

Распознавание речи на основе искусственных нейронных сетей

где N – количество обучающих выборок, обработанных нейронной сетью примеров

Нейронная сеть, которая имеет максимальное выходное значение, и является нейронной сетью распознавания данного слова.

Виды архитектур нейронных сетей | Статья в журнале...

Составляющие искусственной нейронной сети. Все искусственные нейронные сети состоят из так называемых нейронов — модели, представляющей из себя пороговую величину, и связей

Путём объединения нескольких нейронов создаётся искусственная нейронная сеть.

Распознавание английского текста сверточной нейронной сетью

Сверточная нейронная сеть была впервые предложена Я. Лекуном и Й. Бенгуа [1]. СНС состоит из трех основных видов слоев: сверточный слой, субдискретизирующий слой и выходной слой (чаще всего полносвязный) [2]. Слои СНС расположены друг за другом...

Аппаратная реализация искусственных нейронных сетей.

Рассмотрены типы искусственных нейронных сетей. Представлены методы аппаратной реализации искусственных нейронных сетей с использованием аналоговых, либо цифровых схем нейрон-синапсов. Представлены выводы о работе данных алгоритмов на основе их...

Исследования особенностей развития нейронных сетей...

Искусственные нейронные сети создавались путём имитации на компьютере модели сетей нейронов.

Основные термины (генерируются автоматически): нейронная сеть, сеть, задача, пороговая величина, огромный интерес, общий вход, область, искусственная нейронная сеть...

Задать вопрос