Виды архитектур нейронных сетей | Статья в журнале «Молодой ученый»

Автор:

Рубрика: Информатика

Опубликовано в Молодой учёный №29 (133) декабрь 2016 г.

Дата публикации: 19.12.2016

Статья просмотрена: 1479 раз

Библиографическое описание:

Москалев Н. С. Виды архитектур нейронных сетей // Молодой ученый. — 2016. — №29. — С. 30-34. — URL https://moluch.ru/archive/133/37121/ (дата обращения: 24.05.2018).



В этой статье представлен обзор наиболее популярных архитектур нейронных сетей. Для некоторых из них приведены подходящие сферы применения. В заключении сделаны рекомендации по выбору нейронной сети.

Тема искусственного интеллекта популярна уже не первое десятилетие, но в последнее время изучение этого вопроса находит широкое распространение [1]. Для создания искусственного интеллекта необходимо разработать модель поведения как у живого организма, способного учиться. Такой моделью является искусственная нейронная сеть, некоторые из архитектур которой будут освещены в данной статье.

Составляющие искусственной нейронной сети

Все искусственные нейронные сети состоят из так называемых нейронов — модели, представляющей из себя пороговую величину, и связей между нейронами — синапсами. Принято изображать искусственную нейронную в виде графа, где нейроны — это узлы, а синапсы — взвешенные связи между узлами.

Модель нейрона показана на рисунке 1.

Рис. 1. Модель искусственного нейрона

Из этого рисунка можно получить общее представление о работе искусственного нейрона. На вход поступает некоторое количество сигналов, которое заранее определено архитектором нейронной сети по критериям отбора, связанными с типом решаемой задачи. Эти сигналы умножаются на вес W и суммируются. После, функция активации преобразует полученные данные в своего рода ответ. Обычно этот ответ находится в диапазоне [0;1] или [-1;1]. Функции активации бывают различными, чаще всего встречается:

– линейная функция:

– сигмоид:

– гиперболический тангенс:

В искусственных нейронных сетях присутствует разнообразный набор таких активационных функций.

Путём объединения нескольких нейронов создаётся искусственная нейронная сеть.

Персептроны

Персептрон — система из сенсоров разных типов: сенсоры (S), ассоциативные (A) и реагирующие (R) [2]. Общий вид персептрона представлен на рисунке 2.

Рис. 2. архитектура персептрона

С учётом того, что каждый нейрон имеет вид, представленный на рисунке 1, можно сказать, что слой элементов S никак не преобразует данные, а лишь передаёт их на следующий слой, таким образом его можно исключить [4]. Даже такая модель может решить задачу классификации и сформировать базовый логический элемент, например, исключающее ИЛИ.

Сеть Хопфилда

Сеть Хопфилда — этот вид сети представляет из себя полносвязный граф представленный на рисунке 3.

Рис. 3. архитектура сети Хопфилда

В этой сети каждый нейрон выступает во всех трёх ипостасях. До обучения каждый нейрон является сенсорным, пока идёт обучение, все они ассоциативные, после обучения — реагирующие.

Эта сеть выдаёт ответ после принятия устойчивого состояния. Система стабилизируется не до конца, так как общая энергия сети уменьшается с каждой итерацией обучения. Нейроны, как правило, обучаются последовательно, хотя возможен и параллельный процесс.

Эти сети используются как ассоциативная память, их использование оправдано в случае «дорисовки» картины событий имея её существенную часть.

Свёрточная нейронная сеть

Это вид сети сильно отличается от остальных, в основном используется для работы с графической и аудио информацией. Модель такой сети представлена на рисунке 4. Эта архитектура обрабатывает данные не целиком, а фрагментами, но при этом данные не дробятся на части, а осуществляется своего рода последовательный прогон. Затем данные передаются дальше по слоям. Кроме свёрточных слоёв (С) используются также слои объединения (P — pooling). Например, из аудиодорожки выбираются только ключевые моменты: пики амплитуд и паузы. Слои объединения сжимаются с глубиной (обычно степенью двойки). К конечным слоям добавляются несколько персептронов (сеть прямого распространения), для последующей обработке данных.

Рис. 4. архитектура свёрточной нейронной сети

Эта архитектура является наиболее подходящей для распознавания изображений и их классификации. С её помощью возможно распараллеливание вычислений, и, как следствие, использование графических процессоров. Однако эта архитектура нуждается в настройке большого количества варьируемых параметров, таких как количество слоёв, количество ядер в каждом слое, функции активации каждого нейрона и многие другие.

Рекуррентная нейронная сеть

Эта архитектура похожа на сеть прямого распространения, но со смещением во времени. Информация к нейронам приходит не только с предыдущих слоёв, но и от самих себя с предыдущей итерации. Эта сеть показана на рисунке 5.

Рис. 5. архитектура рекуррентной нейронной сети

К сожалению информация в этих сетях со временем теряется со скоростью, зависящей от активационных функций. Эту архитектуру можно использовать в самых различных случаях, ведь любые данные можно представить в виде последовательности.

Выводы

В заключении можно сказать, что выбор нейронной сети основывается главным образом на типе решаемой задачи (аппроксимация, прогнозирование, кластеризация) и входных данных (размерности, ключевых факторах). Так же не стоит выбирать сложную нейронную сеть для обработки больших данных, следует преобразовывать данные по стандартным алгоритмам для уже существующих решений.

Литература:

  1. Электронный ресурс: Динамика популярности по запросу «Искусственный интеллект» Google.com https://www.google.ru/trends/explore?date=all_2008&gprop=news&q= %2Fm %2F0mkz&hl=ru
  2. Фрэнк Розенблатт. Принципы нейродинамики. Перцептроны и теория механизмов мозга. Издательство «Мир», 1965г — стр. 82
  3. Электронный ресурс: Зоопарк архитектур нейронных сетей / Хабрахабр https://m.habrahabr.ru/company/wunderfund/blog/313696/
  4. Электронный ресурс: Учебник по нейронным сетям / Neuralnet http://neuralnet.info/глава-3-персептроны/#история-персептрона
Основные термины (генерируются автоматически): нейронная сеть, искусственная нейронная сеть, сеть прямого распространения, искусственного нейрона, вид сети, нейронной сети, Свёрточная нейронная сеть, Рекуррентная нейронная сеть, Модель искусственного нейрона, искусственного интеллекта, архитектура сети Хопфилда, работе искусственного нейрона, сложную нейронную сеть, сеть выдаёт ответ, решаемой задачи, архитектором нейронной сети, Модель нейрона, искусственные нейронные сети, искусственного интеллекта популярна, активационных функций.


Обсуждение

Социальные комментарии Cackle
Задать вопрос