Виды архитектур нейронных сетей | Статья в журнале «Молодой ученый»

Автор:

Рубрика: Информатика

Опубликовано в Молодой учёный №29 (133) декабрь 2016 г.

Дата публикации: 19.12.2016

Статья просмотрена: 2025 раз

Библиографическое описание:

Москалев Н. С. Виды архитектур нейронных сетей // Молодой ученый. — 2016. — №29. — С. 30-34. — URL https://moluch.ru/archive/133/37121/ (дата обращения: 16.08.2018).



В этой статье представлен обзор наиболее популярных архитектур нейронных сетей. Для некоторых из них приведены подходящие сферы применения. В заключении сделаны рекомендации по выбору нейронной сети.

Тема искусственного интеллекта популярна уже не первое десятилетие, но в последнее время изучение этого вопроса находит широкое распространение [1]. Для создания искусственного интеллекта необходимо разработать модель поведения как у живого организма, способного учиться. Такой моделью является искусственная нейронная сеть, некоторые из архитектур которой будут освещены в данной статье.

Составляющие искусственной нейронной сети

Все искусственные нейронные сети состоят из так называемых нейронов — модели, представляющей из себя пороговую величину, и связей между нейронами — синапсами. Принято изображать искусственную нейронную в виде графа, где нейроны — это узлы, а синапсы — взвешенные связи между узлами.

Модель нейрона показана на рисунке 1.

Рис. 1. Модель искусственного нейрона

Из этого рисунка можно получить общее представление о работе искусственного нейрона. На вход поступает некоторое количество сигналов, которое заранее определено архитектором нейронной сети по критериям отбора, связанными с типом решаемой задачи. Эти сигналы умножаются на вес W и суммируются. После, функция активации преобразует полученные данные в своего рода ответ. Обычно этот ответ находится в диапазоне [0;1] или [-1;1]. Функции активации бывают различными, чаще всего встречается:

– линейная функция:

– сигмоид:

– гиперболический тангенс:

В искусственных нейронных сетях присутствует разнообразный набор таких активационных функций.

Путём объединения нескольких нейронов создаётся искусственная нейронная сеть.

Персептроны

Персептрон — система из сенсоров разных типов: сенсоры (S), ассоциативные (A) и реагирующие (R) [2]. Общий вид персептрона представлен на рисунке 2.

Рис. 2. архитектура персептрона

С учётом того, что каждый нейрон имеет вид, представленный на рисунке 1, можно сказать, что слой элементов S никак не преобразует данные, а лишь передаёт их на следующий слой, таким образом его можно исключить [4]. Даже такая модель может решить задачу классификации и сформировать базовый логический элемент, например, исключающее ИЛИ.

Сеть Хопфилда

Сеть Хопфилда — этот вид сети представляет из себя полносвязный граф представленный на рисунке 3.

Рис. 3. архитектура сети Хопфилда

В этой сети каждый нейрон выступает во всех трёх ипостасях. До обучения каждый нейрон является сенсорным, пока идёт обучение, все они ассоциативные, после обучения — реагирующие.

Эта сеть выдаёт ответ после принятия устойчивого состояния. Система стабилизируется не до конца, так как общая энергия сети уменьшается с каждой итерацией обучения. Нейроны, как правило, обучаются последовательно, хотя возможен и параллельный процесс.

Эти сети используются как ассоциативная память, их использование оправдано в случае «дорисовки» картины событий имея её существенную часть.

Свёрточная нейронная сеть

Это вид сети сильно отличается от остальных, в основном используется для работы с графической и аудио информацией. Модель такой сети представлена на рисунке 4. Эта архитектура обрабатывает данные не целиком, а фрагментами, но при этом данные не дробятся на части, а осуществляется своего рода последовательный прогон. Затем данные передаются дальше по слоям. Кроме свёрточных слоёв (С) используются также слои объединения (P — pooling). Например, из аудиодорожки выбираются только ключевые моменты: пики амплитуд и паузы. Слои объединения сжимаются с глубиной (обычно степенью двойки). К конечным слоям добавляются несколько персептронов (сеть прямого распространения), для последующей обработке данных.

Рис. 4. архитектура свёрточной нейронной сети

Эта архитектура является наиболее подходящей для распознавания изображений и их классификации. С её помощью возможно распараллеливание вычислений, и, как следствие, использование графических процессоров. Однако эта архитектура нуждается в настройке большого количества варьируемых параметров, таких как количество слоёв, количество ядер в каждом слое, функции активации каждого нейрона и многие другие.

Рекуррентная нейронная сеть

Эта архитектура похожа на сеть прямого распространения, но со смещением во времени. Информация к нейронам приходит не только с предыдущих слоёв, но и от самих себя с предыдущей итерации. Эта сеть показана на рисунке 5.

Рис. 5. архитектура рекуррентной нейронной сети

К сожалению информация в этих сетях со временем теряется со скоростью, зависящей от активационных функций. Эту архитектуру можно использовать в самых различных случаях, ведь любые данные можно представить в виде последовательности.

Выводы

В заключении можно сказать, что выбор нейронной сети основывается главным образом на типе решаемой задачи (аппроксимация, прогнозирование, кластеризация) и входных данных (размерности, ключевых факторах). Так же не стоит выбирать сложную нейронную сеть для обработки больших данных, следует преобразовывать данные по стандартным алгоритмам для уже существующих решений.

Литература:

  1. Электронный ресурс: Динамика популярности по запросу «Искусственный интеллект» Google.com https://www.google.ru/trends/explore?date=all_2008&gprop=news&q= %2Fm %2F0mkz&hl=ru
  2. Фрэнк Розенблатт. Принципы нейродинамики. Перцептроны и теория механизмов мозга. Издательство «Мир», 1965г — стр. 82
  3. Электронный ресурс: Зоопарк архитектур нейронных сетей / Хабрахабр https://m.habrahabr.ru/company/wunderfund/blog/313696/
  4. Электронный ресурс: Учебник по нейронным сетям / Neuralnet http://neuralnet.info/глава-3-персептроны/#история-персептрона
Основные термины (генерируются автоматически): нейронная сеть, сеть, эта, нейрон, данные, архитектура, функция активации, искусственная нейронная сеть, искусственный интеллект, искусственный нейрон.


Похожие статьи

Искусственные нейронные сети | Статья в журнале...

Что же такое искусственные нейронные сети? Фактически, это математическая модель, абстракция.

И после этого срабатывает функция активации, так называемая передаточная функция. После чего выход нейрона подается на другие входы.

Аппаратная реализация искусственных нейронных сетей.

Рассмотрены типы искусственных нейронных сетей. Представлены методы аппаратной реализации искусственных нейронных сетей с использованием аналоговых, либо цифровых схем нейрон-синапсов. Представлены выводы о работе данных алгоритмов на основе их...

Исследование возможностей использования нейронных сетей

сеть, нейронная сеть, искусственный нейрон, сигнал, взвешенная сумма, обучающая выборка, биологический нейрон, упрощенная модель, выход нейрона, вход.

Формирование нейронной сети | Статья в журнале...

Полносвязные нейронные сети. Любой отдельно взятый нейрон в связных сетях всеми остальными.

нейронные сети, искусственный интеллект, история, логика, философия, основные модели нейронных сетей, нейропакет.

От биологических процессов мозга к нейровычислителям

Основные термины (генерируются автоматически): искусственный нейрон, сеть, биологический нейрон, искусственный интеллект, нейрон, принцип работы, техническая реализация

искусственный интеллект, нейронные сети, нейровычисления, нейроматематика.

Разработка математической модели нейронной сети

нейрон, искусственный нейрон, нейронная сеть, сеть, вход, модель, взвешенный сумматор, клетка головного, процессорный элемент, связь.

Исследования особенностей развития нейронных сетей...

Ключевые слова: нейронные сети, персептрон, нейрон.

Искусственные нейронные сети создавались путём имитации на компьютере модели сетей нейронов.

На рис. 1 модель нейрона представляется как пороговая величина, таким образом она получает данные от...

Использование нейронных сетей для повышения надежности...

данные, нейронная сеть, прогноз функции, функция, алгоритм обучения, интеллектуальный узел, верхний уровень, нижний уровень, программное обеспечение, MATLAB.

Модель математической нейронной сети | Статья в журнале...

Ключевые слова: нейрон, синапс, нейронная сеть, функция активации, линейная функция, сигмоид, гиперболический тангенс, тренировочный сет.

Искусственные нейронные сети | Статья в журнале...

Что же такое искусственные нейронные сети? Фактически, это математическая модель, абстракция.

И после этого срабатывает функция активации, так называемая передаточная функция. После чего выход нейрона подается на другие входы.

Аппаратная реализация искусственных нейронных сетей.

Рассмотрены типы искусственных нейронных сетей. Представлены методы аппаратной реализации искусственных нейронных сетей с использованием аналоговых, либо цифровых схем нейрон-синапсов. Представлены выводы о работе данных алгоритмов на основе их...

Исследование возможностей использования нейронных сетей

сеть, нейронная сеть, искусственный нейрон, сигнал, взвешенная сумма, обучающая выборка, биологический нейрон, упрощенная модель, выход нейрона, вход.

Формирование нейронной сети | Статья в журнале...

Полносвязные нейронные сети. Любой отдельно взятый нейрон в связных сетях всеми остальными.

нейронные сети, искусственный интеллект, история, логика, философия, основные модели нейронных сетей, нейропакет.

От биологических процессов мозга к нейровычислителям

Основные термины (генерируются автоматически): искусственный нейрон, сеть, биологический нейрон, искусственный интеллект, нейрон, принцип работы, техническая реализация

искусственный интеллект, нейронные сети, нейровычисления, нейроматематика.

Разработка математической модели нейронной сети

нейрон, искусственный нейрон, нейронная сеть, сеть, вход, модель, взвешенный сумматор, клетка головного, процессорный элемент, связь.

Исследования особенностей развития нейронных сетей...

Ключевые слова: нейронные сети, персептрон, нейрон.

Искусственные нейронные сети создавались путём имитации на компьютере модели сетей нейронов.

На рис. 1 модель нейрона представляется как пороговая величина, таким образом она получает данные от...

Использование нейронных сетей для повышения надежности...

данные, нейронная сеть, прогноз функции, функция, алгоритм обучения, интеллектуальный узел, верхний уровень, нижний уровень, программное обеспечение, MATLAB.

Модель математической нейронной сети | Статья в журнале...

Ключевые слова: нейрон, синапс, нейронная сеть, функция активации, линейная функция, сигмоид, гиперболический тангенс, тренировочный сет.

Обсуждение

Социальные комментарии Cackle

Похожие статьи

Искусственные нейронные сети | Статья в журнале...

Что же такое искусственные нейронные сети? Фактически, это математическая модель, абстракция.

И после этого срабатывает функция активации, так называемая передаточная функция. После чего выход нейрона подается на другие входы.

Аппаратная реализация искусственных нейронных сетей.

Рассмотрены типы искусственных нейронных сетей. Представлены методы аппаратной реализации искусственных нейронных сетей с использованием аналоговых, либо цифровых схем нейрон-синапсов. Представлены выводы о работе данных алгоритмов на основе их...

Исследование возможностей использования нейронных сетей

сеть, нейронная сеть, искусственный нейрон, сигнал, взвешенная сумма, обучающая выборка, биологический нейрон, упрощенная модель, выход нейрона, вход.

Формирование нейронной сети | Статья в журнале...

Полносвязные нейронные сети. Любой отдельно взятый нейрон в связных сетях всеми остальными.

нейронные сети, искусственный интеллект, история, логика, философия, основные модели нейронных сетей, нейропакет.

От биологических процессов мозга к нейровычислителям

Основные термины (генерируются автоматически): искусственный нейрон, сеть, биологический нейрон, искусственный интеллект, нейрон, принцип работы, техническая реализация

искусственный интеллект, нейронные сети, нейровычисления, нейроматематика.

Разработка математической модели нейронной сети

нейрон, искусственный нейрон, нейронная сеть, сеть, вход, модель, взвешенный сумматор, клетка головного, процессорный элемент, связь.

Исследования особенностей развития нейронных сетей...

Ключевые слова: нейронные сети, персептрон, нейрон.

Искусственные нейронные сети создавались путём имитации на компьютере модели сетей нейронов.

На рис. 1 модель нейрона представляется как пороговая величина, таким образом она получает данные от...

Использование нейронных сетей для повышения надежности...

данные, нейронная сеть, прогноз функции, функция, алгоритм обучения, интеллектуальный узел, верхний уровень, нижний уровень, программное обеспечение, MATLAB.

Модель математической нейронной сети | Статья в журнале...

Ключевые слова: нейрон, синапс, нейронная сеть, функция активации, линейная функция, сигмоид, гиперболический тангенс, тренировочный сет.

Искусственные нейронные сети | Статья в журнале...

Что же такое искусственные нейронные сети? Фактически, это математическая модель, абстракция.

И после этого срабатывает функция активации, так называемая передаточная функция. После чего выход нейрона подается на другие входы.

Аппаратная реализация искусственных нейронных сетей.

Рассмотрены типы искусственных нейронных сетей. Представлены методы аппаратной реализации искусственных нейронных сетей с использованием аналоговых, либо цифровых схем нейрон-синапсов. Представлены выводы о работе данных алгоритмов на основе их...

Исследование возможностей использования нейронных сетей

сеть, нейронная сеть, искусственный нейрон, сигнал, взвешенная сумма, обучающая выборка, биологический нейрон, упрощенная модель, выход нейрона, вход.

Формирование нейронной сети | Статья в журнале...

Полносвязные нейронные сети. Любой отдельно взятый нейрон в связных сетях всеми остальными.

нейронные сети, искусственный интеллект, история, логика, философия, основные модели нейронных сетей, нейропакет.

От биологических процессов мозга к нейровычислителям

Основные термины (генерируются автоматически): искусственный нейрон, сеть, биологический нейрон, искусственный интеллект, нейрон, принцип работы, техническая реализация

искусственный интеллект, нейронные сети, нейровычисления, нейроматематика.

Разработка математической модели нейронной сети

нейрон, искусственный нейрон, нейронная сеть, сеть, вход, модель, взвешенный сумматор, клетка головного, процессорный элемент, связь.

Исследования особенностей развития нейронных сетей...

Ключевые слова: нейронные сети, персептрон, нейрон.

Искусственные нейронные сети создавались путём имитации на компьютере модели сетей нейронов.

На рис. 1 модель нейрона представляется как пороговая величина, таким образом она получает данные от...

Использование нейронных сетей для повышения надежности...

данные, нейронная сеть, прогноз функции, функция, алгоритм обучения, интеллектуальный узел, верхний уровень, нижний уровень, программное обеспечение, MATLAB.

Модель математической нейронной сети | Статья в журнале...

Ключевые слова: нейрон, синапс, нейронная сеть, функция активации, линейная функция, сигмоид, гиперболический тангенс, тренировочный сет.

Задать вопрос