1.2 Модель искусственного нейрона
Искусственный нейрон является упрощенной математической моделью биологического нейрона. Введено множество моделей, различающихся вычислительной сложностью и сходством с реальным нейроном. Одна из важнейших - формальный нейрон. Не смотря на простоту формального нейрона, сети, построенные из таких нейронов, могут сформировать произвольную многомерную функцию на выходе.
рис. 1.2.1. Формальный нейрон
Нейрон состоит из взвешенного сумматора и нелинейного элемента. Имеется множество входных сигналов, обозначенных x1, x2...xi которые поступают на нейрон. Эти входные
сигналы, в совокупности обозначаемые вектором X, соответствуют сигналам, приходящим в синапсы биологического нейрона.
┌ ┐
│x1 │
│x2 │
X=│... │ (1.2.1)
│xn │
└ ┘
Каждый вход умножается на соответствующий весовой коэффициент wi. иногда называемый синаптическим весом ( synaptic weight). Каждый вес соответствует "силе" одной биологической синаптической связи. Множество весов в совокупности образует вектор весов W и влияет на прохождение сигналов.
W = [ w1w2...wn ] (1.2.2)
Вес может иметь как положительное, так и отрицательное значение :
если wi > 0, тогда связь называется возбуждающей; если wi < 0, тогда связь называется тормозящей.
После того, как каждый вход х домножается на весовой коэффициент w, полученная последовательность {wixi} поступает на суммирующий блок. Сумматор,
соответствующий телу биологического элемента, складывает взвешенные входы алгебраически (происходит накопление общего входного сигнала) и создает выход, который мы будем называть взвешенной суммой входных сигналов NET.
NET = ∑i wixi = W*X (1.2.3)
Данная сумма передается в качестве параметра некой функции активации F (activation function), которая возвращает новое значение сигнала, после чего это новое значение рассылается всем нейронам подсоединенным к данному нейрону. Преобразованный активационной функцией F сигнал NET назовём выходным нейронным сигналом OUT.
0UT = F(NET- Θ), (1.2.4)
где Θ - пороговый уровень данного нейрона (threshold) или смещение( bias).
В данной модели нейрона отсутствуют временные задержки входных сигналов, поэтому значение NET определяет полное внешнее возбуждение, воспринятое нейроном.
Отклик нейрона далее описывается по принципу "все или ничего", т.е. переменная подвергается нелинейному пороговому преобразованию, при котором выход OUT устанавливается равным единице, если NET > Θ, и OUT = 0 в обратном случае, но данный случай относится только к одному из видов функции активации, который имеет маленькое практическое применение. Зависимость сигнала OUT от функции активации F рассмотрим более конкретно в следующем разделе.
Сети со смещением позволяют формировать более сложные связи между входами и выходами, чем сети без смещения. Например, нейрон без смещения, когда все входы нулевые, будет всегда задавать вход функции активации равным нулю, однако нейрон со смещением может быть обучен так, чтобы при тех же условиях задать вход функции активации произвольной формы.
Итак, нейрон имеет несколько входов X и один выход OUT. Параметрами нейрона, определяющими его работу, являются: вектор весов W, пороговый уровень 0 и вид функции активации F.
Подводя итоги, можно сделать вывод, что рассмотренная простая модель искусственного нейрона игнорирует многие свойства своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И что более важно, она не учитывает воздействий функции частотной модуляции или синхронизирующей функции биологического нейрона, которые ряд исследователей считают решающими. Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и исследования смогут ответить на вопрос, являются ли подобные совпадения случайными или следствием того, что в модели верно схвачены важнейшие черты биологического нейрона.