Основы теории нейронных сетей




Непрерывные системы


На предыдущей лекции была рассмотрена классическая модель Хопфилда с двоичными нейронами. Изменение состояний нейронов во времени описывалось детерминированными правилами, которые в заданный момент времени однозначно определяли степень возбуждения всех нейронов сети.

Хопфилд рассматривал модели с непрерывной активационной функцией

F
, точнее моделирующей биологический нейрон. В общем случае это
S
-образная или логистическая функция

 F(x)=\frac{1}{1+\exp(-\lambda NET)},

где

\lambda
— коэффициент, определяющий крутизну сигмоидальной функции. Если
\lambda
велико,
F
приближается к описанной ранее пороговой функции. Небольшие значения
\lambda
дают более пологий наклон.

Как и для бинарных систем, устойчивость гарантируется, если веса симметричны, т.е.

w_{ij} = w_{ji}
и
w_{ii} = 0
при всех
i
. Функция энергии, доказывающая устойчивость подобных систем, сконструирована, но она не рассматривается здесь из-за своего концептуального сходства с дискретным случаем.

Если

\lambda
велико, непрерывные системы функционируют подобно дискретным бинарным системам, окончательно стабилизируясь со всеми выходами, близкими нулю или единице, т. е. в вершине единичного гиперкуба. С уменьшением
\lambda
устойчивые точки удаляются от вершин, последовательно исчезая по мере приближения
\lambda
к нулю. На рис. 9.1 показаны линии энергетических уровней непрерывной системы с двумя нейронами.


Рис. 9.1. 




Содержание  Назад  Вперед