Основы теории нейронных сетей




Бинарные системы - часть 3


Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий именно этому образцу.

На стадии инициализации весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения:

 \begin{gathered} w_{ik}=\frac{x_i^k}{2},\quad i=0,\ldots, n-1,\; k=0,\ldots, m-1,\\ T_k=\frac n2,\quad k=0,\ldots,m-1. \end{gathered}

Здесь

x_i^k
-
i
-й элемент
k
-го образца.

Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине

0<\varepsilon<1/m
. Синапс нейрона, связанный с его же аксоном, имеет вес +1.

Алгоритм функционирования сети Хэмминга следующий:

  1. На входы сети подается неизвестный вектор

    X=\{x_i|i=0,\ldots,n\}
    ,

    исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя):

     y_j^{(1)}=s_j^{(1)}=\sum_{i=0}^{n-1}w_{ij}x_i+T_j,\quad j=0,\ldots, m-1.

    После этого полученными значениями инициализируются значения аксонов второго слоя:

     y_j^{(2)}=y_j^{(1)},\quad j=0,\ldots, m-1.

  2. Вычисляются новые состояния нейронов второго слоя:

     s_j^{(2)}(p+1)=y_j(p)-\varepsilon\sum_{k=0}^{m-1}y_k^{(2)}(p),\quad k\ne j,\quad j=0,\ldots, m-1 \vspace{-1mm}

    и значения их аксонов:

     y_j^{(2)}(p+1)=f\lfloor s_j^{(2)}(p+1)\rfloor,\quad j=0,\ldots, m-1.

    Активационная функция

    f
    имеет вид порога, причем величина
    F

    должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

  3. Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да — перейти к шагу 2. Иначе — конец процедуры.

Из оценки алгоритма видно, что роль первого слоя весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети.




Содержание  Назад  Вперед