Основы теории нейронных сетей

Partse.ru предлагает: запчасти на Proton Persona 400 в Екатеринбурге!

Обучающий алгоритм обратного распространения - часть 7


С помощью векторных обозначений операция обратного распространения ошибки может быть записана значительно компактнее. Обозначим множество величин

\delta
выходного слоя через
D_k
и множество весов выходного слоя как массив
W_k
. Чтобы получить
D_j
,
\delta
-вектор выходного слоя, достаточно следующих двух операций:

  1. Умножить о-вектор выходного слоя
    D_k
    на транспонированную матрицу весов
    W_k'
    , соединяющую скрытый уровень с выходным уровнем.
  2. Умножить каждую компоненту полученного произведения на производную сжимающей функции соответствующего нейрона в скрытом слое.

Добавление нейронного смещения. Во многих случаях желательно наделять каждый нейрон обучаемым смещением. Это позволяет сдвигать начало отсчета логистической функции, давая эффект, аналогичный подстройке порога персептронного нейрона, и приводит к ускорению процесса обучения. Такая возможность может быть легко введена в обучающий алгоритм с помощью добавляемого к каждому нейрону веса, который присоединен к

+1
. Этот вес обучается так же, как и все остальные веса, за исключением того, что подаваемый на него сигнал всегда равен
+1
, а не выходу нейрона предыдущего слоя.

Импульс. Существует метод ускорения обучения для алгоритма обратного распространения, увеличивающий также устойчивость процесса. Этот метод, названный импульсом, заключается в добавлении к коррекции веса члена, пропорционального величине предыдущего изменения веса. Как только происходит коррекция, она "запоминается" и служит для модификации всех последующих коррекций. Уравнения коррекции модифицируются следующим образом:

 \begin{gathered} \Delta w_{pq,k}(n+1)=\eta\delta_{q,k} OUT_{p,j}+\alpha\Delta w_{pq,k}(n),\\ w_{pq,k}(n+1)=w_{pq,k}(n)+\Delta w_{pq,k}(n+1), \end{gathered}

где

\alpha
— коэффициент импульса, который обычно устанавливается около 0,9.

Используя метод импульса, сеть стремится идти по дну "узких оврагов" поверхности ошибки (если таковые имеются), а не двигаться "от склона к склону". Этот метод, по-видимому, хорошо работает на некоторых задачах, но дает слабый или даже отрицательный эффект на других.

Существует сходный метод, основанный на экспоненциальном сглаживании, который может иметь преимущество в ряде приложений.




Начало  Назад  Вперед



Книжный магазин