Основы теории нейронных сетей

Partse.ru предлагает: запчасти на Toyota Duet в Екатеринбурге!

Обучающий алгоритм обратного распространения - часть 5


На шаги 1 и 2 можно смотреть как на "проход вперед", так как сигнал распространяется по сети от входа к выходу. Шаги 3, 4 составляют "обратный проход", здесь вычисляемый сигнал ошибки распространяется обратно по сети и используется для подстройки весов. Эти два прохода теперь будут детализированы и записаны как математические выражения.

Проход вперед. Шаги 1 и 2 могут быть выражены в векторной форме следующим образом: подается входной вектор

X
и на выходе получается вектор
Y
. Векторная пара вход — цель
X
и
T
берется из обучающего множества. Вычисления проводятся над вектором
X
, чтобы получить выходной вектор
Y
.

Как мы видели, вычисления в многослойных сетях выполняются слой за слоем, начиная с ближайшего к входу. Величина

NET
каждого нейрона первого слоя вычисляется как взвешенная сумма входов нейрона. Затем активационная функция
F
"сжимает"
NET
и дает величину
OUT
для каждого нейрона в этом слое. Когда множество выходов слоя получено, оно является входным множеством для следующего слоя. Процесс повторяется слой за слоем, пока не будет получено заключительное множество выходов сети.

Этот процесс может быть выражен в сжатой форме с помощью векторной нотации. Веса между нейронами будем рассматривать как матрицу

W
. Например, вес от нейрона 8 в слое 2 к нейрону 5 слоя 3 обозначается
w_{8,5}
. Тогда
NET
-вектор слоя
N
может быть выражен не как сумма произведений, а как произведение
X
и
W
. В векторном обозначении
N = XW
. Покомпонентным применением функции
F
к
NET
-вектору
N
получаем выходной вектор
О
. Таким образом, для данного слоя вычислительный процесс описывается следующим выражением:

 O=F(XW).

(3)

Выходной вектор одного слоя является входным вектором для следующего, поэтому вычисление выходов последнего слоя требует применения уравнения (3) к каждому слою от входа сети к ее выходу.

Обратный проход.

Подстройка весов выходного слоя. Так как для каждого нейрона выходного слоя задано целевое значение, то подстройка весов легко осуществляется с использованием дельта-правила. Внутренние слои называют "скрытыми слоями", для их выходов не имеется целевых значений для сравнения, поэтому обучение усложняется.




Начало  Назад  Вперед



Книжный магазин