Основы теории нейронных сетей


Алгоритм обучения однослойного персептрона


Персептрон должен решать задачу классификации по бинарным входным сигналам. Набор входных сигналов будем обозначать

n
-мерным вектором
x
. Все элементы вектора являются булевыми переменными (переменными, принимающими значения "Истина" или "Ложь"). Однако иногда полезно оперировать числовыми значениями. Будем считать, что значению "ложь" соответствует числовое значение 0, а значению "Истина" соответствует 1.

Персептроном будем называть устройство, вычисляющее следующую систему функций:

 \psi=\Bigl[\sum_{i=1}^m w_{ij} x_I>\theta\Bigr],\quad j=1,\ldots, n,

(1)

где

w_I
— веса персептрона,
\theta
— порог,
x_I
— значения входных сигналов, скобки
[]
означают переход от булевых (логических) значений к числовым значениям по правилам, изложенным выше.

Обучение персептрона состоит в подстройке весовых коэффициентов. Пусть имеется набор пар векторов

(x^\alpha, y^\alpha)
,
\alpha = 1,\ldots,p
, называемый обучающей выборкой. Будем называть нейронную сеть обученной на данной обучающей выборке, если при подаче на входы сети каждого вектора
x^\alpha
на выходах всякий раз получается соответствующий вектор
y^\alpha
.

Предложенный Ф.Розенблаттом метод обучения состоит в итерационной подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах. Алгоритм включает несколько шагов:

Шаг 0Начальные значения весов всех нейронов
W(t=0)
полагаются случайными
Шаг 1Сети предъявляется входной образ
x^\alpha
, в результате формируется выходной образ
\widetilde y^\alpha\ne y^\alpha
.
Шаг 2Вычисляется вектор ошибки
\delta ^\alpha=(y^\alpha-\widetilde y^\alpha)
, делаемой сетью на выходе. Дальнейшая идея состоит в том, что изменение вектора весовых коэффициентов в области малых ошибок должно быть пропорционально ошибке на выходе и равно нулю, если ошибка равна нулю.
Шаг 3Вектор весов модифицируется по следующей формуле:
W(t+\Delta T)=W(t)+\eta x^\alpha \cdot (\delta^\alpha)^T
. Здесь
0<\eta <1
— темп обучения.
Шаг 4Шаги 1—3 повторяются для всех обучающих векторов. Один цикл последовательного предъявления всей выборки называется эпохой. Обучение завершается по истечении нескольких эпох: а) когда итерации сойдутся, т.е. вектор весов перестает изменяться, или б) когда полная, просуммированная по всем векторам абсолютная ошибка станет меньше некоторого малого значения.




Начало  Назад  Вперед



Книжный магазин