Основы теории нейронных сетей

partatorg.ru

Обучение Коши



Рис. 7.3. 

В этом методе при вычислении величины шага распределение Больцмана заменяется на распределение Коши. Распределение Коши имеет, как показано на рис. 7.3, более длинные "хвосты", увеличивая тем самым вероятность больших шагов. В действительности, распределение Коши имеет бесконечную (неопределенную) дисперсию. С помощью такого простого изменения максимальная скорость уменьшения температуры становится обратно пропорциональной линейной величине, а не логарифму, как для алгоритма обучения Больцмана. Это резко уменьшает время обучения. Зависимость может быть выражена следующим образом:

 T(t)=\frac{T_0}{1+t}.

Распределение Коши имеет вид

 P(x)=\frac{T(t)}{T(t)^2+x^2},

где

P(x)
есть вероятность шага величины
x
.

В данном уравнении

P(x)
может быть проинтегрирована стандартными методами. Решая относительно
x
, получаем

 x_c=\rho T(t)\tg (P(x)),

где

\rho
— коэффициент скорости обучения;
x_c
— изменение веса.

Теперь применение метода Монте-Карло становится очень простым. Для нахождения x в этом случае выбирается случайное число из равномерного распределения на открытом интервале

(-\pi/2, \pi/2)
(необходимо ограничить функцию тангенса). Оно подставляется в формулу (5.7) в качестве
P(x)
, и с помощью текущей температуры вычисляется величина шага.




Начало  Назад  Вперед



Книжный магазин