Основы теории нейронных сетей


Больцмановское обучение - часть 2


  1. Найти кумулятивную вероятность, соответствующую
    P(w)
    . Это есть интеграл от
    P(w)
    в пределах от 0 до
    w
    . Поскольку в данном случае
    P(w)
    не может быть проинтегрирована аналитически, она должна интегрироваться численно, а результат необходимо затабулировать.
  2. Выбрать случайное число из равномерного распределения на интервале (0,1). Используя эту величину в качестве значения
    P(w)
    , найти в таблице соответствующее значение для величины изменения веса.

Свойства машины Больцмана широко изучены. Скорость уменьшения температуры должна быть обратно пропорциональна логарифму времени, чтобы была достигнута сходимость к глобальному минимуму. Скорость охлаждения в такой системе выражается следующим образом:

 T(t)=\frac{T_0}{\log(1+t)},

где

T(t)
— искусственная температура как функция времени;
T_0
— начальная искусственная температура;
t
— искусственное время.

Этот разочаровывающий результат предсказывает очень медленную скорость охлаждения (и вычислений). Вывод подтвержден и экспериментально. Машины Больцмана часто требуют для обучения очень большого ресурса времени.




Начало  Назад  Вперед



Книжный магазин