Основы теории нейронных сетей



         

Алгоритмы разобучения (забывания)


Возможность забывания ненужной, лишней информации является одним из замечательных свойств биологической памяти. Идея приложения этого свойства к искусственной нейросети Хопфилда

"удивительно" проста: при запоминании образов обучающей выборки вместе с ними запоминаются и ложные образы. Их-то и следует "забыть".

Соответствующие алгоритмы получили название алгоритмов разобучения. Суть их сводится к следующему.

На первой фазе происходит обучение сети по стандартному правилу Хебба. Память наполняется истинными образами и множеством ложной информации. На следующей фазе (фазе разобучения) сети предъявляется некоторый (случайный) образ

\lambda^{(0)}
. Сеть эволюционирует от состояния
\lambda^{(0)}
к некоторому состоянию
\lambda^{(f)}
, которое при большом объеме обучающей выборки чаще всего оказывается ложным. Теперь матрица связей может быть поправлена, с целью уменьшить глубину минимума энергии, отвечающего этому ложному состоянию:

 w_{ij}(t+1)=w_{ij}(t)-\varepsilon\cdot \lambda_i^{(f)}\lambda_j^{(f)}.

В качестве степени забывания

\varepsilon
выбирается некоторое малое число, что гарантирует незначительное ухудшение полезной памяти, если состояние
\lambda^{(f)}
не окажется ложным. После нескольких "сеансов забывания" свойства сети улучшаются.

Данная процедура пока не имеет формального теоретического обоснования, однако на практике приводит к более регулярной энергетической поверхности нейронной сети и к увеличению объема бассейнов притяжения полезных образов.




Содержание  Назад  Вперед