Основы теории нейронных сетей



         

Емкость памяти


Как и сети Хопфилда, ДАП имеет ограничения на максимальное количество ассоциаций, которые она может точно воспроизвести. Если этот лимит превышен, сеть может выработать неверный выходной сигнал, воспроизводя ассоциации, которым не обучена.

Б. Коско получил оценки, в соответствии с которыми количество запомненных ассоциаций не может превышать количества нейронов в меньшем слое. Для этого емкость памяти должна быть максимизирована посредством специального кодирования, при котором количество компонент со значениями

+1
равно количеству компонент со значениями
-1
в каждом биполярном векторе. Эта оценка оказалась слишком оптимистичной. Е.Г. Рознер показал, что оценка емкости сетей Хопфилда может быть легко обобщена для ДАП. Можно показать, что если
L
векторов выбраны случайно и представлены в указанной выше форме, и если
L
меньше чем
n/(2 \log_2 n
), где
n
— количество нейронов в наименьшем слое, тогда все запомненные образы, за исключением "малой части", могут быть восстановлены. Например, если
n = 1024
, тогда
L
должно быть меньше 51. Если должны восстанавливаться все образы, то
L
должно быть меньше
re/(4 \log_2 n)
, то есть меньше 25. Эти несколько озадачивающие результаты показывают, что большие системы могут запоминать только умеренное количество ассоциаций.

Известно, что ДАП может иметь до

2^n
стабильных состояний, если пороговое значение
T
выбирается для каждого нейрона. Такая конфигурация, которую авторы назвали негомогенной ДАП, является расширением исходной гомогенной ДАП, где все пороги были нулевыми. Модифицированная передаточная функция нейрона принимает в этом случае следующий вид:

 \begin{gathered} OUT_i(n+l) = l,\quad \text{если } NET_i(n) > T_i,\\ OUT_i(n+l) = l,\quad \text{если } NET_i(n) < T_i,\\ OUT_i(n+l) = OUT_i(n),\quad \text{если } NET_i(n) = T_i, \end{gathered}

где

OUT_i(t)
— выход нейрона i в момент времени
t
.

С помощью выбора соответствующего порога для каждого нейрона, количество стабильных состояний может быть сделано любым в диапазоне от 1 до

n
, где
n
— количество нейронов в меньшем слое. К сожалению, эти состояния не могут быть выбраны случайно; они определяются жесткой геометрической процедурой. Если пользователь выбирает
L
состояний случайным образом, причем
L
меньше
(0,68)n^2/{[\log_2(n)] + 4}^2
, и если каждый вектор имеет
4 + log_2 n
компонент, равных +1, и остальные, равные
-1
, то можно сконструировать негомогенную ДАП, имеющую 98% этих векторов в качестве стабильных состояний.




Содержание  Назад  Вперед