Стохастический метод имитации отжига (Annealing) - итеративный метод оптимизации, используемый для обучения нейронных сетей, в котором, как в физическом отжиге металла, разрешаются шаги, повышающие значения функции ошибки (энергии). Метод имитации отжига может быть использован для обучения как многослойных, так и полносвязных сетей. Эффективный метод, не требующий непрерывной дифференцируемости активационных функций.

См. также: Алгоритм обучения нейросети, Машина Больцмана.

Литература:
1) S.Lin, B.W.Kernigan, "An effective heuristic algorithm for the travelling-salesman problem", Operations Research, 1973.

Ссылки:
1) А.Ежов, С.Шумский, "Нейрокомпьютинг и его применение в экономике и бизнесе",1998.  Метод имитации отжига обсуждается в Главе 6.(PostScript, zip)
2) Neural Bench: NEURAL NETWORKS WITH SIMULATED ANNEALING TRAINING ALGORITHM.

Hosted by uCoz