SPSA

算法簡介

同步擾動隨機逼近算法SPSA，英文Simultaneous Perturbation Stochastic Approximation首字母的縮寫。

歷史概況

SPSA算法是Spall於1987年根據Kiefer-Wolforwitz隨機逼近算法改進而成。它通過估計目標函式的梯度信息來逐漸逼近最優解。在每次梯度逼近中只利用了兩個目標函式估計值，與最佳化問題的維數無關，從而大大減少了用於估計梯度信息的目標函式的測量次數，因此SPSA算法常用於解決高維問題以及大規模隨機系統的最佳化。