基本介紹
- 中文名：罰函式
- 外文名：penalty function
- 罰因子：：penalty
- 罰常數：：penalty constant
- 罰函式法：：penalty function method
- 套用領域：最最佳化問題
基本思想,分類,外罰函式法,內罰函式法,優缺點對比,懲罰因子,套用,電機最佳化設計,廣義指數因子預測,
基本思想
把非線性約束最佳化問題轉化為無線性最佳化約束問題。依據如何將目標函式和約束函式進行組合，人們導出了許多不同形式的罰函式。由於這些早期方法均需要求解一系列無約束的罰函式極小化問題，故通常稱之為序列無約束極小化方法(Sequential Unconstrained Minimization Technique)，簡稱SUMT。
基本思路：通過引進一個乘法因子把約束條件連線到目標函式上，從而將有約束的最最佳化問題轉化為無約束條件的問題。合理的罰函式可以在當搜尋到不可行點時，是目標函式值變得很大，離約束條件越遠懲罰越大。
分類
外罰函式法
根據約束的特點，構造某種懲罰函式，然後加到目標函式中去，將約束問題求解轉化為一系列的無約束問題。這種“懲罰策略”，對於無約束問題求解過程中的那些企圖違反約束條件的目標點給予懲罰。如右圖：
外罰函式法
外罰函式法通過上述方法，我們可以把有約束的問題化為無約束問題求解。也就是所謂的外罰函式法。
但是外罰函式的原理主要是套用了近似最優並且近似可行的，近似最優可以接受，但是近似可行在實際運用中讓人無法接受。這一點可以由內罰函式解決。
內罰函式法
相比於外罰函式法在不可行區域加懲罰，內罰函式法在可行域邊界築起高牆，讓目標函式無法穿過，就把目標函式擋在可行域內了。
內罰函式法
內罰函式法但是這種懲罰策略只適用於不等式約束問題，並要求可行域的內點集非空，否則，每個可行點都是邊界點，都加上無窮大懲罰，懲罰也就失去意義了。
優缺點對比
2）內點法適用於解含不等式約束問題，並且每次疊代的點都是可行點，這是設計人員所希望的。但要求初始點為可行域的內點，需要相當的工作量，同時它不能處理等式約束；外點法適於解既含等式約束又含不等式約束的最佳化問題，初始點可以是可行域之外的點，卻不能保證近似最優解是可行的。
3）罰函式法對於增廣的目標函式的Hessian矩陣的條件數隨罰因子增大或減小而增大，造成在求解無約束最最佳化問題時的困難，如何選擇罰因子往往進退維谷。如外罰函式法，欲使得無約束問題接近於原約束問題，應該選擇儘可能大的罰因子；但為了減輕求解無約束問題的困難，又應選取較小的罰因子，否則增廣矩陣病態。這也是罰函式法的固有弱點。
懲罰因子
懲罰因子是用來權衡損失和分類間隔的權重，懲罰因子越大，表明重視損失，如果懲罰因子選取的非常大，那么如果有分錯的樣本，對其的懲罰非常大，將導致出現硬間隔的效果。不斷增大懲罰因子的值，總能實現將樣本點完全正確的分類，但是這樣將會導致過擬合，泛化能力不夠。
如果在同一個問題中，對不同的樣本點用不同的懲罰因子也是可以的。對給定正負樣本賦予不同的懲罰因子，這樣對於如果正負樣本點的數目差別比較大，可以對樣本數目比較小的樣本類別賦予較大的權重，否則此類樣本錯分的機率將增大。如果對於不同的樣本點賦予不同的懲罰因子，這樣從理論上來說，應該會有更好的分類效果，分別考慮每個樣本的懲罰因子，確定其對於錯分的影響，但是這樣對於複雜性又有所提高，需要單獨考慮每個樣本。但是對於樣本點比較少的時候，比較適合分別賦予權重，有更好的效果。
