最優控制理論（optimal control theory），是現代控制理論的一個主要分支，著重於研究使控制系統的性能指標實現最最佳化的基本條件和綜合方法。 最優控制理論是研究和解決從一切可能的控制方案中尋找最優解的一門學科。它是現代控制理論的重要組成部分。
基本介紹
- 中文名：最優控制理論
- 外文名：optimal control theory
- 研究對象：控制系統
- 套用：綜合和設計最速控制系統
簡介,研究內容,主要方法,古典變分法,極大值原理,動態規劃,最佳化技術,求解方法,最新進展,線上最佳化方法,智慧型最佳化方法,案例分析,最優控制理論在電力系統勵磁控制中的套用,最優控制在控制領域中的套用,最優控制理論在其他領域的套用,
簡介
這方面的開創性工作主要是由貝爾曼（R.E.Bellman）提出的動態規劃和龐特里亞金等人提出的最大值原理。這方面的先期工作應該追溯到維納（N.Wiener）等人奠基的控制論（Cybernetics）。1948年維納發表了題為《控制論—關於動物和機器中控制與通訊的科學》的論文，第一次科學的提出了信息、反饋和控制的概念，為最優控制理論的誕生和發展奠定了基礎。
研究內容
最優控制理論所研究的問題可以概括為：對一個受控的動力學系統或運動過程，從一類允許的控制方案中找出一個最優的控制方案，使系統的運動在由某個初始狀態轉移到指定的目標狀態的同時，其性能指標值為最優。這類問題廣泛存在於技術領域或社會問題中。
例如，確定一個最優控制方式使空間飛行器由一個軌道轉換到另一軌道過程中燃料消耗最少，選擇一個溫度的調節規律和相應的原料配比使化工反應過程的產量最多，制定一項最合理的人口政策使人口發展過程中老化指數、撫養指數和勞動力指數等為最優等，都是一些典型的最優控制問題。最優控制理論是50年代中期在空間技術的推動下開始形成和發展起來的。蘇聯學者Л.С.龐特里亞金1958年提出的極大值原理和美國學者R.貝爾曼1956年提出的動態規劃，對最優控制理論的形成和發展起了重要的作用。線性系統在二次型性能指標下的最優控制問題則是R.E.卡爾曼在60年代初提出和解決的。
主要方法
為了解決最優控制問題，必須建立描述受控運動過程的運動方程，給出控制變數的允許取值範圍，指定運動過程的初始狀態和目標狀態，並且規定一個評價運動過程品質優劣的性能指標。通常，性能指標的好壞取決於所選擇的控制函式和相應的運動狀態。系統的運動狀態受到運動方程的約束，而控制函式只能在允許的範圍內選取。因此，從數學上看，確定最優控制問題可以表述為：在運動方程和允許控制範圍的約束下，對以控制函式和運動狀態為變數的性能指標函式（稱為泛函）求取極值（極大值或極小值）。解決最優控制問題的主要方法有古典變分法、極大值原理和動態規劃。
古典變分法
研究對泛函求極值的一種數學方法。古典變分法只能用在控制變數的取值範圍不受限制的情況。在許多實際控制問題中，控制函式的取值常常受到封閉性的邊界限制，如方向舵只能在兩個極限值範圍內轉動，電動機的力矩只能在正負的最大值範圍內產生等。因此，古典變分法對於解決許多重要的實際最優控制問題，是無能為力的。
極大值原理
動態規劃
動態規劃是數學規劃的一種，同樣可用於控制變數受限制的情況，是一種很適合於在計算機上進行計算的比較有效的方法。
最優控制理論已被套用於最省燃料控制系統、最小能耗控制系統、線性調節器等。
最佳化技術
最優控制的實現離不開最最佳化技術，最最佳化技術是研究和解決最最佳化問題的一門學科，它研究和解決如何從一切可能的方案中尋找最優的方案。也就是說，最最佳化技術是研究和解決如何將最最佳化問題表示為數學模型以及如何根據數學模型儘快求出其最優解這兩大問題。一般而言，用最最佳化方法解決實際工程問題可分為三步進行：
①根據所提出的最最佳化問題，建立最最佳化問題的數學模型，確定變數，列出約束條件和目標函式；
②對所建立的數學模型進行具體分析和研究，選擇合適的最最佳化方法；
求解方法
所謂最最佳化問題，就是尋找一個最優控制方案或最優控制規律，使系統能最優地達到預期的目標。在最最佳化問題的數學模型建立後，主要問題是如何通過不同的求解方法解決尋優問題。一般而言，最最佳化方式有離線靜態最佳化方式和線上動態最佳化方式，而最最佳化問題的求解方法大致可分為四類：
1.解析法
對於目標函式及約束條件具有簡單而明確的數學表達式的最最佳化問題，通常可採用解析法來解決。其求解方法是先按照函式極值的必要條件，用數學分析方法求出其解析解，然後按照充分條件或問題的實際物理意義間接地確定最優解。
這種方法適用於性能指標及約束有明顯解析表達式的情況。其一般步是先用求導方法或變分法求出最優控制的必要條件，得到一組方程或不等式，然後求解這組方程或不等式，得到最優控制的解析解即為所求的最優控制。解析法大致可分為兩大類。第一類，無約束時，採用微分法或變分法。第二類，有約束時，採用極大值原理或動態規劃。
（1）變分法：當控制向量不受約束時，引入哈密頓函式，套用變分法可以導出最優控制的必要條件，即正則方程、控制方程、邊界條件、橫截條件。
（2）極大值原理：在用變分法求解最優控制問題時，是假定控制向量u(O)不受任何限制，即容許控制集合可以看成是整個P維控制空間開集，控制變分u是任意的，同時還要求哈密頓出數H對u連續可微，但在實際工程上，控制變數往往受到一定的限制，這時可以用極大值原理來求解最優控制問題，這種方法其實是由變分法引申而來的，但由於它能套用於控制變數u(t)受邊界限制的情況，並且不要求哈密頓出數H對u連續可微，因此獲得了廣泛的套用。
（3）動態規劃：極大值原理一樣，是處理控制向量限制在一定閉集內的最優控制問題的有效數學方法，它把複雜的最優控制間題變為多級決策過程的遞推函式關係，其基礎和核心時最優性原理即在一個多級決策問題中無論初始狀態和初始決策如何，當把其中的任何一級和狀態再作為初始級和初始狀態時，如下的決定對與這一級開始往後的多級決策過程的一部分必定仍然是一個最優決策。因此，利用這一最優性原理必然可把一個多級決策問題化為最優的單級決策問題並且本級決策與本級以前的任何決策無關，只與本級的初始位置和初始決策有關。對於連續系統用動態規劃法求最優控制問題時，可以先把連續系統離散化，用有限差分方程近似代替連續方程，然後用離散動態規劃法求解。
2.數值解法（直接法）
性能指標比較複雜或不能用變數顯函式表示時，可以採用直接搜尋法，經過若干次疊代搜尋到最優點，數值計算法可以分為兩大類：
（1）區間消去法，又稱為一維搜尋法，適用於求解單變數極值問題。主要有黃金分割法、多項式插值法等。
（2）爬山法，又稱多維搜尋法，適用於求解多變數極值問題。主要有坐標輪轉法、步長加速法等。
3.解析與數值相結合的尋優方法（梯度型法）
是一種解析與數值計算相結合的方法。主要包括兩大類：一種是無約束梯度法，如陡降法、擬牛頓法等。第二類是有約束梯度法，如可行方向法、梯度投影法。
4.網路最最佳化方法
這種方法以網路圖作為數學模型，用圖論方法進行搜尋的尋優方法。
最新進展
線上最佳化方法
基於對象數學模型的離線最佳化方法是一種理想化方法。這是因為儘管工業過程（對象）被設計得按一定的正常工況連續運行，但是環境的變動、觸媒和設備的老化以及原料成分的變動等因素形成了對工業過程的擾動，因此原來設計的工況條件就不是最優的。
解決此類問題的常見方法。
(1)局部參數最最佳化和整體最最佳化設計方法
局部參數最最佳化方法的基本思想是：按照參考模型和被控過程輸出之差來調整控制器可調參數，使輸出誤差平方的積分達到最小。這樣可使被控過程和參考模型儘快地精確一致。
此外，靜態最優與動態最優相結合，可變局部最優為整體最優。整體最優由總體目標函式體現。整體最優由兩部分組成：一種是靜態最優（或離線最優），它的目標函式在一段時間或一定範圍內是不變的；另一種是動態最優（或線上最優），它是指整個工業過程的最最佳化。工業過程是一個動態過程，要讓一個系統始終處於最最佳化狀態，必須隨時排除各種干擾，協調好各局部最佳化參數或各現場控制器，從而達到整個系統最優。
(2)預測控制中的滾動最佳化算法
預測控制，又稱基於模型的控制（Model-based Control），是70年代後期興起的一種新型最佳化控制算法。但它與通常的離散最優控制算法不同，不是採用一個不變的全局最佳化目標，而是採用滾動式的有限時域最佳化策略。這意味著最佳化過程不是一次離線進行，而是反覆線上進行的。這種有限化目標的局部性使其在理想情況下只能得到全局的次優解，但其滾動實施，卻能顧及由於模型失配、時變、干擾等引起的不確定性，及時進行彌補，始終把新的最佳化建立在實際的基礎之上，使控制保持實際上的最優。這種啟發式的滾動最佳化策略，兼顧了對未來充分長時間內的理想最佳化和實際存在的不確定性的影響。在複雜的工業環境中，這比建立在理想條件下的最優控制更加實際有效。
預測控制的最佳化模式具有鮮明的特點：它的離散形式的有限最佳化目標及滾動推進的實施過程，使得在控制的全過程中實現動態最佳化，而在控制的每一步實現靜態參數最佳化。用這種思路，可以處理更複雜的情況，例如有約束、多目標、非線性乃至非參數等。吸取規劃中的分層思想，還可把目標按其重要性及類型分層，實施不同層次的最佳化。顯然，可把大系統控制中分層決策的思想和人工智慧型方法引入預測控制，形成多層智慧型預測控制的模式。這種多層智慧型預測控制方法的，將克服單一模型的預測控制算法的不足，是當前研究的重要方向之一。
(3)穩態遞階控制
對複雜的大工業過程（對象）的控制常採用集散控制模式。這時計算機線上穩態最佳化常採用遞階控制結構。這種結構既有控制層又有最佳化層，而最佳化層是一個兩級結構，由局部決策單元級和協調器組成。其最佳化進程是：各決策單元並行回響子過程最佳化，由上一級決策單元（協調器）協調各最佳化進程，各決策單元和協調器通過相互疊代找到最優解。這裡必須提到波蘭學者Findeisen等所作出的重要貢獻。
由於工業過程較精確的數學模型不易求得，而且工業過程（對象）往往呈非線性及慢時變性，因此波蘭學者Findesien提出：最佳化算法中採用模型求得的解是開環最佳化解。在大工業過程線上穩態控制的設計階段，開環解可以用來決定最優工作點。但在實際使用上，這個解未必能使工業過程處於最優工況，相反還會違反約束。他們提出的全新思想是：從實際過程提取關聯變數的穩態信息，並反饋至上一層協調器（全局反饋）或局部決策單元（局部反饋），並用它修正基於模型求出的的最優解，使之接近真實最優解。
穩態遞階控制的難點是，實際過程的輸入輸出特性是未知的。波蘭學者提出的反饋校正機制，得到的只能是一個次優解。但其主要缺點在於一般很難準確估計次優解偏離最優解的程度，而且次優解的次優程度往往依賴於初始點的選取。一個自然的想法是將最佳化和參數估計分開處理並交替進行，直到疊代收斂到一個解。這樣計算機的線上最佳化控制就包括兩部分任務：在粗模型（粗模型通常是能夠得到的）基礎上的最佳化和設定點下的修正模型。這種方法稱為系統最佳化和參數估計的集成研究方法。 (Integrated System Optimizationand Parameter Estimation)
智慧型最佳化方法
對於越來越多的複雜控制對象，一方面，人們所要求的控制性能不再單純的局限於一兩個指標；另一方面，上述各種最佳化方法，都是基於最佳化問題具有精確的數學模型基礎之上的。但是許多實際工程問題是很難或不可能得到其精確的數學模型的。這就限制了上述經典最佳化方法的實際套用。隨著模糊理論、神經網路等智慧型技術和計算機技術的發展。
智慧型式的最佳化方法得到了重視和發展。
(1)神經網路最佳化方法
與一般的數學規劃一樣，神經網路方法也存在著重分析次數較多的弱點，如何與結構的近似重分析等結構最佳化技術結合，減少疊代次數是今後進一步研究的方向之一。
由於Hopfield模型能同時適用於離散問題和連續問題，因此可望有效地解決控制工程中普遍存在的混合離散變數非線性最佳化問題。
(2)遺傳算法
遺傳算法和遺傳規劃是一種新興的搜尋尋優技術。它仿效生物的進化和遺傳，根據“優勝劣汰”原則，使所要求解決的問題從初始解逐步地逼近最優解。在許多情況下，遺傳算法明顯優於傳統的最佳化方法。該算法允許所求解的問題是非線性的和不連續的，並能從整個可行解空間尋找全局最優解和次優解，避免只得到局部最優解。這樣可以為我們提供更多有用的參考信息，以便更好地進行系統控制。同時其搜尋最優解的過程是有指導性的，避免了一般最佳化算法的維數災難問題。遺傳算法的這些優點隨著計算機技術的發展，在控制領域中將發揮越來越大的作用。
研究表明，遺傳算法是一種具有很大潛力的結構最佳化方法。它用於解決非線性結構最佳化、動力結構最佳化、形狀最佳化、拓撲最佳化等複雜最佳化問題，具有較大的優勢。
(3)模糊最佳化方法
最最佳化問題一直是模糊理論套用最為廣泛的領域之一。
自從Bellman和Zadeh在 70年代初期對這一研究作出開創性工作以來，其主要研究集中在一般意義下的理論研究、模糊線性規劃、多目標模糊規劃、以及模糊規劃理論在隨機規劃及許多實際問題中的套用。主要的研究方法是利用模糊集的a截集或確定模糊集的隸屬函式將模糊規劃問題轉化為經典的規劃問題來解決。
模糊最佳化方法與普通最佳化方法的要求相同，仍然是尋求一個控制方案（即一組設計變數），滿足給定的約束條件，並使目標函式為最優值，區別僅在於其中包含有模糊因素。普通最佳化可以歸結為求解一個普通數學規劃問題，模糊規劃則可歸結為求解一個模糊數學規劃(fuzzymathematicalprogramming)問題。包含控制變數、目標函式和約束條件，但其中控制變數、目標函式和約束條件可能都是模糊的，也可能某一方面是模糊的而其它方面是清晰的。例如模糊約束的最佳化設計問題中模糊因素是包含在約束條件（如幾何約束、性能約束和人文約束等）中的。求解模糊數學規劃問題的基本思想是把模糊最佳化轉化為非模糊最佳化即普通最佳化問題。方法可分為兩類：一類是給出模糊解（fuzzysolution）；另一類是給出一個特定的清晰解（crispsolution）。必須指出，上述解法都是對於模糊線性規劃（fuzzylinearprogramming）提出的。然而大多數實際工程問題是由非線形模糊規劃（fuzzynonlinearprogramming）加以描述的。於是有人提出了水平截集法、限界搜尋法和最大水平法等，並取得了一些可喜的成果。
案例分析
最優控制理論在電力系統勵磁控制中的套用
隨著現代控制理論及其實際套用的不斷發展，運用現代控制理論進行電力系統運行性能的最最佳化控制的研究工作有了迅速的發展，對如何按最最佳化的方法設計多參量的勵磁調節器也取得了很大進展。
（1）基於非線性最優和PID技術的綜合勵磁調節器
對於非線性系統的同步發電機而言，當它偏離系統工作點或系統發生較大擾動時，如果仍然採用基於PID技術的電力系統穩定器，就會出現誤差。為此，可以將其用基於非線性最優控制技術的勵磁調節器。但是，非線性最優控制調節器存在著對電壓控制能力較弱的缺點，所以用一種能夠將非線性最優勵磁調節器和PID技術的電力系統穩定器有機結合的新型勵磁調節器的設計原理。
此綜合勵磁調節器是利用非線性最優控制理論的研究成果，其在非線性的勵磁控制中採用了精確線性化的數學方法，不存在平衡點線性化後的捨入誤差，因此該控制的數學模型在理論上對發電機的所有運行點都是精確的；同時針對非線性的勵磁控制調壓能力較弱的特點，又增加了PID環節，使其具有較強的電壓調節特性此裝置在小機組試驗中取得非常好的實驗效果，在平衡點附近運行和偏離平衡點較多時都具有很好的調節特性。
（2）自適應最優勵磁控制器
將自適應控制理論與最優控制理論相結合，通過多變數參數辨識、最優反饋係數計算和控制算法運算三個環節，可以實現同步發電機勵磁的自適應最優控制。
此發電機自適應最優勵磁方案，通過採用由帶可變遺忘因子的最小二乘算法構成的多變數實時辨識器，使系統狀態方程的係數矩陣A和B中的元素值隨系統運行工況的變化而變化，再經過最優反饋係數計算，實現了同步電機的自適應最優勵磁控制。
數字仿真試驗結果表明，該勵磁控制系統能夠自動跟蹤系統運行工作狀況，線上辨識不斷變化的系統參數，使控制作用始終處於最優狀態。從而改善了控制系統的動態品質，可以提高電力系統運行的穩定性。
（3）基於神經網路逆系統方法的非線性勵磁控制
神經網路逆系統方法將神經網路對非線性函式逼近學習能力和逆系統方法的線性化能力相結合，構造出物理可實現的神經網路逆系統，從而實現了對被控系統的大範圍線性化，能夠在無需系統參數的情況下構造出偽線性複合系統，從而將非線性系統的控制問題轉化為線性系的控制問題。
在大幹擾情況下，神經網路逆系統方法的控制器暫態時間很短，超調量很小，有效地改善了系統的暫態回響品質，提高了電力系統的穩定性，此控制器還具有很好的魯棒性能。另外，神經網路逆系統方法無需知道原系統的數學模型以及參數，，也不需要測量被控系統的狀態量，僅需要知道被控系統可逆及輸入輸出微分方程的階數，且結構簡單，易於工程實現。
（4）基於灰色預測控制算法的最優勵磁控制
最優控制在控制領域中的套用
目前研究最優控制理論最活躍的領域有神經網路最佳化、模擬退火算法、趨化性算法、遺傳算法、魯棒控制、預測控制、混沌最佳化控制以及穩態遞階控制等。
（1）Hopfield 神經網路最佳化
人工神經網路設計一般基於專家的經驗和實踐。套用最廣泛的是誤差反向傳播神經網路，簡稱BP網路，是一種具有3層或3層以上的階層型神經網路。根據神經網路理論，網路總是朝著能量函式遞減的方向運動，並最後到達系統的平衡點。也就是說:Hopfield能量函式的極小點就是系統穩定的平衡點，只要得到系統的平衡點即得到能量函式的極小點。如果把全局最佳化理論運用到控制系統中，則控制系統的目標函式最終到達的正是所希望的最小點。
（2）模擬退火算法
1983年，Kirkpatrick與其合作者提出了模擬退火(SA)的方法，它是求解單目標多變數最最佳化問題的一項Monte-Caula技術。該法是一種物理過程的人工模擬，它基於液體結晶或金屬的退火過程。液體和金屬物體在加熱至一定溫度後，它們所有的分子、原子在狀態空間D中自由運動。隨著溫度的下降，這些分子、原子逐漸停留在不同的狀態。當溫度降到相當低時，這些分子、原子則重新以一定的結構排列，形成了一個全部由有序排列的原子構成的晶體結構。模擬退火法已廣泛套用於生產調度、神經網路訓練、圖像處理等方面。
（3）趨化性算法
趨化性算法(CA)是模擬細菌生長過程中的趨光性原理而提出的一種隨機最佳化方法。它的特點是結構簡單、使用方便。在搜尋過程中，CA只向使解的性能變好的方向搜尋，能否跳出局部極小點依賴於方差的大小，其全局搜尋能力比模擬退火方法和遺傳算法差，但局部搜尋能力較強，收斂速度較快。
（4）遺傳算法
遺傳算法(GA)是一種模擬自然選擇和遺傳的隨機搜尋算法，是模擬自然界中按“優勝劣汰”法則進行進化過程的一種高度並行、隨機和自適應的最佳化算法。它將問題的求解表示成“染色體”的適者生存過程，通過“染色體”群的一代代不斷進化，包括複製、交叉和變異等操作，最終收斂於“最適應環境”的個體，從而求得問題的最優解或滿意解。GA是一種通用的最佳化算法，其編碼技術和遺傳操作比較簡單，最佳化不受限制型條件的約束，而其2個最顯著特點則是隱含並行性和全局解空間搜尋。隨著計算機技術的發展，GA愈來愈得到人們的重視，並在機器學習、模式識別、圖像處理、神經網路、最佳化控制、組合最佳化、VLSI設計、遺傳學等領域得到了成功套用。
（5）魯棒控制
魯棒控制是針對不確定性系統的控制系統的設計方法，其理論主要研究的問題是不確定性系統的描述方法、魯棒控制系統的分析和設計方法以及魯棒控制理論的套用領域。魯棒控制理論發展的最突出的標誌之一是H∞控制。H∞控制從本質上可以說是頻域內的最優控制理論。魯棒控制與最優控制結合解決許多如線性二次型控制、電機調速、跟蹤控制、採樣控制、離散系統的鎮定、擾動抑制等實際問題。
（6）預測控制
預測控制又稱為基於模型的控制，是一類新型計算機最佳化控制算法，其本質特徵是預測模型，滾動最佳化和反饋校正。滾動最佳化反覆線上進行，不同時刻最佳化性能指標的時間區域及絕對形式均不同。這種滾動最佳化能對系統因多種因素而引起的不確定性進行及時彌補，始終把新的最佳化建立在實際的基礎之上，使控制系統保持實際上的最優。
（7）混沌最佳化控制
混沌是一種普遍的非線性現象，是指在確定性非線性系統中不需附加任何隨機因素亦可出現類似隨機的行為，但存在精緻的內在規律性。混沌運動具有隨機性、遍歷性、規律性等特點。混沌運動的基本特徵是運動軌道的不穩定性，表現為對初值的敏感依賴性或對小擾動的極端敏感性。混沌運動在一定的範圍內按其自身的規律不重複地遍歷所有狀態，這種遍歷性可被用來進行最佳化搜尋且能避免陷入局部極小。因此，混沌最佳化技術已成為一種新興的搜尋最佳化技術。
（8）穩態遞階控制
遞階控制是一種計算機線上穩態最佳化的控制結構，其指導思想是將一大系統分解為若干個互相關聯的子系統，即把大系統的最優控制問題分解為各子系統的問題。在各個子系統之上設定一協調器，判斷所得的子系統求解子問題結果是否適合整個大系統的最優控制，若否，則指示各子系統修改子問題並重新計算。通過協調器的相互疊代求解即可得到最優解。
最優控制理論在其他領域的套用
最優控制理論在管理科學方面的套用已取得了很多極有價值的套用成果。其中代表性的是美國學者S.P.塞申和G.L.湯普生所著的《最最佳化管理》一書。書中概述了最優控制理論在金融中的最優投資、生產與庫存、推銷、機器設備的保養與更換等問題的套用;在經濟方面的套用主要是根據巨觀經濟相互依賴關係的計量經濟模型提供經濟預測，解釋經濟問題的動態行為。朱道立編著的《大系統最佳化理論與套用》中運用最優控制理論建立經濟模型，用GRG算法來解釋經濟問題，形成經濟學科中的經濟最優控制。許多專家在研究動態最優穩定性經濟政策中也論證了最優控制在經濟方面的突出作用。在自然資源和人口方面可以套用最優控制理論來分配不可再生資源和可再生資源。此外，最優控制在人才分配方面的套用也有研究報導。
