平行駕駛最初想法形成於20世紀90年代中期，由時任美國亞利桑那大學機器人實驗室主任的王飛躍教授提出，原本是希望藉助於Agent的想法，利用“本地簡單、遠程複雜”的思想把無人車技術充分利用起來，使之變成輔助人類駕駛的線上“軟體機器人”系統[1]。2005年，王飛躍教授在西安舉行的IEEE ICVES（汽車電子與安全國際會議）上正式提出了平行駕駛的概念，將人工系統與實際系統虛實互動的思想被套用於駕駛領域，形成了當下平行駕駛理論的雛形[2]。近年來，隨著網際網路、大數據、雲計算、物聯網以及人工智慧等技術的發展，數據已然成為當下最為重要的“礦藏資源”，軟體定義的組件、流程、系統逐漸走入大眾視野，進一步推動了平行駕駛的發展。在此背景下，王飛躍教授提出CPSS（Cyber-Physical-Social Systems）的理論框架[3]，將駕駛員、車輛、信息這幾個組成部分，擴展對應到通過物理空間和信息空間耦合互動的三個世界：物理世界、心理世界和人工世界，形成了基於CPSS理論的“平行駕駛”。
基本介紹
- 中文名：平行駕駛
- 外文名：Parallel driving
- 提出時間：20世紀90年代中期
產生背景,主要模組,
產生背景
1997年8月，在加州聖地亞哥舉行了名為Demo'97（The NAHSC 1997 Technical Feasibility Demonstration ）的無人車集中演示，在這次展示中，有超過20款自動駕駛汽車（包括小轎車、卡車、公共汽車）登場亮相，這次演示的目的是交流和分享無人車技術，最終推動實現商業化。而在這次成功演示之後，美國國會和相關機構卻終止了對無人自主車研發的資助，加之法律和市場的考慮，人們對於無人車的套用前景深感悲觀，無人車團隊紛紛另尋出路，轉向特種車、軍事、安全等領域。
在汽車自主駕駛研究和套用陷入低潮之際，王飛躍教授於萌發了“平行駕駛”的想法，將有人駕駛與無人駕駛結合起來，為自動駕駛研究另尋出路。這一想法曾在90年代末美國無人車VISTA的研製和數字試車場DGP的設計上，以及後來國內“863”汽車電子重點項目“基於OSGi/VDX的嵌入式實時特定汽車套用作業系統vASOS”中得以部分實施，但其方法的正式提出卻是差不多十年後的2005年，即在第一屆IEEE汽車電子與安全國際會議上提出的基於網路化智慧型代理、按照“車內（Local）簡單、車外（Global）複雜”原理設計的平行駕駛系統。
在平行駕駛中，當人類司機駕著真實車賓士時，作為“軟體機器人”的智慧型代理也開著對應的“虛擬車”同時在賓士。這種虛擬車，學術上稱為“人工車”或“軟體定義的車”，根據不同的要求在不同的程度上與真實車一一對應。而且，一部真實車可以有多部虛擬車與之相伴，有的隨車而行，有的存於家中、辦公室、服務中心、廠家或政府的檔案機構，或者各式各樣的網路雲端服務平台之中。虛擬車可以通過網路與真實車交換信息，互相服務、互相支持。利用這種方式，虛擬車可以用可視化的形式提供真實車的本體知識、歷史情況和實時信息；同時提供預測未來狀態和情境的計算能力或檢查事故原因的回溯計算功能；最終，還可以虛實互動，提供監視、控制、管理、服務真實車的各類功能。顯然，這種智慧型汽車技術的發展與套用前景幾乎是無限的。
主要模組
基於ACP方法的智慧型機器系統框架
自基於人工社會、計算實驗與平行執行的複雜系統智慧型化解決體系提出以來，得到了眾多領域廣大學者的高度認可與支持，同時引發並引導了眾多的前沿性研究與套用。無人車領域由於技術和法律的不完備性導致無法上路，如何將平行系統嫁接到無人車領域的套用成為了重要課題。
2015年,王飛躍研究員在報告中第一次結合ACP平行系統理論與機器人學, 提出平行機器人的概念, 提出將機器人從CPS空間推向CPSS空間, 從服務機械製造的物理機器人演化成為同時服務於知識工作的平行機器人。
作為一種輪式機器人的無人駕駛汽車，同樣可以在CPSS（Cyber-Physical-Social Systems）的理論框架下，將駕駛員、車輛、信息這幾個組成部分，擴展對應到通過物理空間和信息空間耦合互動的三個世界：物理世界、心理世界和人工世界，形成了基於CPSS理論的“平行駕駛”。“無人自主駕駛這三個圈(駕駛員、車和信息)，在技術方面能夠從這三個圈擴展到五個圈，那如何來擴展，一定是把物理空間和網路空間打通，從單個車的智慧型到聯網的、群體的車之智慧型。”王飛躍研究員在報告中這樣說。
基於CPSS的平行駕駛框架
未來連線自動駕駛的主要因素是物理車輛，人類駕駛員和認知以及人工社會，根據基於ACP的平行智慧型方法可以自然而然地投影到三個平行世界中，即物理世界，心理世界和人工世界。除此之外，在平行駕駛中，通過虛擬的駕駛員和車輛在ACP方法下進行的平行執行來強化人工世界。無人駕駛中三個十分重要的方面是感知、規劃與決策。對此，王飛躍教授團隊分別有針對性地提出了平行視覺、平行學習、以及平行測試與評估的技術方法。
通過平行場景中的場景生成器生成不同複雜程度的環境, 然後加入軟體定義的無人車, 設定其各虛擬硬體與虛擬感測器使性能服從於真實條件下的測試結果, 之後可以針對不同程度的複雜任務進行計算實驗, 根據實驗結果綜合打分。
平行無人車測評系統同樣可用於無人駕駛的學習與訓練。法律尚不允許無人車在正常交通中行駛（北京已放開路測）, 因此無人車難以獲得真實實驗數據, 更無法通過試錯法進行強化學習。而通過計算實驗, 無人車可在人工系統中獲得基於虛擬硬體的真實實驗數據, 以數據驅動控制算法的學習與訓練過程, 不斷調整最佳化, 得到更穩定可靠的控制策略與控制算法。將無人車的訓練過程部署在人工系統中, 可以減輕無人車本地的計算負擔, 不僅節約無人車硬體成本, 也使無人車在本地計算資源有限的情況下可以擴展更多的感測器或功能模組。
平行視覺與平行場景
平行視覺是ACP理論在視覺計算領域的推廣套用，是一種虛實互動的智慧型視覺計算方法。框架結構如圖所示。平行視覺的ACP理論 =人工場景(Artificial Scene, A) +計算實驗(Computational Experiments, C) +平行執行(Parallel Execution, P)。
A：利用人工場景來模擬和表示複雜挑戰的實際場景，採集大規模多樣性的虛擬圖像和視頻數據集，自動生成詳細且精確的標註信息。
C：通過計算實驗進行視覺算法的設計與評估，包括“學習與訓練”、“實驗與評估”兩種操作模式，計算實驗可控、可觀、可重複。
P：將視覺系統在實際場景和人工場景中平行執行，進行線上最佳化，實現對複雜場景的智慧型感知與理解。
複雜交通環境下的目標檢測是一項困難的視覺任務，因為在實際套用中，光照和天氣條件、目標和背景外觀都很複雜。在白天和夜間，光源不同，光照條件差別很大；在惡劣天氣、夜間低照度、白天強陰影等條件下，目標與背景模糊不清；相對於攝像機，目標姿態多樣，並且可能被部分遮擋，為檢測增加了新的難度。在這些因素的綜合影響下，很難設計一個魯棒的目標檢測器。Faster R-CNN是精度較高的檢測器之一。通常，Faster R-CNN利用實際數據集進行訓練和評估。但是，從實際場景中獲取大規模多樣性的數據集非常困難，尤其缺少惡劣天氣和不良光照下的訓練圖像，導致訓練的模型在實際套用時很可能失敗。而人工場景能夠模擬複雜挑戰的交通環境，提供色彩逼真的大規模多樣性數據集，作為實際場景數據集的補充。結合人工場景數據集和實際場景數據集，共同訓練和評估Faster R-CNN模型，能夠提高目標檢測器的精度和魯棒性。
通過構建虛擬城市場景，生成如所示的大規模虛擬圖像及其標註信息。面向目標檢測任務，可以在每幀虛擬圖像中隨機改變道路上車輛的顏色，以增加虛擬圖像的多樣性，而這在實際場景中是不可能做到的。通過控制人工場景中的目標外觀和運動、光照和天氣條件、攝像機高度和視角等因素，生成多樣性的虛擬圖像。實驗結果已經表明，採用虛實互動的平行視覺方法，明顯提高了目標檢測器的精度和魯棒性。
圖為虛擬圖像及其標註。第一行：深度（左）和光流（右）標註。第二行：目標跟蹤（左）和檢測（右）標註。第三行：像素級的實體分割（左，針對車輛）和語義分割（右）。
圖為在每幀虛擬圖像中，道路上車輛的顏色被隨機改變，訓練數據的多樣性得到極大提高。
總之，平行視覺在物理和網路空間大數據的驅動下，結合計算機圖形學、虛擬現實、機器學習、知識自動化等技術，利用人工場景、計算實驗、平行執行等理論和方法，建立複雜環境下視覺感知與理解的理論和方法體系。平行視覺與深度學習、生成式對抗網路GAN、人機混合等技術相結合，將在視覺計算領域發揮重要作用，成為一個重要的研究方向。
平行學習與平行測試
阻礙自動化車輛設計的主要問題是缺少測試數據。由於交通場景的複雜性，很難收集所有數據來訓練或測試無人駕駛車輛。為了應對這一挑戰，清華大學李力副教授、英國克蘭菲爾德大學曹東璞副教授、西安交通大學鄭南寧院士與王飛躍研究員等在自動車輛設計中提出並開發了所謂的平行學習理論。如圖所示，平行學習的理論框架由兩部分組成。虛線上方是基於軟體定義的仿真系統的數據預處理階段。虛線下部表示基於計算實驗的預測性學習和集成學習，以及平行控制和規定性學習。細箭頭表示數據生成或數據學習，粗體箭頭表示動作和數據之間的互動。
在數據處理階段，平行學習方法首先從原始數據中選擇特定的“小數據”，再送入軟體定義的人工系統，並從人工系統中產生大量的新數據。這些人造數據連同特定的原始數據一起構成一組用於更新機器學習模型的“大數據”，然後通過使用GAN等模型構建虛擬視頻來測試自動車輛。
