飛行試驗數據處理系統

飛行試驗數據處理系統（簡稱FTDPS）是一個基J2EE技術架構的網路數據處理系統。FTDPS採用C/S、B/S多層體系結構，以分散式網路計算技術、套用中間件實現用戶工程實際套用，在確保飛行試驗數據安全管理的同時，方便了用戶的技術套用，提高了系統的套用靈活性。

基本介紹

• 中文名：飛行試驗數據處理系統
• 外文名：flight test data processing system
•  簡稱：FTDPS
• 結構：C/S、B/S結構
• 技術：分散式網路計算技術
• 套用：飛機試驗數據處理

簡介

飛行試驗是在真實飛行條件下進行科學研究和產品試驗的過程。試飛工程師通過飛行試驗獲取被試航空產品的相關信息，並通過對信息的分析開展相關技術研究。地面數據系統是被試對象試驗數據實現線上處理，從而達到試飛數據處理的系統化、標準化和自動化而建設的網路平台。隨著飛行試驗技術的發展，現代數據處理系統要求具備如下功能：

1）試飛數據線上處理，需要數據處理系統永不停機，以保證線上用戶在任何時候都可以訪問到系統中的數據；

2）海量數據線上存儲，為海量試飛數據提供一個高安全的存儲系統； 訪問，為用戶提供一個高穩定的數據處理環境。

3）高效率的數據傳輸，能夠同時允許多名數據工程師線上訪問數據和進行數據處理，數據傳輸不會影響網路的暢通。

飛行試驗數據數據處理系統是一個具有高可用性、高擴展性、高安全性和易管理性的數據管理平台。

試飛數據安全存儲與套用

海量試飛數據的存儲、管理和面向多用戶的及時共享、套用問題一直是困擾試飛數據處理的一大難題，隨著數據量的劇增，這一問題尤為突出。無論是通過介質拷貝分發、網路分發或者網路共享，都難以解決試飛數據的嚴格管理、快速套用等問題。傳統的數據存儲通常是將磁碟陣列或磁帶庫等設備連線到區域網路，因此大量的數據傳輸必須依賴於LAN的網路頻寬，這將導致客戶端用戶的慢速回響。

為了提高數據處理的效率，降低網路擁堵的問題，在該平台建設中我們採用先進的SAN（Storage Area Network）網路作為數據存儲網路，這個網路專用於主機和存儲設備之間的訪問。當有數據的存取需求時，數可以通過存儲區域網路在伺服器和後台存儲設備之間告訴傳輸。目前常用的SAN結構根據協定和連線器的不同，主要分為FC SAN和IP SAN兩種。SAN架構有諸多有點：

1）利用SAN架構進行數據整合，多台伺服器可以通過存儲網路同時訪問存儲系統，不必為每台伺服器單獨購買存儲設備，降低存儲設備異構化程度，減輕維護工作量，降低維護費用；

2）SAN能夠實現數據集中，不同套用對應的伺服器數據實現了物理上的集中，空間調整和數據複製等工作可以在一台設備上完成，大大提高了存儲資源利用率；

3）SAN具有高擴展性，存儲網路架構使得伺服器可以方便地接入現有SAN環境，能夠較好地適應套用變化的需求。

在該數據處理系統平台中，SAN存儲系統由SAN交換機和存儲陣列櫃構成。為了滿足資料庫存儲備份功能的可靠性和安全性要求，採用兩台光纖交換機，將每台伺服器分別和兩個光纖交換機相連，兩個交換機再分別和陣列櫃相連。這樣可以構成一個高性能、高安全、穩定的SAN架構系統。如圖所示。

SAN系統結構拓撲圖

採用磁碟陣列作為存儲磁碟（28塊146G的硬碟），在磁碟存儲系統中用2塊硬碟創建一個HOTSPARE（熱備）盤，另外建2個邏輯RAID組，2個RAID組中各配置13個物理磁碟，分別配置RAID級別為RAID5， 為指定的伺服器組提供磁碟共享。

採用冗餘的磁碟陣列技術（ redundant array of inexpensivedisks，RAID），可以提供很好的數據安全保證。RAID技術將一個個單獨的磁碟以不同的組合方式形成一個邏輯硬碟，從而提高了磁碟讀取的性能和數據的安全性。RAID5採用一個硬碟作為校驗盤，其餘磁碟作為數據盤，數據按位或位元組的方式交叉存取到各個數據盤中。數據校驗的信息被均勻的分散到陣列的各個磁碟上，這樣就不存在並發寫操作時的校驗盤性能瓶頸。

RAID5是目前兼顧存儲性能、數據安全和存儲成本等方面因素最佳的存儲數據保護解決方案。

飛行試驗數據處理系統技術

飛行試驗數據處理是飛行試驗工程中非常重要的一個環節。一般地，飛行試驗數據處理可以分為實時處理和事後處理。實時處理是與飛行試驗同步進行的數據處理，為試飛工程師、飛行試驗指揮員提供數據顯示，監視飛行過程中飛機及系統的運行狀態，保障飛行安全。事後數據處理是飛行試驗結束後進行的數據處理。對於大多數型號的數據處理模式都是採用單機數據處理，單機數據處理由於涉及機載測試記錄、遙測卸載、數據處理等環節，因此處理效率很低，隨著大飛機的試飛工作展開，數據量劇增，試飛參數大大增加，像大飛機單架次數據量達80GB。如果按照傳統模式完成如此大的數據量的數據處理，確有困難，必須在有專門的數據存儲下，完成數據處理的網路化。

飛行試驗數據處理系統（簡稱FTDPS）是一個基J2EE技術架構的網路數據處理系統。採用C/S、B/S多層體系結構，以分散式網路計算技術、套用中間件實現用戶工程實際套用，在確保飛行試驗數據安全管理的同時，方便了用戶的技術套用，提高了系統的套用靈活性。

用戶通過瀏覽器實現數據處理服務請求的準備，伺服器接到服務請求後，啟動資料庫系統中分散式中間件接口數據處理軟體，利用存儲在陣列的試飛數據檔案，完成用戶的服務計算請求，然後將結果返回給數據處理系統。

儘管網路化處理模式相比傳統的數據處理模式，確實是向前邁了一大步。但是隨著後續試飛工作的逐漸展開，有很多問題需要我們來考慮：由於該系統藉助園區網這個平台，隨著數據量劇增所帶來的頻寬瓶頸；隨著每架次數據量劇增，系統上傳數據速度太慢；在處理過程中，有些帳號不能和調度建立連線進行數據處理；數據量劇增帶來的數據處理速度是否能滿足課題的要求等問題。

由此帶來的對於海量試飛數據的存儲管理模式、飛行試驗數據處理系統調度算法的最佳化模式、海量試飛數據的快速處理模式、園區網網路負載均衡等問題的思考。

試飛數據的自動化備份

數據就是生命，數據丟失的損失是不可估量的，因此在對數據進行安全存儲的同時，也要考慮到數據的災難恢復。

目前主流的備份網路架構分為三種：基於直連的備份（directattachedbased backup），基於IP網路的備份（LAN based backups），基於SAN的備份（SAN based backup，通常被成為LAN free backup）。

飛行試驗數據處理平台採用的是SAN架構的網路結構，因此採用基於SAN的備份，即LAN Free備份。在這種網路架構中，備份軟體的客戶端同時也是存儲節點。備份數據集由客戶端通過SAN網路寫入到備份設備中，而控制信息和元數據從IP網路傳輸寫入到備份伺服器的日誌中。在這種方案中，備份設備與客戶端通過SAN網路進行連線，由客戶端完成大量數據的備份。在恢復時，客戶端先從備份伺服器日中獲得相關元數據，然後再從備份設備中讀取已備份的數據，完成備份。在飛行試驗數據處理系統平台中，我們採用IBM 3584磁帶庫作為備份介質，磁帶庫和磁碟陣列都連線在SAN網路上各自作為獨立的光纖節點。數據備份時，數據流直接從磁碟陣列傳輸到磁帶庫內，而無需占用LAN網路頻寬。還能夠充分發揮SAN高速數據流網路的技術特點，體現出高速磁帶設備的性能。如圖所示。

基於SAN的備份網路結構

雲計算套用到飛行試驗數據處理系統的優勢

雲計算是格線計算、分散式計算、並行計算、效用計算、網路存儲、虛擬化、負載均衡等傳統計算機技術和網路技術發展融合的產物。

1）雲計算擁有超強的計算能力。它可以為普通用戶提供每秒10萬億次的計算能力，完成用戶的各種請求服務，這種超級計算能力在普通計算環境下是難以達到的。雲計算的超強計算能力正好可以為海量試飛數據的快速處理模式提供參考。

2）雲存儲（cloud storage）作為雲計算研究熱點延伸和發展出來的新概念，正在受到來自學術界與工業界越來越多的關注，雲存儲服務系統為網路海量數據的存儲提供了有效的解決方案，在最大程度節約成本的情況下，提供了一個完善的備份、容災的數據中心。儘管雲存儲概念提出的時間還不長，卻已在解決大規模非結構化數據的線上存儲、查詢、備份等方面起到了重要的作用[5]。那么能否將雲存儲技術套用到飛行試驗數據存儲管理技術當中來是我們值得考慮的。

3）能否利用現有的雲技術來最佳化飛行試驗數據處理系統調度算法？

4）雲計算的最大優勢成本極低；由於雲的特殊容錯措施可以採用極其廉價的節點來構成雲，雲的自動化集中式管理使使用者無需負擔高昂的數據中心管理成本，雲的通用性使資源的利用率較之傳統系統大幅提升，因此用戶可以充分享受雲的低成本優勢。