簡介
離線海量存儲的典型產品就是磁帶、光碟(DVD\BD)或
磁帶庫,價格相對低廉。離線存儲介質上的數據在讀寫時是順序進行的。當需要讀取數據時,需要把帶子卷到頭,再進行定位。光碟的話可以直接調用,當需要對已寫入的數據進行修改時,很多情況下數據都需要全部進行改寫。因此,離線存儲的主要用於數據的備份和恢復。在大多數的情況下,光碟、磁帶上的數據會儘量少的進行訪問操作。
光碟存儲價格相對最低,但容量價格比最好。
隨著檔案信息化的發展,我國各級各類檔案館所保存的數字檔案信息急劇增加,且呈持續快速增長趨勢。海量檔案信息的安全管理問題已成為各級檔案部門面臨的重要問題。隨著國家電子政務的進一步推進,該問題將愈加突出。為此,各檔案館綜合利用線上存儲、近線存儲、離線存儲等不同方式,對檔案信息進行存儲和備份。許多檔案館在制定本單位的存儲策略時,針對檔案信息安全要求高、使用頻率相對較低等特點,綜合考慮線上和離線等存儲方式的技術特點和投資情況等因素,將離線存儲方式作為本單位海量檔案信息的存儲策略之一。如何科學合理地進行海量數據的離線存儲,已成為檔案工作者在解決海量檔案信息安全存儲問題時面臨的重要課題。
總體架構
海量檔案數據離線存儲系統由硬體系統和軟體系統組成,並輔以系列化的操作規程,實現檔案數據硬碟離線存儲的科學化、規範化。該系統可以改變傳統硬碟存儲系統內設備群開、群關的管理和套用模式,可實現存儲系統內硬碟線上和休眠狀態的按需轉換;在確保硬碟存儲系統低功耗運行的同時,實現檔案數據的快速檢索套用;可解決離線設備的自動定期檢測、定期加電維護等技術問題,實現對硬碟存儲系統的保護。
工作流程
海量檔案數據離線存儲系統功能主要包括:磁碟入庫登記、檢查磁碟在位、檢查磁碟參數、建立檔案目錄結構、目錄掛接、建立數據鏡像、檔案目錄檢索、硬碟出庫、數據利用、查看原文、導出數據、列印數據等。總體方案對所有功能進行了流程化處理,並將用戶規劃為三類角色:
磁碟櫃管理員。主要完成磁碟入庫登記、檢查磁碟在位、檢查磁碟參數、磁碟出庫等工作。
數據管理員。主要完成建立檔案目錄結構、目錄掛接、建立數據鏡像等工作。
檔案利用人員。可進行檔案目錄檢索、查看原文、導出數據、列印數據等操作。
軟硬體功能
硬碟離線存儲櫃硬體系統包括櫃內硬體和櫃體兩部分。櫃內硬體主要分為四部分:硬碟陣列控制器模組、SATA匯流排交換控制模組、本地主控模組和電源模組。
每個模組獨立完成特定的功能,模組之間通過控制線和匯流排連線,相互配合完成硬碟之間的數據傳輸、系統控制及供電控制。硬碟離線存儲櫃主要實現對硬碟的集中管理,櫃體具備防塵、防磁、防水、防盜、抗衝擊、承受高低溫變化等功能,可在低電壓下工作,並配備備用供電電池。
軟體功能主要包括:數據快速遷移、人機互動、硬碟定期循環自檢、狀態監控、定期對硬碟進行加電維護、離線數據管理、數據快速利用等。
硬體設備
硬體設備系列成果主要為兩大類設備:數據遷移設備和硬碟離線存儲櫃。通過兩類設備,可實現檔案數據遷移、檔案數據離線存儲和線上檢索、硬碟檢測和故障報警等功能。
(1)移動式數據遷移設備
針對許多單位進行光碟、硬碟等載體多套備份的需求,設計了數據遷移設備。利用該設備可實現硬碟間一對多的數據遷移,也可實現光碟到硬碟的一對多的數據遷移,並可根據需要製作光碟鏡像。根據數據快速採集和備份的需求,設計了移動式的數據遷移設備和攜帶型數據遷移設備。
(2)離線硬碟存儲櫃
課題組研發了多硬碟存儲的離線硬碟櫃,解決了硬碟離線存儲的保存環境問題和定期低壓充電問題。根據不同套用環境和不同套用需求,將硬碟離線存儲櫃設計為辦公式、機櫃式、倉儲式和軍用備災式四款。每一款硬碟離線存儲櫃都具有防塵、防盜、防磁、散熱好等特點,並配備了防盜門鎖,防止非法開啟櫃門。實現了機櫃之間的級聯及櫃內多個硬碟的級聯,單個機櫃可提供百塊硬碟的盤位。
軟體系統
軟體系統主要包括數據遷移管理系統、櫃內觸控螢幕查詢系統和離線硬碟存儲管理系統。三個軟體系統支撐了光碟數據遷移、櫃體獨立管理及控制終端管理。
軟體系統可實現對離線硬碟數據的完全控制,防止硬碟數據的非法讀寫與修改;對每一塊硬碟的物理狀態進行實時監測與可視化顯示及報警;建立了整套預警機制;實現對多個硬碟和多個機櫃的級聯與管理;實現對預警硬碟的備份複製。
操作規程
為規範使用檔案數據離線硬碟存儲系統,課題組研究制定了系統操作規程,規定了離線硬碟存儲的技術要求、檢驗規則、安全控制、離線存儲、線上管理和套用的基本工作流程和基本方法。
檔案行業標準草稿
以研究成果為基礎,課題組起草了檔案工作行業標準《檔案數據硬碟離線存儲管理規範》(草稿),以期為檔案行業套用離線硬碟開展檔案數據備份工作提供標準化依據。該標準已由全國檔案工作標準化技術委員會審議通過,並列入檔案工作行業標準制定計畫。
現狀與問題
海量檔案信息的長期安全保存已成為檔案部門面對的共同問題。各地檔案部門多採用線上備份、近線備份和離線備份相結合的策略,對海量檔案信息進行存儲。每種存儲方式各有其技術特點,其中,線上存儲方式具有數據更新及時、信息查詢速度快等諸多優勢,但是,其購置成本高,運行維護費用大,海量檔案數據全部進行線上存儲需要很大的經費投入。綜合考慮檔案數據具有重要程度高、安全要求高、使用頻率相對較低等特點,許多檔案館都採用了線上存儲和離線存儲相結合的存儲策略。一般將利用頻率高的數據進行線上存儲,以方便快速查詢利用。將利用頻率不高的數據進行近線或離線存儲,以實現長期保存的目標。
檔案部門選用的存儲載體主要為硬碟、磁帶和光碟,每種存儲載體各有技術優勢。作為主要存儲載體之一,硬碟在檔案信息存儲備份工作中得到了越來越多的套用。硬碟具有數據讀取速度快、技術發展迅速、單位存儲成本逐年快速降低、單盤介質存儲容量相對較大等優勢,硬碟在數字信息線上存儲中有著廣泛和穩定的套用。越來越多的檔案館開始將硬碟作為離線存儲載體用於海量檔案信息存儲。經過實踐,硬碟在檔案信息離線存儲中發揮重要作用的同時,由於硬碟自身的技術特性存在一定劣勢,以及保存和使用不當等原因,造成了硬碟損壞、數據丟失等問題,已成為檔案信息安全的極大隱患。
影響硬碟可靠用於離線存儲的問題主要體現在以下方面:硬磁碟需要定期進行加電和啟動運行以保證其正常運轉,而有些檔案館由於條件限制,直接將硬碟離線存放於檔案庫房中,長期無法加電;硬碟存儲對溫濕度等環境條件要求較高,有的檔案館長期將硬碟存放於後庫中,無法達到硬碟存儲所需的環境條件;硬碟的防震和抗衝擊力較弱,而硬碟用於異地備份時要經過多次搬動和長途運輸,難免引起震動;硬碟數據可擦寫、易修改,用於檔案信息保存時必須能夠防止惡意修改;單塊硬碟容量有限,用於海量檔案數據離線存儲時,為便於管理,多塊硬碟級聯的問題需要解決。
解決上述問題,需要針對性地開展研究,通過科學、有效的技術手段,為離線硬碟提供多重保護、檢測和管理機制,以彌補硬碟用於離線存儲時所表現出的技術特性的不足,防止由於硬碟損壞帶來的數據丟失問題,為硬碟在海量檔案信息異地備份工作中的套用提供技術支撐,便於檔案部門對離線數據的有效管理,使數字檔案信息資源得以長期安全保存。
研究意義
對硬碟離線存儲模式進行改進,研發硬碟離線存儲櫃,為硬碟提供多重保護和檢測機制,以改變硬碟作為離線存儲介質時所表現的技術特性的不足,支持在數字檔案信息離線存儲工作中,對數據進行有效的離線存儲和離線管理。該項研究成果將能夠為檔案部門提供檔案信息存儲工作的實際解決方案,適用於不同地區、不同環境下檔案信息的離線存儲工作,具有良好的社會效益和經濟效益。