在長期的國土資源調查、評價、規劃和管理過程中,國土資源各級管理部門積累了關於土地、礦產、地質、環境等規模龐大、形式多樣的國土資源數據。國土資源數據是國土資源信息的載體,這些數據在源於國土資源調查、評價、規劃和管理工作的同時,又服務於國土資源管理和巨觀決策;國土資源數據也是一類重要的數據資源,具有廣泛的社會需求。
通過國土資源信息化,提高國土資源管理效率和水平、強化國土資源監管,推進國土資源管理方式轉變,已成為各級國土資源管理部門的共識。筆者認為,作為國土資源信息載體的國土資源數據,在國土資源各項管理工作中起作核心支撐作用;國土資源數據管理的信息化是國土資源信息化的一項核心內容。本文分析國土資源數據特點,提出基於信息化套用的國土資源數據的分類方法,探討每類數據管理的目的和採用的技術方法。
2國土資源數據特點
國土資源數據是通過國土資源調查、評價、規劃和管理工作產生的,反映了土地、礦產、地質、環境等對象的特徵及其動態變化。面向數據資源保護、大規模有序共享和可持續更新,實現國土資源數據管理工作信息化,首先必須了解國土資源數據的自身特點。
我國國土資源採取國家、省、市、縣多級管理制度。各級國土資源管理部門從自身業務工作需要出發,通過各種途徑及方法獲取和產生有關的國土資源數據,並依據自身需要,對這些數據進行管理,筆者認為,國土資源管理的分級分布性以及國土資源數據所刻畫對象的複雜性,決定了國土資源數據具有如下特點:
2.1 數據分散、“壟斷”
由於管理制度和體制變化、歷史變遷等原因,國土資源數據“散落”在各個業務職能部門之中,有的甚至成了這些部門的“私有財產”,絕大部分數據還處在業務職能部門的“壟斷”使用狀態,數據信息共享程度極低,各級國土資源管理單位難以從全局上掌控這些數據。
2.2 數據標準化程度低
雖然國土資源有關部門就國土資源基礎數據建設發布了若干標準、規程和規範,但標準自身的完善性還不夠,各地區對標準的理解和執行方面還存在極大的差異性。總體而言,國土資源數據的標準程度還很低。
2.3 數據規模龐大
多年的國土資源調查、評價、規劃和管理工作積累了龐大的國土資源數據,省級數據規模達TB級,並且隨著全國性的土地二次調查、土地規劃修編等工作的開展,國土資源數據的積累呈現加速態勢。
2.4 數據時空間性強
國土資源管理工作離不開土地、礦產的空間位置,描述資源地理分布的空間數據是國土資源數據的重要組成部分。國土資源數據不僅要刻畫土地、礦產等的現狀,還要反映其動態變換,國土資源數據具有時態性。基於刻畫精細程度的不同,國土資源數據具有多個空間和時間尺度。
2.5 數據管理多樣化
各個業務職能部門分散管理自身相關的國土資源數據,造就了數據管理的多樣化。從數據管理主體看,有的是各業務職能部門獨自管理自身相關數據、有的是基於數據中心進行單位同意數據管理;從數據表現形式上看,紙介質、磁介質數據檔案、基於資料庫的數據集等方式並存;從數據管理手段看,存在手工、業務套用系統、資料庫管理系統等方式;從數據管理集成性看,存在基於獨立業務管理、基於業務集成的數據中心共享資料庫管理等形式。
2.6 數據質量普遍不高
由於統一的國土資源空間數據框架體系和數據模型尚未形成,數據採集質量控制體系尚未健全,資料庫建設中的數據質量控制體系也尚待完善,數據採集和生產人員的素質高低不一,以及人為數據造假等原因,我國國土資源數據質量普遍不高。
面對如此複雜的國土資源數據環境,實現國土資源數據管理的信息化是一項複雜的系統工程。實現國土資源數據管理信息化,既要尊重國土資源數據的客觀現狀,在儘量不改變數據現有形態的同時,基於各國土資源管理單位的全局,對這些數據進行有效保護;又要基於國土資源信息化建設的整體需要,面向建立高度網路化共享的國土資源數據基礎設施,對現有的數據資源進行整合,逐步消除新數據採集、加工、交換、共享、服務等環節在技術、管理等方面的脫節問題。為此需要基於各國土資源數據的特徵和國土資源數據套用需求,對國土資源數據進行梳理,面向國土資源信息化,對國土資源數據進行科學分類,採取信息技術建立相應手段進行有效管理。
3國土資源數據分類
國土資源數據類型多樣,在分散的數據管理、“壟斷”的數據之下,必須考慮不同種類數據之間的關係。國土資源數據管理信息化,建立各種類型的國土資源資料庫只是建設的一部分內容,另一部分內容是發現和整理數據之間的關係,形成全面合理的國土資源數據分類體系。對不同類型國土資源數據中的共享部分獨立建庫和集中管理,降低數據的冗餘,保證共享數據的一致性。
依據國土資源數據在國土資源管理工作中所發揮的作用,筆者認為國土資源數據可分為資料數據、基礎數據、業務數據、管理數據和元數據五大類。各類數據及各類數據之間的關係如圖1所示。通過匯交、整理等方式,形成能全局掌控的資料數據,通過對資料數據的整合,形成統一共享的基礎數據、業務數據、管理數據,在資料數據整理、整合過程中,形成相應的元數據;基礎數據涉及4D數據(DEM、DoM、DLG、DRG)、區域地質、地名庫等構成各地區空間基礎框架的數據內容,這種數據將在業務數據和管理數據中得到廣泛的引用;業務數據是反映國土資源利用現狀和規劃的主要載體,在業務數據套用系統中,業務數據可利用基礎數據中體現空間信息基礎框架的信息,例如行政區劃、分類代碼、地形等數據;管理數據是通過利用業務數據反映的現狀信息和政務申請數據,進行行政和非行政管理而形成的成果數據;元數據需要反映資料數據、基礎數據、業務數據、管理數據的說明信息,各類數據建庫之後,需要提取說明數據質量、內容、類型等的元數據信息,形成元資料庫,為發現、發布和管理各類數據提供有效依據。
3.1 資料數據
這些數據是各國土資源管理單位通過各種渠道獲得的各種原始資料數據,這些數據以原有的形態、組織方式等出現。
將資料數據納人整個國土資源數據管理信息化的範疇內,目的是在不破壞數據原貌的前提下,保護長期積累的土地、礦產、環境在調查、評價、規劃、管理方面的數據資料,使國土資源各管理單位從全局掌控目前分散在其各個業務職能部門中的數據。這些數據包括從基礎測繪部門獲得的原始基礎地理數據、從地質調查部門獲得的地質資料調查數據、從各市縣局匯交獲取的原始資料數據、從國家國土資源管理部門獲取的數據、國土資源歷年自身產生的數據等,這些數據可以是電子形式的,也可以是紙介質的。通過合理的數據布局設計、元資料庫建設、元數據提取等,對原始數據進行集中安全管理,為通過整合形成基礎數據、業務數據提供統一管理的數據基礎。
3.2 基礎數據
如圖2所示,基礎數據主要包括各種比例尺的基礎地理信息數據、基礎地質數據,它們定義了國土資源空間基礎框架。
比較重要的各空間比例尺的基礎數據及其主要用途如表l所示:
基礎數據是通過對原始基礎地理數據,面向國土資源業務管理的數據共享需要整合形成。
3.3 業務數據
如圖3所示,業務數據包括規劃數據、現狀數據、評價數據、環境數據、動態監測數據以及其它基礎工作數據,它們在國土資源管理工作中起直接支撐作用。
主要的國土資源業務數據及其用途如表2。
3.4 管理數據
如圖4所示,管理數據包括項目數據、登記數據、交費數據、統計數據及公文數據,它們各項管理活動形成,並通過套用系統運行產生。此類數據以屬性數據為主,具有實時更新的特點,是國土資源管理的核心內容。
表3列出了國土資源管理涉及的主要管理數據。
3.5元數據
元數據是有關存儲數據實體的信息,包括語義和信息內容、元素類型和編碼、實體之間的關係、數據結構、數據格式、數據類型、相關的數據、數據推論和派生等;元數據是有關數據存儲管理的信息,包括位置和名稱、訪問時間、訪問方法等;元數據也是有關數據套用的信息,包括使用限制、使用方法、歷史記錄等。
依據所描述的數據對象,元數據分為資料數據元數據、基礎數據元數據、業務數據元數據、管理數據元數據,如圖5所示。
4國土資源數據管理組織及技術方法
國土資源資料庫存儲組織要考慮以下幾個方面的需求:
·開放性需求:空間數據的組織應符合GIS行業標準,為主流GIS平台所支持。
·數據量需求:支持海量數據的存儲,提高大數據量實體的可管理性,保證大數據量數據的存取效率。
·套用透明支持需求:可根據事務處理業務規則要求,靈活選擇各資料庫圖層與業務處理過程空間數據進行套合,支撐各類套用。
·管理的需求:滿足國土資源數據之上各類套用的業務連續性要求,支持多種空間比例尺,支持跨多個投影帶的空間數據整體和局部管理和套用。
4.1資料數據組織及技術方法
以搶救性保護、掌控和利用本單位全部國土資源原始資料為目的,全面規劃和設計本單位國土資源數據資料分類目錄體系,面向資料數據管理建設資料資料庫,使現有及今後的資料得到全面、有序、安全的管理。
資料資料庫以作業系統檔案為基本單位,面向土地、礦產、環境等各主題,結合各業務部門對資料使用的要求,主要使用基於知識管理的內容管理技術建立計算機系統進行管理。支撐內容管理的商用產品有公司的Documentum5ECMPlatforrn、BEA公司的WebLogicPortal、ORACLE公司的ContentDB、TRS公司的WCM等。
內容管理(ContentManagement)由兩部分組成,即“內容”與“管理”。內容實質上就是任何類型數據信息的結合體,可以是文本、圖形圖像、Weh頁面、業務文檔、資料庫表單、視頻、聲音檔案等,內容是各種結構化數據、非結構化文檔信息的聚合;管理就是在“內容”對象上的一系列處理過程,包括收集、確認、批准、整理、定位、轉換、分發、更新、存檔等,目的是為了使“內容”能夠在正確的時間、以正確的形式傳遞到正確的地點和人。
4.2基礎數據、業務數據、管理數據組織及技術方法
以直接服務於國土資源監管和服務為目的,針對基礎數據、業務數據和管理數據建立有機關聯的基礎資料庫、業務資料庫、管理資料庫。
·滿足空間和主題一致的數據組織
國土資源空間數據是按空間分幅和主題分層的原則進行採集的,因此在這類數據的資料庫建設中,將充分考慮到其數據生產的實際,以最符合數據源和業務部門需求的方式來實現這些資料庫的建設。
如圖6所示,通過“空間分幅索引圖”來保證相同空間範圍不同主題圖層的空間數據圖層具有完全相同的空間範圍,實現對空間資料庫空間一致性的要求;利用“主題分層索引表”來保證同一主題分層不同空間分區的空間數據圖層具有完全相同的屬性信息結構,實現對空間資料庫屬性一致性的要求。
·面向資源實體對象的數據組織及技術方法
為了滿足規範化的要求,數據組織採取純關係的資料庫設計,用多個相關聯的數據實體描述一個現實或概念實體,用相關聯的分布於多個數據實體表中的數據記錄描述一個現實或概念實體實例。對於複雜實體,純關係的設計要么是將半結構化和非結構化的數據人為分散組織,破壞了這些數據的完整性;要么是以不破壞完整性為前提,使用對資料庫管理系統而言沒有任何含義的封閉二進制數據進行組織。後一種方式雖然沒有破壞數據完整性,但卻為多套用系統大規模共享數據製造了困難。
面向對象技術,將現實或概念實體的屬性封裝在一個對象中來描述,而不管這些屬性是簡單的還是複雜的。這種以對象方式描述空間實體的方式,自然保證了客觀實體描述的完整性;使用對象描述半結構化和非結構化數據,既確保了數據的完整性,又帶有部分甚至全部語義信息。
對於基礎數據、業務數據、管理數據,使用對象和關係設計相結合的方式進行組織。使用支持對象和關係數據模型的DBMS,如ORACLE資料庫管理系統,管理基礎數據、業務數據及管理數據。
·空間數據存儲方案及技術方法
由於空間數據的複雜性,傳統上使用特定於平台的二進制格式存儲空間數據。這些二進制數據呈現為數據檔案或資料庫大對象欄位。這種方式的空間數據組織嚴重限制了數據的共享能力。應使用符合OGCOpenGIS標準的數據格式組織基礎數據、業務數據、管理數據的空間數據部分。
·基於分區的海量數據實體存儲方案
國土資源數據具有海量特徵。如省級國土資源管理部門積累的數據就達TB級,並且每年還在不斷增長。在大數據量國土資源數據管理方面,特別是具有較複雜結構的大數據(如影像數據)的管理,保守的做法是以檔案系統進行管理。這種檔案管理方式不能提供大規模的數據並發存取和穩定的性能支持。
事實上,基於大型資料庫管理系統,通過恰當使用資料庫分區(Partition)技術,不但能滿足海量數據存儲需要,同時能提供大規模的數據並發存取和穩定的性能支持。
資料庫分區技術類似於分卷的檔案組織。將某大類數據按照子分類設計成不同的邏輯或物理存儲組織,按子分類存儲組織的數據還可以按子子分類組織。這樣該數據的組織就不因其數據量大而顯得過於零散,同時又方便了數據維護工作。
基於資料庫分區技術來組織百萬級的資料庫實體記錄,一方面大大提高資料庫的數據管理能力,降低數據管理操作對業務系統運行的影響;另一方面,通過並行分區存取,提高記憶體、1/0、CPU等計算資源的利用效率和系統回響性能。
4.3元數據組織及技術方法
元數據記錄國土資源數據的內容、存貯方式、數據質量、類型等信息。在資料數據、基礎數據、業務數據、管理數據的資料庫建設中,需要對這類數據進行有效的組織,並提供查詢檢索途徑,以便通過元數據發現、發布、獲取和管理各種數據。元數據根據使用目的不同可分為兩級,即核心元數據和詳細元數據。其中:核心元數據是唯一標識一個數據集所需的最少元數據內容。詳細元數據是建立完整的數據集文檔所需的全部元數據內容。
根據元數據的內涵和目的,使用xML語言按層狀結構組織元數據,可以充分利用XML的自描述、易於創建維護等特性,實現元數據管理的信息化,支持網際網路的計算機套用和信息交換。
採用XML檔案或XML資料庫管理國土資源元數據,特別是使用支持XML數據管理的資料庫管理系統,如ORACLE,可以對元數據進行索引,提高元數據檢索速度,可以在關係型數據和層狀數據組織方式間進行相互轉換。
5 結論
國土資源數據管理信息化是整個國土資源信息化的重要組成部分。國土資源數據的複雜性導致了其採用XML檔案或XML資料庫管理國土資源元信息化管理的複雜性。作者認為,應從國土資源數據全局的高度,梳理分析國土資源數據現狀及套用和服務需求,建立科學的分類,充分利用信息技術成果實現國土資源數據管理的信息化,有效發揮國土資源數據在國土資源監管中的核心作用。