《計算與存儲融合的實時GIS數據組織管理方法》是依託武漢大學，由張葉廷擔任項目負責人的面上項目。
基本介紹
- 中文名：計算與存儲融合的實時GIS數據組織管理方法
- 項目類別：面上項目
- 項目負責人：張葉廷
- 依託單位：武漢大學
項目摘要,結題摘要,
項目摘要
如何高效管理實時接入的感測器數據，並支持動態數據線上融入地理過程計算與分析模型中，實現計算與存儲的融合，保證分析結果的現勢性和有效性，已成為實時GIS數據管理研究的國際前沿難題。本項目針對GIS數據接入的實時性、計算的動態性和存儲的海量性等特點，研究提出面向地理語義的內外存一體化資料庫模型，以及記憶體資料庫/分散式檔案系統/關係型資料庫協同存儲方法；針對數據存儲和計算的效率差異，以及內外存數據組織的結構和粒度差異，提出內外存協同的地理語義索引方法，實現語義關聯數據的最優查詢檢索；研究變化語義約束的內外存動態更新耦合方法，實現內外存協同索引的實時更新與一致性維護；研究語義關聯的實時GIS數據內外存動態調度方法，基於地理空間語義關聯的數據調度任務分解，實現地理過程時空數據檢索任務的內外存並行調度。最後，通過原型系統驗證研究成果的正確性和有效性。
結題摘要
項目面向將空間感測數據實時融入地理過程計算和分析模型中，實現計算與存儲的融合，保證分析結果的現勢性和有效性的需求，針對目前空間和屬性信息連續變化過程統一表達難點，設計了統一時空變化對象多維要素的地理視頻數據模型，通過空間、時間、屬性、尺度和語義五個維度對地理視頻數據進行統一表達，為實時GIS數據的存儲管理提供基礎支撐。針對“先存儲，再計算”的組織模式在大數據環境下存在的嚴重I/O瓶頸，研究了NoSQL-SQL混合存儲的地理視頻資料庫物理模型，可降低線上分析的實時接入數據延遲。針對時空變化對象在幾何形態、時空分布等方面差異、內外存數據索引之間的互動映射及一致性維護難點設計了內外存協同的時空索引方法，通過時間軸分割將歷史變化對象和活躍變化對象數據分開組織，增加圖結構來記錄記錄節點與節點之間路徑關係的結構，減少了3DR樹索引節點頻繁的內外存互動操作。針對地理視頻中富含的變化語義信息，發展了一種顧及變化語義的時空索引方法，通過建立地理位置語義R樹索引、變化對象語義文本的倒排索引和對象生命周期的起始時間構建的B樹組合索引，實現了地理位置語義約束下的時空變化對象時態查詢。針對實時GIS時空資料庫中變化語義相似性查詢需求，設計了由詞項頻率和逆文檔頻率組合的權重值TF-IDF計算公式進行語義相似性度量；針對對象-行為過程-事件的關聯查詢需求，設計了位置-時間、位置-順序、位置-關係等三類典型模式的時空變化過程要素檢索方法，通過對查詢的SQL條件語句進行綜合重構，有效降低了查詢的計算複雜度。針對實時GIS數據套用中內外存的I/O瓶頸和資源競爭問題，建立了基於執行緒池和資料庫連線池的內外存動態調度模型，結合預調度機制，可有效分散磁碟I/O，提高了數據調度效率。項目成果有效整合了時空語義數據的管理、實現了內外存的協同，為智慧城市各類實時感測器數據的高效管理與實時分析計算套用提供了有效途徑，豐富和發展了實時GIS基礎理論方法。
