《面向感知大數據的不確定查詢處理與最佳化技術》是依託東北大學，由信俊昌擔任項目負責人的面上項目。
基本介紹
- 中文名：面向感知大數據的不確定查詢處理與最佳化技術
- 項目類別：面上項目
- 項目負責人：信俊昌
- 依託單位：東北大學
中文摘要,結題摘要,
中文摘要
隨著感測網、物聯網的快速發展與廣泛套用，感知數據的規模呈現了急速增長的趨勢，我們已經走進了感知大數據的時代。感知大數據兼具大數據和感知數據的典型特徵，傳統的感知數據管理技術和大數據管理技術均無法有效地管理感知大數據。查詢處理是感知大數據管理研究的核心內容，而查詢最佳化是影響查詢處理性能的關鍵因素。本項目考慮感知大數據的實時流、時空相關和不確定等特點，緊緊地圍繞面向感知大數據的不確定查詢處理與最佳化問題，將重點針對感知大數據獲取、感知大數據存儲、感知大數據索引和不確定查詢處理與最佳化算法等關鍵技術展開深入的研究工作，並設計開發一個面向感知大數據的不確定查詢處理與最佳化的原型系統來驗證相關研究成果的正確性和有效性。該項目的研究工作對於推動感知大數據管理技術與套用，以及發展我國新型資料庫產業，具有非常重要的理論研究意義和實際套用價值。
結題摘要
感知大數據除具有大數據的4V特徵外，還具有實時流、時空相關和不確定等特徵，為感知大數據管理技術研究帶來了巨大挑戰。因此，本項目針對批處理與流處理模式的兼顧、數據依賴對處理效率的影響和不確定查詢的分散式處理等核心問題，從感知大數據獲取、感知大數據存儲、感知大數據索引和不確定查詢處理與最佳化四個方面入手，深入研究了面向感知大數據的不確定查詢處理與最佳化的理論、技術與方法。在感知大數據獲取方面，研究了靜態感測器網路中基於節點篩選的高效數據獲取、移動感測器網路中基於位置預測的高效數據獲取、移動感測器網路中路由樹的高效構建及維護等，實現了高質量的數據獲取。在感知大數據存儲方面，研究了存儲容量可擴展的區塊鏈、不可信環境中去中心化數據完整性驗證、去中心化的分散式存儲模型、行列混合的高維大數據分散式存儲模型等，實現了均衡的分散式存儲。在感知大數據索引及查詢處理與最佳化方面，研究了感測器網路中的機率Skyline和近似Skyline查詢；感知數據流的k代表Skyline、動態Skyline、Reverse Skyline、子空間Global Skyline和ρ-支配Skyline查詢；面向感知大數據的統一分散式極限學習機及其性能最佳化，以及Skyline-Join、異常點檢測和相似性Join查詢等，實現了有效的分散式索引和高效的查詢處理。經過項目組成員為期三年的共同努力，在理論研究、學術交流和人才培養等方面均取得了大量成果。在理論研究方面，共發表論文38篇，包括TKDE、BMC Cancer、Neurocomputing、WWWJ、CMPB、Physica Medica、TST、NCA、MULT、Memetic Computing、FCS、XST、計算機學報、CAD&CG、DASFAA和APWeb-WAIM等學術期刊和會議，被SCI收錄20篇次、EI收錄20篇次、CPCI-S收錄6次；在原型系統研發方面，申請發明專利9項、軟體著作權1項；在學術交流方面， 19人次參加了國內外重要學術會議，與相關領域專家和同行進行了廣泛而深入的交流。在人才培養方面，協助培養博士研究生4人，1人已順利畢業；獨立培養碩士研究生11人、協助培養碩士研究生4人，均已順利畢業。“分散式極限學習機及其性能最佳化”作為“海量異構數據集成管理與分析技術及套用”的主要技術創新之一，獲得了 2016 年度教育部科技進步一等獎。
