基於Pay-as-you-go策略的數據集成關鍵技術研究

《基於Pay-as-you-go策略的數據集成關鍵技術研究》是依託東北大學，由聶鐵錚擔任項目負責人的青年科學基金項目。

基本介紹

• 中文名：基於Pay-as-you-go策略的數據集成關鍵技術研究
• 項目類別：青年科學基金項目
• 項目負責人：聶鐵錚
• 依託單位：東北大學

中文摘要

面對大規模、複雜的數據，主要針對異構數據的傳統數據集成技術已經無法適應當前商業智慧型等套用在實時性和質量上的需求。近年來，Pay-as-you-go策略被套用於數據集成之中，過程是開始只利用少量已知的模式映射提供基本的功能，這些模式映射將根據用戶的需求在套用中不斷地加強和完善。Pay-as-you-go正在成為數據集成套用的主要方式，而其中在模式映射演化、查詢處理和不確定性等方面具有很多新的特點，出現許多的新問題，也面臨許多新的挑戰。本課題研究基於Pay-as-you-go策略的數據集成關鍵技術，通過對數據特徵的分析，設計合理的數據模型和查詢模型，在此基礎上研究模式映射關係自動生成、模式映射動態演化和動態劃分、針對數據演化的查詢重寫和查詢處理技術、以及對應的數據質量控制等關鍵技術，建立原型系統測試並驗證其中算法的性能和正確性。該研究成果將為實時的數據集成技術提供支持，推動數據管理技術的發展。

結題摘要

當前科學技術的高速發展使得數據具有海量性、多樣性和高速增長性等特徵，為此研究者們提出了大數據的概念以對數據管理所面臨的問題進行總結。面對大數據的數據集成問題，主要針對異構數據的傳統數據集成技術已經無法適應當前商業智慧型等套用在實時性和質量上的需求。本課題針對大數據的集成問題，開展了基於Pay-as-you-go 策略的數據集成關鍵技術的研究工作。本課題將Pay-as-you-go的思想套用於數據集成管理之中，基於已知的模式映射提供集成服務，同時根據套用需求不斷地加強和完善集成結果，以解決在模式映射演化、查詢處理和不確定性等方面的問題與挑戰。本課題首先對多種套用領域的數據特徵進行分析，設計了合理的數據模型和查詢模型，在此基礎上研究了模式映射關係自動生成、模式映射動態演化和動態劃分、針對數據演化的查詢重寫和查詢處理技術、以及對應的數據質量管理等關鍵技術，並進一步基於Hadoop平台開發了面向海量數據的數據集成原型系統VEER，對本課題提出的算法和理論進行正確性與性能驗證。本課題申請發明專利2項，在國際、國內學術會議和期刊發表論文32篇，被三大檢索收錄26篇次，已畢業1名博士研究生和8名碩士研究生，邀請2名國內外學者來校講學，派26人次參加了國內外學術會議，2人以訪問學者身份出國交流。