《大數據環境下的流數據連續查詢與最佳化技術研究》是依託武漢理工大學,由解慶擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名:大數據環境下的流數據連續查詢與最佳化技術研究
- 項目類別:青年科學基金項目
- 項目負責人:解慶
- 依託單位:武漢理工大學
- 批准號:61602353
- 研究期限:2017-01-01 至 2019-12-31
- 申請代碼:F0202
- 支持經費:20(萬元)
- 負責人職稱:副教授
《大數據環境下的流數據連續查詢與最佳化技術研究》是依託武漢理工大學,由解慶擔任項目負責人的青年科學基金項目。
《大數據環境下的流數據連續查詢與最佳化技術研究》是依託武漢理工大學,由解慶擔任項目負責人的青年科學基金項目。項目摘要在流數據不斷增長的資訊時代,如何對流數據進行高效、最佳化的連續查詢已經成為流數據管理系統中最基本也是最重要的...
2. 連續查詢最佳化 (Optimization of continuous query)3. 知識服務與推薦系統 (Knowledge service and recommender system)學術成果 科研項目 1. 國家自然科學基金青年項目,大數據環境下流數據連續查詢與最佳化技術研究,20萬,2017.1-2019.12,主持 2. 國家自然科學基金青年項目,基於網際網路海量信息的資料庫文本類型數據...
《雲環境下面向大數據並行計算的工作流執行最佳化研究》是依託東南大學,由宋愛波擔任項目負責人的面上項目。中文摘要 目前,針對大數據並行處理的雲計算系統分為三層,分散式檔案系統、數據並行作業執行引擎和編程接口,編程接口負責將複雜套用解析成工作流交由數據並行作業執行引擎處理。然而,當前的雲計算系統不支持工作流的...
批處理可用於計算對不同數據集的任意查詢。它一般用於計算從所含的所有數據得到的結果,並實現對大數據集的深入分析。例如,Amazon EMR 等基於MapReduce 的系統就是支持批處理任務的平台。相反,流處理則需要攝取一個數據序列,增量式更新指標、報告和匯總統計結果,以回響每個到達的數據記錄。這種處理方法更適合實時監控...
《雲計算環境下面向大數據的線上聚集並行最佳化機制研究》是依託東南大學,由宋愛波擔任項目負責人的面上項目。中文摘要 線上聚集是將面向數據完全掃描的精確查詢計算轉變成面向隨機樣本的近似查詢計算,在當今的大數據時代,這是一個非常重要數據處理方法,尤其是對查詢精度要求不是太高的套用,如趨勢分析、評估、預測等數據...
《大數據環境下高維數據流挖掘算法及套用研究》是依託大連理工大學,由馮林擔任項目負責人的面上項目。項目摘要 大數據環境下的高維數據流在無線感測網路、移動通信、社交網路以及生物信息等領域有廣泛的套用前景,是當前數據挖掘領域的重要研究方向。由於大數據環境下高維數據流存在維數災難及數據分布不穩定等問題,傳統方法尚...
《大數據環境下基於同步原理的數據流挖掘算法研究》是依託電子科技大學,由邵俊明擔任醒目負責人的青年科學基金項目。項目摘要 信息技術的快速發展使得高速數據流正以前所未有的速度在各個領域不斷地產生,如實時監控系統、氣象衛星遙感、移動通信網、社交網路及電子商務等。由於數據流具有海量性、時序性、演化性及潛在無限...
《面向感知大數據的不確定查詢處理與最佳化技術》是依託東北大學,由信俊昌擔任項目負責人的面上項目。中文摘要 隨著感測網、物聯網的快速發展與廣泛套用,感知數據的規模呈現了急速增長的趨勢,我們已經走進了感知大數據的時代。感知大數據兼具大數據和感知數據的典型特徵,傳統的感知數據管理技術和大數據管理技術均無法有效地...
重點內容包括:流數據與流式計算、流數據處理技術、流數據分析技術、流數據處理模型與處理框架等。《流數據分析技術》還介紹了流數據分析技術的一些新進展及流計算框架的新發展。《流數據分析技術》可作為計算機學科相關專業,特別是數據科學與大數據技術專業的教材。圖書目錄 第1章 流數據與流計算 1.1 大數據 1.1...
(3)針對流式大數據中複雜類型數據,如序列型數據、異構型數據,設計將其映射到統一特徵空間的哈希方法,實現複雜類型流式大數據的篩選;(4)構造能估算多種集合統計量的哈希結構,將流式大數據的概要壓縮到該結構中,實現基於集合統計量的篩選;(5)對提交到系統的篩選規則集合,提出最佳化方法並生成最佳化後的篩選執行計畫...
通過查詢重寫將可伸縮約束轉換到基模式覆蓋上,得到基於可伸縮模式的查詢表示形式,通過作用在基模式上的操作集合、適用於可伸縮模式查詢處理的快取技術和模式存儲結構,實現了可伸縮模式查詢處理及最佳化,並保證在大數據量爆發和高噪聲環境下查詢的有效性。
《大數據環境下的數據查詢隱私保護技術研究》是依託湖南大學,由秦拯擔任項目負責人的面上項目。中文摘要 防範敏感信息泄露是數據查詢及分析的基本要求。大數據時代,數據存儲結構、內在關係及訪問方式均發生了較大變化,在大數據查詢中,現有數據隱私保護技術往往難以有效套用。本項目擬基於大數據環境的數據動態存儲模式、數...
因此,本項目以不確定感知數據表達模型、分散式存儲、分散式索引、分散式查詢處理和分散式查詢最佳化等為核心,從面向感測器網路的不確定查詢處理與最佳化和面向感知大數據的不確定查詢處理與最佳化兩個方面入手,深入研究了不確定感知數據的分散式查詢處理與最佳化技術。在面向感測器網路的不確定查詢處理與最佳化方面,主要研究了感測器...
本課題針對集群環境下基於記憶體的計算平台,研究大數據分析的相關關鍵基礎理論和技術,主要包括集群環境下基於記憶體的大數據分析所需要的索引技術、查詢算法和最佳化算法,從大數據存儲與索引、分析查詢處理算法和分析查詢最佳化算法三個層面解決大數據分析問題,並構建大數據分析原型系統用於驗證相關算法的有效性。本課題執行期間取得了...