《基於哈希的流式大數據篩選關鍵技術研究》是陳華輝為項目負責人，寧波大學為依託單位的面上項目。
基本介紹
- 中文名：基於哈希的流式大數據篩選關鍵技術研究
- 項目類別 ：面上項目
- 項目負責人：陳華輝
- 依託單位 ：寧波大學
科研成果,項目摘要,
科研成果
序號 | 標題 | 類型 | 作者 |
|---|---|---|---|
1 | 一種基於Gibbs取樣法的調度方法 | 專利 | 辛宇; 錢江波; 金光; 高玲玲 |
2 | Hamming Metric Multi-Granularity Locality-Sensitive Bloom Filter | 期刊論文 | Qian Jiangbo(#)(*); Huang Zhipeng; Zhu Qiang; Chen Huahui |
3 | Twin maximum entropy discriminations for classification | 期刊論文 | Xie, Xijiong(#)(*); Chen, Huahui; Qian, Jiangbo |
4 | 一種基於哈希學習的線上高維數據最近鄰查詢方法 | 專利 | 胡偉; 錢江波; 任艷多; 孫瑤 |
5 | 一種面向高維大數據集的加權量化哈希檢索方法 | 專利 | 孫瑤; 錢江波; 胡偉; 任艷多 |
6 | 基於深度學習的散列檢索技術研究進展 | 期刊論文 | 袁明汶(#); 錢江波(*); 董一鴻; 陳華輝 |
7 | 一種基於高維數據過濾器的近似成員查詢方法 | 專利 | 陳華輝; 錢江波; 陳葉芳 |
8 | 一種用於海明空間下近似成員查詢的布隆過濾電路 | 專利 | 錢江波; 黃志鵬; 陳葉芳; 陳華輝 |
9 | Domain Adaptation with Twin Support Vector Machines | 期刊論文 | Xie, Xijiong(#)(*); Sun, Shiliang; Chen, Huahui; Qian, Jiangbo |
10 | 基於加權自學習散列的高維數據最近鄰查詢算法 | 期刊論文 | 彭聰(#); 錢江波(*); 陳華輝; 董一鴻 |
11 | 圖概要技術研究進展 | 期刊論文 | 王雄(#); 董一鴻(*); 施煒傑; 潘劍飛 |
12 | 一種基於高維數據過濾器的近似成員查詢方法 | 專利 | 陳葉芳; 錢江波; 陳華輝 |
13 | 基於演化樹的哈希學習方法及其無監督的線上哈希學習方法 | 專利 | 壽震宇; 錢江波; 楊安邦; 袁明汶 |
14 | HSSM:一種流數據分層次模最大化方法 | 期刊論文 | 張奮翔(#); 陳華輝(*); 錢江波; 董一鴻 |
15 | 一種基於數據塊學習的線上哈希最近鄰查詢方法 | 專利 | 胡偉; 錢江波; 任艷多; 孫瑤 |
16 | M2LSH:基於LSH的高維數據近似最近鄰查找算法 | 期刊論文 | 李燦(#); 錢江波(*); 董一鴻; 陳華輝 |
17 | LGP-SA:分散式環境下基於模擬退火的大規模圖劃分算法 | 期刊論文 | 許金鳳(#); 董一鴻(*); 王詩懿; 何賢芒; 陳華輝 |
18 | 基於列表監督的Hash排序算法 | 期刊論文 | 楊安邦(#); 錢江波(*); 董一鴻; 陳華輝 |
19 | SLSB-forest:高維數據的近似k近鄰查詢 | 期刊論文 | 錢途(#); 錢江波(*); 董一鴻; 陳華輝 |
20 | 一種面向高維大數據的基於權重求解的哈希查詢方法 | 專利 | 孫瑤; 錢江波; 胡偉; 任艷多 |
21 | Spark環境下基於頻繁邊的大規模單圖採樣算法 | 期刊論文 | 李龍洋(#); 董一鴻(*); 嚴玉良; 陳華輝; 錢江波 |
22 | 基於LSH的高維大數據k近鄰搜尋算法 | 期刊論文 | 王忠偉(#); 陳葉芳; 錢江波(*); 陳華輝 |
23 | 一種可變長度哈希編碼的高維數據最近鄰查詢方法 | 專利 | 任艷多; 錢江波; 孫瑤; 胡偉 |
24 | Integer-Granularity Locality-Sensitive Bloom Filter | 期刊論文 | Qian Jiangbo(#)(*); Zhu Qiang; Chen Huahui |
25 | 基於列表監督的哈希排序方法 | 專利 | 楊安邦; 錢江波; 壽震宇; 袁明汶 |
26 | 一種基於海明距離的近似成員查詢方法 | 專利 | 陳葉芳; 黃志鵬; 錢江波; 陳華輝 |
27 | 基於K-sup稠密子圖的大規模複雜網路概要算法及可視化 | 期刊論文 | 徐麗麗(#); 董一鴻(*); 王雄; 陳華輝; 錢江波 |
28 | 一種基於高維數據過濾器的近似成員查詢方法 | 專利 | 錢江波; 陳華輝; 陳葉芳 |
29 | 分散式環境下基於馬爾科夫鏈的圖流三角近似計算 | 期刊論文 | 金宏橋(#); 董一鴻(*); 陳華輝; 錢江波 |
30 | 基於Attention深度隨機森林的社區演化事件預測 | 期刊論文 | 潘劍飛(#); 曹燕; 董一鴻(*); 陳華輝; 錢江波 |
項目摘要
如何從持續不斷產生的流式大數據中及時捕捉到對己有用的信息是大數據時代人們所面臨的一個迫切問題。本項目針對流式到來的數據量巨大，而其中大部分又非用戶所需數據的特點，採用兩層過濾-驗證框架來實現流式大數據篩選。研究內容包括：(1)提出可變距離布魯姆過濾器，適應不同用戶的多種篩選規則，實現對大數據的快速過濾，去掉大部分不需要數據；(2)設計分散式哈希技術，實現過濾後的數據和篩選規則的匹配；(3)針對流式大數據中複雜類型數據，如序列型數據、異構型數據，設計將其映射到統一特徵空間的哈希方法，實現複雜類型流式大數據的篩選；(4)構造能估算多種集合統計量的哈希結構，將流式大數據的概要壓縮到該結構中，實現基於集合統計量的篩選；(5)對提交到系統的篩選規則集合，提出最佳化方法並生成最佳化後的篩選執行計畫，以實現篩選系統整體上高效。本項目的研究成果對從大數據中及時獲取有用信息具有重要的理論意義和實際套用價值。
