《具有可調節範數的支持向量機模型與算法的研究》是依託中國人民大學,由張春華擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名:具有可調節範數的支持向量機模型與算法的研究
- 項目類別:青年科學基金項目
- 項目負責人:張春華
- 依託單位:中國人民大學
《具有可調節範數的支持向量機模型與算法的研究》是依託中國人民大學,由張春華擔任項目負責人的青年科學基金項目。
《具有可調節範數的支持向量機模型與算法的研究》是依託中國人民大學,由張春華擔任項目負責人的青年科學基金項目。項目摘要支持向量機方法是藉助於最最佳化方法解決機器學習問題的有力工具,已經被成功地套用到數據挖掘的許多領域。在標準...
《稀疏支持向量機的理論、算法及套用研究》是依託中國農業大學,由譚俊艷擔任項目負責人的青年科學基金項目。項目摘要 支持向量機方法是藉助於最最佳化方法解決機器學習問題的有力工具,已經被成功地套用到數據挖掘的許多領域。近年來, 出現了若干基於不同範數的支持向量機,特別是能夠同時實現分類與特徵選擇的帶有不同範數...
支持向量回歸(Support Vector Regression, SVR)將SVM由分類問題推廣至回歸問題可以得到支持向量回歸(Support Vector Regression, SVR),此時SVM的標準算法也被稱為支持向量分類(Support Vector Classification, SVC)。SVC中的超平面決策邊界是SVR的回歸模型: 。SVR具有稀疏性,若樣本點與回歸模型足夠接近,即落入回歸...
《支持向量機魯棒性模型與算法研究》是2019年北京郵電大學出版社出版的圖書,作者是王快妮 。內容簡介 支持向量機是基於統計學習理論,以結構風險小化為原則的一種針對小樣本情況的新型機器學習方法,具有結構簡單、全局優解和泛化能力強等優點。支持向量機目前已成為機器學習領域解決分類問題和回歸問題的有效工具。然而...
《1範數正則支持向量機及其壓縮機器學習框架》是依託西安電子科技大學,由張莉擔任項目負責人的面上項目。中文摘要 學習機的稀疏性對機器學習起著重要作用,一來可以實現特徵選擇和提取,從而降低對採樣速率的要求,提高檢驗速度;二則可以避免過擬合,提高學習機的推廣能力。1範數正則作為所有可以誘導稀疏性的p範數(0)...
我們針對多核學習一些關鍵問題進行了深入研究。首先我們提出了在原空間的半監督的Lp範數多核學習。在該模型中,我們採用在原空間中求解模型使得其算法更加高效,進一步我們也依據經驗Rademacher 複雜性對模型進行了理論分析。根據這種複雜性,我們也推出了平均核模型。其次,我們提出了用MM方法來解決Lq範數的多核學習問題,...
主要研究工作集中在大間隔分類與回歸方法、特徵提取模型及在智慧型交通系統中的套用。(1)在大間隔分類與回歸模型方面:針對孿生支持向量機(TSVM)未能充分利用數據先驗分布知識的缺陷,分別構建刻畫類內關係和類間關係的圖,並恰當結合進TSVM的模型中;考慮到數據可能被異常樣本干擾,將L1範數引入孿生支持向量回歸(TSV...
13.3 算法實現及套用 197 第 14 章 支持向量機(SVM) 215 14.1 算法定義 215 14.2 算法原理 215 14.3 套用舉例 226 第 15 章 人工神經網路 238 15.1 神經元模型 238 15.2 感知機與多層網路 239 15.3 反向傳播算法 241 15.4 神經網路的實現 243 15.5 卷積神經...
比如 向量 , 那么A的L1範數為 原理 在支持向量機(support vector machine)學習過程中,實際是一種對於成本函式(cost function)求解最優的過程。成本函式的構建原理 例如我們有一個數學模型的樣子(structure),,其中x是輸入,y是輸出。如果我們已知 ,那么我們可以根據任何輸入x的值,知道輸出y的值。這叫預測(...
向量的性質 播報 向量的模的運算沒有專門的法則,一般都是通過餘弦定理計算兩個向量的和、差的模。 多個向量的合成用正交分解法,如果要求模一般需要先算出合成後的向量。 模是絕對值在二維和三維空間的推廣,可以認為就是向量的長度。推廣到高維空間中稱為範數。 向量的模具有兩個重要的性質: [4] (1) [4] (...
4.4.2 數學模型 105 4.4.3 算法描述 106 4.4.4 實驗結果 106 4.5 基於可縮放 hinge 損失函式的魯棒單類支持向量機 109 4.5.1 數學模型 110 4.5.2 算法描述 113 4.5.3 魯棒單類支持向量機的泛化性能和魯棒性 113 4.5.4 實驗結果 116 4.6 基於截斷 1 範數的魯棒最小二乘單類支持向量機 ...
A.1 標量、向量、矩陣和張量 314 A.2 向量空間 316 A.3 範數 317 A.4 矩陣 318 A.4.1 線性映射 318 A.4.2 矩陣操作 319 A.4.3 矩陣類型 321 A.4.4 矩陣分解 322 附錄B 機率論 323 B.1 機率論 323 B.2 事件和機率 323 B.2.1 隨機變數 324 B.2.2 離散隨機變數 ...
不同類型稀疏信道下的數值仿真以及不同海域進行的海試實驗均驗證了項目所提近似範數信道稀疏模型及參數疊代求解方法的有效性,該方法進一步結合信道匹配水聲通信機和有效改善不同多徑類型下的水聲通信性能。 項目研究成果在本領域重要SCI刊物發表並被引用40餘次,得到國內外同行的關注。項目組基於本項目成果研發的水聲通信...
L1範數罰具有產生稀疏模型的能力,使用L1範數罰作為正則化項的Lasso具有變數選擇功能和變數空間降維功能。實際上在Lasso之前已有能夠產生稀疏解的非負絞刑估計 (nonnegative garrote estimator)和橋回歸(bridge regression)模型被提出,但由於缺少高效的求解算法因而沒有引起足夠的重視,而自從Lasso這種稀疏模型以及可對其有效...
(4)基於相關支持向量機型多平面分類方法,提出了兩個同時特徵選擇與分類 SFC的聯合算法:常規對支持向量機特徵選擇方法RFTSVM和外部懲罰的對支持向量機的特徵選擇方法EFTSVM。RFTSVM直接向最小二乘對支持向量機LSTSVM的目標函式中引入 範數Tikhonov正則項。為了緩解RFTSVM和傳統 範數多平面分類方法傾向於強調最小化遠...
低秩矩陣恢復是新興的特徵抽取研究方向,在模式識別、圖像處理等領域具有廣泛的套用前景。針對子空間學習能力拓展、圖像結構信息保持的需要以及大規模數據的挑戰,本項目擬開展低秩矩陣恢復理論與算法研究工作如下:加入鑑別信息的低秩分解模型、基於核範數度量的最優重構投影模型、基於字典學習的子空間低秩表示模型、基於低秩...
針對非凸的Mp極小化模型來設計有效的算法,使得對於大規模矩陣能夠得到良好的效果;套用Mp範數極小化的算法在圖像背景的特徵提取過程中儘量保存完整的邊緣信息;研究基於矩陣恢復的低秩矩陣近似分解算法,並將其結合支持向量機套用到核空間的特徵提取中;從理論和算法兩方面利用已有的研究成果對張量恢復問題進行研究,並...
本項目的創新之處是擬提出魯棒的稀疏描述算法,通過用聯合1、2範數表征傳統的稀疏描述模型,並提出一個特徵選擇機制;基於稀疏描述,擬提出融合稀疏判別特徵、環境要素特徵等方法;擬提出基於稀疏多投影支持向量機並建立了一維密度估計的組合模型。本課題將有利推動模式識別、機器學習和智慧型機器人理論、技術和套用。結題...
範數,不能與其他目標函式綜合起來;控制器階次較高,算法複雜,難以實際套用;w真實值很難計算,通常只能對u的上界進行估算,而要對具體系統設計w控制器則更加困難;L2增益控制需要求解HJI微分不等式方程,但一般求HJI不等式的解析解比較困難,特別是對於高階系統,尚且沒有求解HJI的一般理論。(3)變結構控制。由於整...
採用雙子-支持向量機(Twin-SVM)對多示例學習問題進行了研究,重點研究了雙子-支持向量機的各種推廣形式,如建立了統一範數意義下的Twin-SVM新模型,最小二乘意義下的遞推投影Twin-SVM模型,針對回歸問題的ε-敏感Twin-SVM模型,基於機率輸出的Twin-SVM模型,基於梯度下降的Twin-SVM新算法。
3.3 用邏輯回歸算法建模分類機率48 3.3.1 邏輯回歸與條件機率48 3.3.2 用邏輯損失函式更新模型權重51 3.3.3 從Adaline的代碼實現到邏輯回歸的代碼實現53 3.3.4 用ScikitLearn訓練邏輯回歸模型56 3.3.5 使用正則化避免模型過擬合59 3.4 基於最大分類間隔的支持向量機62 3.4.1 理解最大分類...
本書從機率近似正確(PAC)理論出發探討機器學習的基礎理論與典型算法,包括PAC學習框架、VC-維、支持向量機、核方法、線上學習、多分類、排序、回歸、降維、強化學習等豐富的內容。此外,附錄部分簡要回顧了與機器學習密切相關的機率論、凸最佳化、矩陣以及範數等必要的預備知識。本書重在介紹典型算法的理論支撐並指出算法...
我們還研究了雙子-支持向量機的各種推廣形式,如建立了統一範數意義下的Twin-SVM新模型;建立了最小二乘意義下的遞推投影Twin-SVM模型;建立了分類問題的最小二乘變間隔Twin-SVM模型;建立針對回歸問題的ε-敏感Twin-SVM模型;給出了基於機率輸出的Twin-SVM模型;建立了基於梯度下降的Twin-SVM新算法;建立了基於超...
4.4 模型不確定性界和控制系統魯棒性能的研究 136 4.4.1 使用範數有界方法一 136 4.4.2 使用精確不確定性 138 4.4.3 使用範數有界方法二 140 4.4.4 使用一階Pade近似純滯後計算模型不確定性界的方法 140 4.4.5 比較討論以上4種設計方法 143 4.4.6 預測控制算法本質上都屬於IMC結構 146 4.5 ...
孫琳,趙野,羅雄麟. 基於夾點技術與超結構模型的多程換熱網路最優綜合. 化工學報, 2014/03, 65(3): 967–975 劉建偉,黎海恩,劉媛,付捷,羅雄麟. 疊代再權共軛梯度q範數正則化線性最小二乘-支持向量機分類算法. 第24屆中國過程控制會議, 內蒙古呼和浩特, 2013/08/02–05; 控制理論與套用,2014/03, 31(3): ...
4.2.1 使用向量的“-1”子範圍 77 4.2.2 使用數組的“-1”子範圍 77 4.3 NumPy中其他有用的方法 78 4.3.1 數組和向量操作 4.3.2 NumPy和點積 4.3.3 NumPy和向量的“範數” 80 4.3.4 NumPy和向量的乘積 81 4.3.5 NumPy和reshape(?)方法 82 4.3.6 計算均值和標準差 83 4.4 ...
12.4特徵選擇算法197 12.4.1Relief算法197 12.4.2MRMR算法197 12.4.3改進的MRMR算法199 12.5分類模型200 12.5.1支持向量機200 12.5.2L2-邏輯回歸200 12.5.3CART決策樹200 12.6實證研究與結果分析.201 12.6.1數據來源與預處理201 12.6.2模型和參數設定203 12.6.3模型降維與預測結果的分析203 12...
第七章 支持向量機模式識別 第一節 統計學習理論基本內容 一 一般機器學習方法所遇到的問題 二 統計學習理論 第二節 支持向量機 一 最優分類面 二 支持向量機模型 三 多類情況下的SVM模型 四 算例分析 五 SVM的初步討論 第三節 線性規劃支持向量機 一 不同範數下超平面之間的距離計算 二 L範數下的線性規劃...
第6章 低秩模型 6.1 概述 6.2 與核範數有關的RPCA 6.2.1 RPCA和穩健矩陣補全 6.2.2 雙核範數的矩陣分解 6.2.3 雙核範數的歸納式矩陣分解 6.2.4 顯著性檢測的一個簡單例子 6.3 與核範數有關的 LRR 6.3.1 LRR和隱式LRR 6.3.2 無噪聲LRR的閉解 6.3.3 穩健低秩表示 6.3.4 非凸低秩表示...
5.5.3基於TT分解的交替*小張量補全算法149 5.5.4基於全連線張量網分解的張量補全算法151 5.6基於TR分解的張量補全算法154 5.7完全貝葉斯CP分解算法157 5.8貝葉斯魯棒張量分解162 5.9帶稀疏噪聲的張量補全算法168 參考文獻172 第6章張量子空間學習在圖像補全和去噪中的套用177 6.1基於因子矩陣跡範數*小化的...