第13卷第2期空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版2012年4月JOURNAL OF AIR FORCE ENGINEERING UNTVERSITY( NATURAL SCIENCE EDITION)Apr.2012SVM集成研究與應(yīng)用王曉丹,高曉峰2,姚旭,雷蕾(1空軍工程大學(xué)導(dǎo)彈學(xué)院陜西三原,13800;2.武警陜西省總隊(duì)后勤部陜西西安,710054)摘要集成學(xué)習(xí)是機(jī)器學(xué)習(xí)的重要研究方向之一,SVM集成近年來已經(jīng)受到國內(nèi)外很多從事機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)的研究者們的重視,并使得該領(lǐng)域成為了一個(gè)相當(dāng)活躍的研究熱點(diǎn)。對近年來SvM集成的研究與應(yīng)用進(jìn)行了綜述,討論了SVM集成需要解決的基本問題;討論分析了構(gòu)造差異性大的集成成員SⅤM的方法、有效的集成結(jié)論生成方法、SⅤM集成的典型應(yīng)用;指出了目前存在的問題、以及幾個(gè)重要的研究方向。關(guān)鍵詞支持向量機(jī);集成學(xué)習(xí);差異性DoI10.3969/jisn.1009-3516.2012.02.018中圖分類號(hào)TP181文獻(xiàn)標(biāo)識(shí)碼A文章編號(hào)1009-3516(2012)02-0084-06支持向量機(jī)( Support Vector Machine,sVM)是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來的一種新的機(jī)器學(xué)習(xí)方法,是目前泛化能力最強(qiáng)的技術(shù)之一。統(tǒng)計(jì)學(xué)習(xí)理論對有限樣本情況下模式識(shí)別中的一些根本性問題進(jìn)行了系統(tǒng)的理論研究,很大程度上解決了模型選擇與過學(xué)習(xí)問題、非線性和維數(shù)災(zāi)難問題、局部極小點(diǎn)等問題,引起了研究者的廣泛關(guān)注。SVM在解決有限樣本、非線性及高維模式分類問題中表現(xiàn)出了許多特有的優(yōu)勢,利用SVM設(shè)計(jì)泛化能力好的模式分類器是一種非常適合的途徑2,目前SVM在模式分類、回歸分析函數(shù)估計(jì)等領(lǐng)域得到了廣泛的應(yīng)用。近年來,對SvM的研究主要集中在對SVM本身性質(zhì)的研究和完善以及加大SVM應(yīng)用研究的深度和廣度兩方面。但是,SVM在用于解決分類預(yù)測等問題時(shí),仍存在以下問題需要解決:核函數(shù)和參數(shù)的選擇核函數(shù)及參數(shù)的構(gòu)造和選擇缺乏理論指導(dǎo);SVM用于多類分類問題時(shí)的有效算法、多類支持向量分類器的優(yōu)化設(shè)計(jì);有效的增量學(xué)習(xí)算法等3-4。SVM自身存在的缺點(diǎn)降低了SVM的穩(wěn)定性和泛化能力,因此在實(shí)際應(yīng)用中,SVM的分類效果可能不如預(yù)期的好。一個(gè)自然的想法就是把SvM作為集成中的成員分類器,即進(jìn)行SVM集成以提高泛化能力3。1SVM集成需要解決的基本問題SVM集成是集成學(xué)習(xí)的一種具體實(shí)現(xiàn),參與集成的個(gè)體分類器都是SvM,屬同質(zhì)集成。 Schapire針對弱學(xué)習(xí)算法與強(qiáng)學(xué)習(xí)算法二者之間的等價(jià)性問題給出了構(gòu)造性證明。,由此奠定了集成學(xué)習(xí)的理論基礎(chǔ)個(gè)學(xué)習(xí)方法可以提升為強(qiáng)可學(xué)習(xí)的充要條件是其為弱可學(xué)習(xí)。 Kearns和 Valiant也證明只要有足夠的數(shù)據(jù),弱學(xué)習(xí)算法就能通過集成的方式生成任意高精度的估計(jì)。對于SVM集成需要解決2個(gè)問題:①如何生成集成中的各SⅤM即構(gòu)成集成成員個(gè)體的各弱分類器需要滿足什么條件,才能夠有利于集成后系統(tǒng)性能的提高②如何生成集成的結(jié)論,即怎樣將多個(gè)SM的輸出進(jìn)行結(jié)合,才能成為性能良好的強(qiáng)分類器。所以對SVM集成的實(shí)現(xiàn)方法研究和理論分析都包含2個(gè)方面的內(nèi)容:構(gòu)成集成的各成員SVM的生成和集成結(jié)論生成方法。1.1成員SVM的生成參與集成的成員分類器應(yīng)該滿足一定的要求,否則可能對集成結(jié)果沒有貢獻(xiàn),甚至可能降低集成效果。中國煤化工收稿日期:2011-10-09基金項(xiàng)目:國家自然科學(xué)基金資助項(xiàng)目(60975026);陜西省自然科學(xué)研CNMHG作者簡介:王曉丹(1966-),女陜西漢中人教授博土生導(dǎo)師,主要從事機(jī)器模式識(shí)別智能信思處理等研究E-mail:afeu_w@yahoo.com.cn第2期王曉丹等:SⅤM集成研究與應(yīng)用通常成員分類器應(yīng)滿足如下2個(gè)原則:①成員分類器的精確度要高;②成員分類器應(yīng)具有差異( Diversity)或稱多樣性。差異性是影響集成效果的另一個(gè)重要因素。因?yàn)橛脤ο嗤瑯颖痉竿瑯臃诸愬e(cuò)誤的成員分類器進(jìn)行集成,對集成分類器的精確度不能帶來任何提髙。通常,成員分類器越精確、差異性越大那么集成效果越好。Kogh和Ⅴ edelsby以回歸學(xué)習(xí)的集成推導(dǎo)出重要的集成學(xué)習(xí)的泛化誤差公式,這個(gè)公式對于分類器的集成有著同樣的意義。對于T個(gè)學(xué)習(xí)機(jī),它們集成的誤差由E=E-A決定,式中:E為T個(gè)學(xué)習(xí)機(jī)的絕對誤差的加權(quán)平均;A為T個(gè)學(xué)習(xí)機(jī)相對于集成的誤差的加權(quán)平均。E指示出學(xué)習(xí)機(jī)固有的誤差A(yù)指示出這些學(xué)習(xí)機(jī)之間的差異。該式表明:要獲得好的集成就需要降低成員學(xué)習(xí)機(jī)的誤差并增加學(xué)習(xí)機(jī)間的差異。在生成集成成員SM方面, Bagging, Boosting和 Adaboost等是研究和使用最多影響最大的重要技術(shù)。不同的集成方法以不同的方式引入差異性,如 Bagging方法通過在不同的訓(xùn)練集上訓(xùn)練分類器個(gè)體得到差異性,其集成成員間的差異性是通過 Bootstrap重取樣技術(shù)獲得的,或者說它是通過訓(xùn)練樣本的隨機(jī)性及獨(dú)立性來提供集成的差異性; Boosting方法使用了確定性方法保證訓(xùn)練集中含有更難分類的樣本以形成分類器之間的差異,它是通過不斷修改樣本分布產(chǎn)生差異性。1.2集成結(jié)論的生成在獲得了一組成員SM后VM集成需要解決的問題是如何生成集成結(jié)論,即成員SVM如何參與集成結(jié)論生成,以及如何對成員SM的輸出進(jìn)行處理,以取得較理想的集成輸出結(jié)果。sVM集成結(jié)論的生成方法可以分為2類:一類是組合法,其集成輸出是各分類器輸出的某種組合-121,如投票法(簡單投票,加權(quán)投票)、最小二乘加權(quán)法疊加法或分級(jí)法(構(gòu)建上層決策分類器)等;另類是選擇法選擇若干個(gè)成員分類器輸出的組合作為集成決策輸出3-12SVM集成研究與應(yīng)用國內(nèi)外的研究者們針對SM集成進(jìn)行了一系列的研究。以下將分為SVM集成理論與方法研究和應(yīng)用研究分別進(jìn)行闡述2.1SVM集成理論與方法研究如何構(gòu)建性能良好的SWM集成是SM集成研究的核心內(nèi)容。 Oregon州立大學(xué)計(jì)算機(jī)科學(xué)系的 Valentini和 Dietterich等對集成學(xué)習(xí)和SM集成進(jìn)行了一系列的研究3-61。 valentini:等對SVM的誤差進(jìn)行了偏差-方差分解分析,指出可以利用誤差的偏差-方差分解設(shè)計(jì)SM集成,一種途徑是在 Bagging集成中采用低偏差SVM作為成員分類器;另一種途徑是利用偏差與方差對核參數(shù)的依賴性,通過偏差與方差分析構(gòu)建異類、差異性大的低偏差SM集成。理論及實(shí)驗(yàn)分析表明Bgng可以減少方差,為優(yōu)化集成性能,文獻(xiàn)[15]對SWM進(jìn)行了偏差-方差分解,通過選擇低偏差的SVM構(gòu)成集成的成員分類器,給出了SVM集成的 Lobar算法,實(shí)驗(yàn)結(jié)果表明, LobagSVM與單個(gè)SVM及基于 bagging的SVM集成相比,可以得到更好的泛化性能。 valentini等將基于 Bagging的SM集成用于了具有高維和小樣本特征的基因表達(dá)數(shù)據(jù)分析、識(shí)別,對有限樣本和高維數(shù)據(jù)的分類實(shí)驗(yàn)表明,基于 Bagging的SVM集成分類比單個(gè)SVM更穩(wěn)定,而且具有比單個(gè)SVM相等或更好的分類精度加上特征選擇技術(shù)能進(jìn)一步提高精度65-161通過構(gòu)造差異性大的集成成員分類器是提高SVM集成泛化性能的有效途徑。擾動(dòng)訓(xùn)練樣本集擾動(dòng)特征空間、擾動(dòng)模型參數(shù)以及以上方法的混合等是目前構(gòu)造差異性大的集成成員SM提高成員SVM間的差異性的常用方法。)擾動(dòng)訓(xùn)練樣本集的方法。又稱為基于數(shù)據(jù)劃分的方法、基于樣本的方法。通過劃分訓(xùn)練集產(chǎn)生多個(gè)訓(xùn)練子集,分別在各個(gè)訓(xùn)練子集上進(jìn)行訓(xùn)練,生成相應(yīng)的個(gè)體SVM。 Bagging和 Boosting方法是目前此類方法中最為流行的2種方法。文獻(xiàn)[1]提出了一種針對超大規(guī)模問題的SVM集成算法,由于采用非交疊劃分訓(xùn)練集,很大程度地降低了個(gè)體分類器的訓(xùn)練時(shí)間,實(shí)驗(yàn)結(jié)果顯示該方法的分類效果比單SVM好。Yan等針對類間樣本數(shù)目不均的訓(xùn)練集將大樣本的負(fù)類樣本分成L筆份個(gè)訓(xùn)練樣本集,在其上訓(xùn)練生成一個(gè)個(gè)體SvM,最后對得到的L個(gè)個(gè)產(chǎn)“與小攔木的正類樣本合成中國煤化行集成輸出。He等在 Boosting算法基礎(chǔ)上提出了一種 BOosting SVM集成算法CNMHGK算法比Bagging、 Boosting性能更好。Ying等提出基于距離估計(jì)的漸進(jìn)思想其方法是利用被當(dāng)前基SVM錯(cuò)分的樣本訓(xùn)練下一個(gè)成員分類器,以形成具有差異的基SVM集合最后用基于距離估計(jì)的方法進(jìn)行融合,此方法用于人名識(shí)別取得了很好的效果?？哲姽こ檀髮W(xué)學(xué)報(bào)(自然科學(xué)版)2012年2)擾動(dòng)特征空間的方法。又稱基于特征劃分的方法。該類方法通過改變個(gè)體分類器訓(xùn)練數(shù)據(jù)的特征分布以提高個(gè)體分類器間的差異性。 Dimitrios等2提出了一種監(jiān)督和非監(jiān)督學(xué)習(xí)相結(jié)合的SVM集成方法,首先采用模糊C均值法對輸入特征空間進(jìn)行聚類劃分然后把訓(xùn)練集投影到各個(gè)劃分特征子空間上訓(xùn)練各成員分類器,分類時(shí)對所有成員分類器的結(jié)論進(jìn)行合成在UCI數(shù)據(jù)集上的實(shí)驗(yàn)表明該集成方法可提高精度0.3%-1.7%。 Robert等2)提出特征 Bagging( attribute Bagging,AB)集成技術(shù),指出基于特征選擇的集成學(xué)習(xí)算法能進(jìn)一步提升SVM的泛化性能。H等2分別利用粗集理論把原始特征空間分成多個(gè)特征子空間將訓(xùn)練集投影到各特征子空間上訓(xùn)練SM成員分類器然后進(jìn)行集成。分別在醫(yī)學(xué)診斷數(shù)據(jù)和UCI數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果顯示,該方法分類性能優(yōu)于 Bagging、 Boosting及K等分劃分法等常用方法。文獻(xiàn)[24]研究了SVM集成中的特征選擇問題;文獻(xiàn)[25]利用基于熵的方法對數(shù)據(jù)特征進(jìn)行約簡構(gòu)造SVM集成,以消除不相關(guān)特征及冗余特征對集成精度的影響3)擾動(dòng)模型參數(shù)的方法。該類方法通過改變SVM模型參數(shù)或結(jié)構(gòu),以提高個(gè)體SVM間的差異性Valentini等5對SVM的誤差進(jìn)行了偏差-方差分解分析,通過分析誤差的偏差和方差分解及各種核函數(shù)下各參數(shù)對SVM性能的影響在低偏差區(qū)域內(nèi)隨機(jī)選擇SVM的核參數(shù)懲罰系數(shù)構(gòu)造具有低偏差的SVM作為成員分類器提出了一種低偏差 Bagging SVM集成學(xué)習(xí)算法。該方法將SVM的低偏差特性與 Bagging的低無偏方差特性相結(jié)合,可以產(chǎn)生較低總體誤差的集成?？梢哉J(rèn)為該方法是一種基于參數(shù)擾動(dòng)的SVM集成學(xué)習(xí)。L等將擾動(dòng)徑向基核函數(shù)寬度參數(shù)方式用于 Adaboost算法中,來產(chǎn)生大量個(gè)體分類器,最后從中選擇出部分差異度較大的個(gè)體參與集成實(shí)驗(yàn)結(jié)果表明該方法能顯著提高分類精度。文獻(xiàn)[27]在SVM集成中采用了文獻(xiàn)[28]中的差異性度量,基于成員分類器間精度與差異性平衡準(zhǔn)則,對SvM的徑向基核參數(shù)σ進(jìn)行擾動(dòng),通過自動(dòng)調(diào)整 RBFSVM的核參數(shù)σ獲得具有不同差異性的SⅤM,選擇精度較好、差異性較大的sⅤM構(gòu)成基SVM進(jìn)行集成。實(shí)驗(yàn)比較表明,所提出的SM集成方法與用RBF神經(jīng)網(wǎng)絡(luò)作成員分類器的集成方法相比,可以得到更好的泛化性能。4)混合式方法。該類方法通過采用2種以上的上述方法產(chǎn)生差異性大的成員svM。Tao等列提出了種非均勻 bagging和隨機(jī)子空間相結(jié)合的SVM集成算法,克服了樣本數(shù)在類間分布嚴(yán)重失衡及高維數(shù)小樣本分類問題對SVM性能的影響,在圖像檢索應(yīng)用的實(shí)驗(yàn)驗(yàn)證中取得了較好的結(jié)果。文獻(xiàn)[30]基于對Bagging方法產(chǎn)生的訓(xùn)練子集進(jìn)行特征選擇,分別提出 PRIFEB和 MIFEB兩種集成算法提高了集成的差異度和精度。文獻(xiàn)[31]提出特征與參數(shù)二重?cái)_動(dòng)機(jī)制的SVM集成學(xué)習(xí)算法通過讓2種擾動(dòng)機(jī)制同時(shí)產(chǎn)生作用和依次產(chǎn)生作用,分別得到了RAB算法和ZD- RAgging算法,實(shí)驗(yàn)結(jié)果表明,2種新算法均提升了SⅤM集成的泛化性能。5)其它方法。文獻(xiàn)[32]提出了基于負(fù)相關(guān)學(xué)習(xí)的SVM集成方法利用負(fù)相關(guān)理論來生成差異個(gè)體分類器;通過遞歸刪除法選擇出一組泛化性能優(yōu)良、相互間差異性大的SVM參與集成學(xué)習(xí)。文獻(xiàn)[33]提出基于 RSBRA離散化方法的SVM集成學(xué)習(xí)算法,.用基于粗糙集和布爾推理的離散化算法處理訓(xùn)練樣本集,利用不同斷點(diǎn)集合數(shù)據(jù)離散化過程形成不同的訓(xùn)練集合,用來構(gòu)造有差異的個(gè)體分類器,實(shí)驗(yàn)結(jié)果表明,所提算法的分類性能明顯優(yōu)于單SVM、 Bagging和 Adaboost方法。另一方面,為提高SVM集成泛化性能,對于有效的集成結(jié)論生成方法,研究者們也進(jìn)行了大量的研究。除12投票法和選擇法外,常用的方法可以劃分為非線性融合、多層次融合等幾類。非線性融合。文獻(xiàn)[34]首先利用 boostrap方法生成訓(xùn)練子集,在其上訓(xùn)練基SVM分類器,SⅤM的核參數(shù)在設(shè)定范圍內(nèi)隨機(jī)選取然后利用離散二進(jìn)制粒子群算法選擇部分基SVM參與集成。文獻(xiàn)[35]方法與它有共同之處,但在核參數(shù)設(shè)定上有所改進(jìn):使用網(wǎng)格搜索方法選取較好的核參數(shù),選擇部分則用遺傳算法來實(shí)現(xiàn)。文獻(xiàn)[36]提出了一種基于聚類的選擇性SVM集成預(yù)測模型,采用自組織映射和K均值聚類算法結(jié)合的聚類組合算法從每簇中選擇出精度最高的基SⅤM進(jìn)行集成在保證基SVM有較高精度的同時(shí)提高了它們之間的差異度。文獻(xiàn)[37]則對正負(fù)類訓(xùn)練樣本進(jìn)行聚類然后從中選擇最具代表性的若干樣本構(gòu)造具有一定差異的基SVM分類器集成。此外,還可以結(jié)合證據(jù)理論模糊積分、 Bayes方法等進(jìn)行非線性集成如:為減少?zèng)Q策的不確定性,文獻(xiàn)[38]將DS證據(jù)理論應(yīng)用于多分類SVM度量層輸出信息集成針對1-vr和1-v-1這2種多類擴(kuò)展策略,分別定義基本概率分配函數(shù),并根H中國煤化工司的證據(jù)組合規(guī)則實(shí)驗(yàn)結(jié)果表明,證據(jù)理論方法能有效地利用兩類SM的度量級(jí)CNMH類結(jié)果。文獻(xiàn)[39]給出了基于模糊積分的SVM集成方法。多層次集成。文獻(xiàn)[40]提出了2層SVM集成方法第1層以SVM作為各成員分類器第2層用一個(gè)SVM進(jìn)行決策做出判決取得了較好的效果。Kim等4利用 Bagging和 Boosting產(chǎn)生成員SVM分類器用多第2期王曉丹等:SvM集成研究與應(yīng)用數(shù)投票法、加權(quán)投票法和2層SVM3種方式相結(jié)合,構(gòu)建不同的SVM集成比較了其性能。實(shí)驗(yàn)結(jié)果表明2層SVM具有最高的分類精度,3種集成方法都能獲得比單個(gè)SVM更高的泛化能力。然而,在已有的研究結(jié)果中,仍然存在有不盡相同的結(jié)果,如Kim等認(rèn)為簡單地 Bagging SVM和 Boosting SVM就能提高分類精度,SVM集成方法與用RBF神經(jīng)網(wǎng)絡(luò)、 Bayes分類器等作成員分類器的集成方法相比,可以得到更好的泛化性能;然而Dong等4通過用文本分類數(shù)據(jù)作實(shí)驗(yàn),對采用5種不同數(shù)據(jù)劃分方法的sVM集成的性能比較后發(fā)現(xiàn),采用K等分劃分法加 Stacking集成技術(shù)獲得了較好的集成效果, Bagging SVM不能提高性能,Bo0igSM反而降低了性能。造成這種現(xiàn)象的原因在于,盡管sM存在待解決的問題,但與神經(jīng)網(wǎng)絡(luò)和決策樹相比,sSVM是一種相對“穩(wěn)定”和“高精度”的學(xué)習(xí)機(jī),這增加了SVM集成的難度,常用于神經(jīng)網(wǎng)絡(luò)等不穩(wěn)定算法的集成技術(shù)未必對SvM有效。2.2SVM集成應(yīng)用研究應(yīng)用SVM集成解決實(shí)際應(yīng)用問題也是SVM集成研究的一個(gè)重要方面。到目前為止,SⅤM集成被應(yīng)用到回歸分析欺詐檢測、基因數(shù)據(jù)分析,生物學(xué)數(shù)據(jù)分類疾病診斷故障診斷、場景分類、人臉檢測、文本分類、圖像檢索、遙感數(shù)據(jù)分類等不同的應(yīng)用領(lǐng)域,并顯示出了優(yōu)勢。針對基因表達(dá)數(shù)據(jù)具有高維和小樣本的特征, valentini中提出了一種基于 Bagging和特征選擇的SM集成方法結(jié)果顯示比單SvM具有更好的穩(wěn)定性和更高的分類精度,在文獻(xiàn)[6]中將該方法應(yīng)用于腫瘤識(shí)別也取得了理想的效果。 Loris Nanni等“在研究氨基酸的物理化學(xué)特性分類時(shí),引入了SVM集成分類方法,個(gè)體SⅤM分類器在每一個(gè)氨基酸的物理化學(xué)特性上訓(xùn)練生成采用多數(shù)投票法進(jìn)行結(jié)論合成實(shí)驗(yàn)取得了較好的效果。谷雨等4針對入侵檢測中的入侵?jǐn)?shù)據(jù)相對穩(wěn)定及對檢測速度的需求提出分別以PCA和CA方法對入侵?jǐn)?shù)據(jù)進(jìn)行特征提取,結(jié)合增量式SⅤM算法,在其上分別構(gòu)造2個(gè)SVM子分類器,最后采用集成技術(shù)對2個(gè)子分類器的結(jié)果進(jìn)行合成,實(shí)驗(yàn)表明該集成分類系統(tǒng)具有理想的人侵檢測性能,尤其具有較低的漏檢率。唐靜遠(yuǎn)等針對模擬電路故障診斷問題提出了基于特征擾動(dòng)的SM集成算法將采集來的信號(hào)先進(jìn)行Har小波變換,提取1-5層小波變換的每層第1個(gè)低頻系數(shù)構(gòu)成特征子集,然后在各特征子集上分別訓(xùn)練個(gè)體SvM,結(jié)果進(jìn)行集成輸出,實(shí)驗(yàn)結(jié)果表明該方法具有較好的分類準(zhǔn)確率和泛化性。使用SvM集成可以構(gòu)成有效的多類分類器。文獻(xiàn)[48】把SVM集成應(yīng)用到增量學(xué)習(xí)中,并用于不穩(wěn)定環(huán)境中數(shù)據(jù)的預(yù)測。Kang-利用基于遺傳算法的覆蓋優(yōu)化技術(shù)解決基SvM分類器之間的多重共線性問題以降低成員分類器之間的相關(guān)性,該方法用于公司破產(chǎn)預(yù)測中。3存在的問題與幾個(gè)重要的研究方向相比于對神經(jīng)網(wǎng)絡(luò)、決策樹等集成的研究,對于SVM集成學(xué)習(xí)技術(shù)的研究還有很多理論和應(yīng)用問題需要解決。要進(jìn)行有限訓(xùn)練樣本下有效的集成學(xué)習(xí),如何保證SVM集成的泛化性能比構(gòu)成它的子SVM的性能好,如何進(jìn)行有效的SVM集成增量學(xué)習(xí),如何將SVM集成擴(kuò)展到多類分類應(yīng)用中,如何以較快的速度完成大規(guī)模數(shù)據(jù)的學(xué)習(xí)問題等等都是需要進(jìn)行進(jìn)一步深入研究的問題。因此,尋找有效的泛化性能好的集成技術(shù)成為日前SVM集成研究中需要進(jìn)一步深人研究的關(guān)鍵問題而引入新的集成技術(shù)和結(jié)合多種集成技術(shù)的研究方法正成為SVM集成研究的主要方向。針對存在的問題以及各種新任務(wù)的需要,研究SVM集成的理論、方法、以及SVM集成在新的研究和應(yīng)用領(lǐng)域的拓展,將是今后相當(dāng)長的一段時(shí)間內(nèi)SVM集成學(xué)習(xí)研究與應(yīng)用面臨的挑戰(zhàn)。參考文獻(xiàn)( References):[1] Vapnik V N. The nature of statistical learning theory[ M]. New York Springer-verlag, 1995[2] Jain A K. Duin RP W, Mao J. Statistical pattem recognition: a review[ J]. IEEE trans. on pattem analysis and machine intelligence, 2000,22(1):4-37[3]王曉丹王積勤支持向量機(jī)研充與應(yīng)用[空軍工程大學(xué)學(xué)報(bào):自然科學(xué)版2004中國煤化工WANG Xiaodan. WANGResearch and application of support vector machine[J]CNMHersity: natural scie edition, 2004, 5(3): 49-55.(in Chinese)[4]許建華張學(xué)工李衍達(dá)支持向量機(jī)的新發(fā)展[刀].控制與決策2004,19(5):481-484XU Jianhua, ZHANG Xuegong, u Yanda. Advances in support vector machines[ J]. Control and decision, 2004, 19(5): 481-484.( in Chi-88空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版)2012年[5] Valentini G, Dietterich T G. Bias-variance analysis of support vector machines for the developent of svm-based ensemble methods[ J].Jour-nal of machine leaming research, 2004, 5: 725-775[6] Valentini G, Muselli M, Rufino F. Cancer recognition with bagged ensembles of support vector machine[J]. Neurocomputing, 2004, 56: 461[7] Wang Shijin. Empirical analysis of support vector machine ensemble classifiers[ J]. Expert systems with applications, 2009, 36(3): 64666476[8] Schapire R E. The strength of weak eamabilit [ J]. Machine learning, 1990. 5(2): 197-227.[9] Keams M, Valiant L G. Cryptographic limitations on leaming boolean formulae and finite automata[J]. Joumal of the ACM, 1994, 41(1): 67[10] Krogh A, Vedelaby J. Neural network ensembles, croes validation, and active learning[ C]//Advances in neural information proceasing systems.,MA:MrPe,1995:231-238[11] Kuncheva LL, Whitaker C J, Shipp C A, et al. Limits on the majority vote accuracy in classifier fusion [J]. Pattern analysis and applications2003,6(1):22-31[12]Kuncheva L Combining pattem classifiers: methods and algorithms[ M]. New Jersey: John willey sons inc, 2004[13] Zhou Z H, Wu JX, Tang W. Ensembling neural networks: many could be better than all[J]. Artificial intelligence, 2002, 137(1-2): 239[14]米愛中,郝紅衛(wèi),鄭雪峰等.一種自整定權(quán)值的多分類器融合方法[].電子學(xué)報(bào),2009,37(1):2604-2609MI Aizhong. HAO Hongwei, ZHENG Xuefeng, et al. A method of multiple classifier fusion with self-adjusting weights[ J]. Acta electronicasInIca,2009,37(11):2604-2609.( in Chinese)[15] Valentini G, Dietterich T G. Low bias bagged support veetor machines[ C]//Proceeding of the twentieth intemational conference on machinenington: AlAA Pres, 2003: 752-759analysis of SVM[] IEEE traand cybermetics-part B: Cybemetics, 2005,35(6): 1252-1271[17] Collobert R, Bengio S, Bengio Y. A parallel mixture of SVM for very large scale problems[ J]. Neural computation, 2002, 14: 1105-1114[18] Yan R, Liu Y, Jin R, e al. On predicting rare classes with SVM ensembles in scene classification[ C]//Proceeding of IEEE intemational conference on acoustics speech and signal processing [S L ] IEEE preMs, 2003: 6-10.[19] Lingming He, Xiaobing Yang, Huijun Lu. A comparison of support vector machines ensemble for classification[ C]//Proceedings of the sixth intemational conference on machine learming and cybernetics. Harbin: [&n. ] 2007: 3613-3617[20] Ying W, Xiaoling Wang, Bingquan Liu. a gradual combining method for muti-SVM classifiers based on distance estimation[ C]//Proceeding dithe third intemational conference on machine leaming and cybernetics. Shanghai: [&n. ], 2004: 26-29[21]Dimitrios S, Froesyniotis, Andreas S. A multi-SVM claseification system[ C]//Proceedings of the Socond Intemational workshop on multipleclassifier. system. London: Josef kittler fabio rolispringer-verdag, 2001: 198-207[22] Robert B, Ricardo G O, Francis Q. Attribute bagging: improving accuracy of classifier ensembles by using randon feature subsets[J].Pattenrecognation,2003,36:1291-1302[23] Hu Zhonghui, Cai Yhinze, He Xing, et al. Support vector machine ensembleugh sets theory[J]. High technology letters, 2006, 12(1):[24]Yu E Z, Cho S Z. Ensemble based on GA wrapper feature selection[ J ]. Computers& industrial engineering, 2006, 51 111-116[25] Lei R H, Kong XX, Wang X S. An ensemble SVM using entropy-based attribute selection[ c]//Control and decision conference. Xuzhou:[n],2010:802-805[26] Li XC, Wang L, Eric Sung. A daBoost with SVM based component-classifiers[ J]. Engineering application of artificial intelligence, 2008, 21:785-795.[27] Li Xuchun, Wang Lei, Sung Enic. A study of adaBoost with SVM based weak leamers[ C]//Proceeding 2005 UCNN Montreal, Quebec,Canada: EEE pre8,2005:196-20l[28] Kuncheva L l, Whitaker C J. Measures of diversity in classifier ensembles and their relationshiensemble accuracy[J]. Machine leaning,2003,51(2):l81-207[29] Tao D C, Tang X O. Asymmetric bagging and random subspace for support vector machines-based relevance feed backage renewIEEE transactions on pattem analysis and machine intelligence, 2006, 28(7 ): 1088-109930]李國正,李丹.集成學(xué)習(xí)中特征選擇技術(shù)[J.上海大學(xué)學(xué)報(bào):自然科學(xué)版,2007,13(5):598-604uI Guozheng, LI Dan. Feature selection for ensemble leaming[J]. Joumal of shanghai university natural science edition, 2007, 13(5):598604.(in Chinese)31]賈華丁,游志勝,王磊.采用二重?cái)_動(dòng)機(jī)制的支持向量機(jī)的集成訓(xùn)練算法[冂控制與決策.2008,23(7):525-532JLA Huading, YOU Zhisheng WANG Lei. Ensemble algorithms for training support vected on the double disturbance mechanism[J]. Control and decision, 2008, 23(7): 525-532.( in Chinese中國煤化工[32]唐華,高靜懷,包乾宗.一種新的選擇性支持向量機(jī)集成學(xué)習(xí)算法[打]西安交CNMHGI225TANG Yaohua, GAO Jinghuai, BAO Qianzong. Novel selective support vector masemble leaming algorithm[ JJ Joumal of Xi'an jiao-tong university, 2008, 42(10): 1221-1225. in Chinese)[33]蔡鐵,伍星,李燁.集成學(xué)習(xí)中基于離散化方法的基分類器構(gòu)造研究[門]計(jì)算機(jī)應(yīng)用,20,28(8):2091-2093.CaiTie,WuXing,LYe.Researchonconstructionofbaseclassifiersbasedondiscretizationmethodforensemblelearning[j].computerap-第2期王曉丹等:SM集成研究與應(yīng)用89plications, 2008, 28(8): 2091-2093.( in Chinese[34] Zhang H D, Wang X D, WuCM, et al. Selective SVM ensembles based on modified BPSo[ C]//Proceedings of computational intelligenceindustrial application. Wuhan: [&n. ],2008:243-246[35] Liu Y, Liao Z J, Yin Y F, et al. Selective and heterogeneous svm ensemble for demand forecasting[ C ]//Computer and informationtechnology. Bradford: IEEE press, 2010: 1519-1524[36〕蔡俊偉胡壽松陶洪峰.基于選擇性支持向量機(jī)集成的混沌時(shí)間序列預(yù)測[J.物理學(xué)報(bào),2007,56(12):6820-6828CAI Junwei, HU Shousong, TAO Hongfeng. Prediction of chaotic time series based on selective support vector machine ensemble[J]. ACTAphysica sinica, 2007, 56( 12): 6820-6828.( in Chinese)[37] Yuan Hejin, Zhang Yanning, Yang Fuzeng, et al. A novel svm ensemble approach using clustering analysis[ J]. Joumal of electronics, 2008, 25(2):2341-2346[38]李燁,蔡云澤,尹汝潑等.基于證據(jù)理論的多類分類支持向量機(jī)集成[].計(jì)算機(jī)研究與發(fā)展,2008,45(4):571-578.u Ye, CAI Yunze, YIN Rupo, et al. Support vector machine ensemble based on evidence theory for multi-class classification[ J]. Journal ocomputer research and development, 2008, 45(4): 571-578.( in Chinese[39]顏根廷,李傳江,馬廣富.支持向量分類器的模糊積分集成方法[門].哈爾濱工業(yè)大學(xué)學(xué)報(bào),200840(7):l017-1020.YAN Genting, LI Chuanjiang, MA Guangfu. Support vector classifiers ensemble based on fuzry integral[ J]. Joumal of harbin institute of technology,2008,40(7):1017-1020.( in Chinese)[40] Pang S N, Kim Daijin, BangSY. fraud detection using support vector machine ensemble[ C]//proceedings of 8th ICONIP 2001 Shanghai: Fu-dan universty press, 2001: 1344-1349[41] Hyun Chul Kim. Constructing support vector machine ensemble[J]. Patten recognition, 2003, 36(12): 2757-276[42]Dong Yan Shi, Han Ke Song. Boosting SVM classifiers by ensemble[ C]//Proceedings of the 14th IEEE international conference on word wideweb[S.L]: IEEE press,2005:1072-1073[43] Valentini G, Muselli M, Ruffino F. Bagged ensembles of support vector machines for gene expression data analysis[ C]//Proceedings o thenational joint conference on neural networks. Portland IEEE computer society, 2003: 110-115.[44] Loris Nanni, Alessandra Luminysicochemicad properties of amino acids[ J].Neuro-computing,2006,69:1688-1690.[45]谷雨,徐宗本,孫劍等.基于PCA與CA特征提取的入侵檢測分類系統(tǒng)[J].計(jì)算機(jī)研究與發(fā)展,2006,43(4):633-638GU Yu, XU Zongben, SUN Jian, e al. An intrusion detection ensemble system based on the features extracted by PCA and ICA[J]. Journal ofcomputer research and development, 2006, 43(4): 633-638.( in Chinese)[46]唐靜遠(yuǎn),師奕兵,張偉.基于支持向量機(jī)集成的模擬電路故障診斷[J].儀器儀表學(xué)報(bào),2008,29(6):1216-1220fault diagnosis based on support vector machine ensemble[ J]. Chinese joumal of sci-entific instrument, 2008, 29(6): 1216-1220.( in Chinese[47] Jin Deng Zhou, Xiao Dan Wang, Heng Song. Research on the unbiased probability estimation of error-correcting output coding[ J].Pattemigniton,2011,44(7):1552-1565[48 Yalcin A, Erdem Z, Gurgen F. Ensemble based incremental SVM classifiers for changing environments[ C ]//Computer and information[49] Kang Daeki Kim, Jong Myoung. Performance enhancement of SVM ensembles using genetic algorithms in bankruptcy prediction[ C]//Advancedcomputer theory and engineering Chengdu: [& n. ] 2010: 154-158(編輯:田新華)Research and Application of SvM EnsembleWANG Xiao-dan, GAO Xiao-feng, YAO Xu, LEI Lei(1. Missile Institute, Air Force Engineering University, Sanyuan 713809, Shaanxi, China; 2. The Logistics Department, Shaanxi Armed Police Forces, Xi'an 710054, China)Abstract: Ensemble learning is an important research direction in machine leaming, in recent years, support vectormachine(SVM)ensemble has attracted the attentions of researchers in the field of machine learning and statisticallearning, and has become an active research heThe research and application of SVM ensemble in recentyears are surveyed in this paper and the fundamental problems in SVM ensemble are discussed. Methods of con-structing SVM base classifiers with higher diversity, effective ways for cd中國煤化工 -and the typicalapplications of SVM ensemble are discussed and analyzed. The problemsCNMH Gand applicationof SVM ensemble are pointed out and the important research directions are givenKey Words: support vector machine; ensemble learming; diversity