計(jì)算機(jī)技術(shù)與發(fā)展第16卷第10期voicth .2006"2006年10月OOMPUTER TECHNOLOGY AND DEVELOPMENTBP算法分析與改進(jìn)賈麗會(huì),張修如(中南大學(xué)信息科學(xué)與工程學(xué)院,湖南長(zhǎng)沙410075)摘要:在人工神經(jīng)網(wǎng)絡(luò)中 ,BP神經(jīng)網(wǎng)絡(luò)是-種應(yīng)用廣泛的多層前饋神經(jīng)網(wǎng)絡(luò)。分析了BP算法的基本原理,指出了BP算法具有收斂速度慢、易陷人局部極小點(diǎn)等缺陷以及這些缺陷產(chǎn)生的根源。針對(duì)這些觖陷通過(guò)在標(biāo)準(zhǔn)BP算法中引人變步長(zhǎng)法加動(dòng)量項(xiàng)祛遺傳算法.模擬退火算法等幾種方法來(lái)優(yōu)化BP算法。實(shí)驗(yàn)結(jié)果表明,這些方法有效地提高了BP算法的收斂性,避免陷人局部最小點(diǎn)。關(guān)鍵詞:BP算法;收斂速度;局部極小點(diǎn);遺傳算法;模擬退火算法中圈分類號(hào):TP183文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1673 - 629<(2006010-0101 -03Analysis and Improvements of BP AlgorithmJIA Li-hui,ZHANG Xiu-ru(College of Information Science & Enginering,Central South University ,Changsha 410075,China)Abstract :Beck - propagatio neural network is an extensively applied multi - layer feedforward neurl network in artificial neurel network.Besic principle of BP algorithm is analyzed frstly. Then some defects such as slow convergence reste and getting into local minimum in BPalgorithm are pointed our,and the root of the defects is presented. Finly,in view of these litionse, several methods such is genetic algorithm and simulated anealing egorithtm etr. are led to optimize BP algorithm. Experiment results show that these methods increase eficiently the convergence performance of BP algorithim and awoid local minimum.Key words:BP algorithm;overgence rete;bcal mininium;genetic algorithm;imulated0引盲闕值為0ho于是隱層各神經(jīng)元的輸出為:由于BP (back propagation)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、算法輸入層隱層輸出層成熟且具有很強(qiáng)的非線性映射能力,故它在模式識(shí)別、故障診斷、醫(yī)學(xué)工程等各個(gè)領(lǐng)城得到了廣泛的應(yīng)用。雖然理論上BP網(wǎng)絡(luò)能逼近任意的非線性函數(shù),但由于BP算法的誤差函數(shù)曲面高度復(fù)雜,并且按梯度下降法調(diào)整權(quán)值，使得網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中出現(xiàn)了收斂速度慢易陷入局部極0→m小點(diǎn)等缺點(diǎn)(1,2 ,從而限制了BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用。文中圖1典型的3層BP神經(jīng)網(wǎng)絡(luò)針對(duì)這些缺陷,介紹了幾種改進(jìn)方法來(lái)優(yōu)化BP算法。x';= f(Zwg-0)，j= 1,2.,1 BP神經(jīng)網(wǎng)絡(luò)與學(xué)習(xí)算法輸出層各神經(jīng)元的輸出為:BP神經(jīng)網(wǎng)絡(luò)含有輸人層、輸出層以及處于輸人輸出. 為= f(Zwx;-Q)， k= 1,2",m層之間的隱含層。隱含層又包括單層或多層。圖1是一BP算法也稱誤差反向傳播算法(Error Back - propa-個(gè)典型的3層BP神經(jīng)網(wǎng)絡(luò),只有一層隱含層。.設(shè)輸人為x= (x",x,);隱層有r個(gè)神經(jīng)元;gation Algorithm),是一類有指導(dǎo)學(xué)習(xí)算法,用于BP網(wǎng)的輸出層有m個(gè)神經(jīng)元,輸出為y= (wr.,".,..);輸人權(quán)值和閾值學(xué)習(xí)。BP算法實(shí)質(zhì)是求均方誤差函數(shù)的最小層到隱層的權(quán)為tvo,閾值為0;:隱層到輸出層的權(quán)為wp,值向題。這種算法采用非線性規(guī)劃中的最速下降法,按誤差函數(shù)的負(fù)梯度方向修改權(quán)系數(shù)。設(shè)有p個(gè)學(xué)習(xí)樣本矢量,對(duì)應(yīng)的期望輸出為d"),d(2) ,..學(xué)習(xí)是通過(guò)誤收稿日期:2005-12-06差校中國(guó)煤化工內(nèi)簡(jiǎn)化推導(dǎo),把各計(jì)作者簡(jiǎn)介:賈麗會(huì)(1976- ),女,湖北鐘樣人,碩士研究生,講師,研究算二樣本輸入網(wǎng)絡(luò),并方向?yàn)閳D形圖像處理技術(shù)、信號(hào)處理、模式識(shí)別;張修如,副教授,研產(chǎn)生iY片CN M H G元誤差平方之和，究方向?yàn)樾畔⑾到y(tǒng),GIS.圖形團(tuán)像處理技術(shù)、模式識(shí)別。即102●計(jì)算機(jī)技術(shù)與發(fā)展第16卷E')= 22(a(0)-y1M)2輸出之間的誤差在某-個(gè)值的左右徘徊,但是無(wú)法再減少,這時(shí)就表明網(wǎng)絡(luò)的訓(xùn)練陷人了局部極小值而不是全局當(dāng)所有樣本都輸入一次后,總誤差為:最小值。En=之E()=號(hào)之之(d{)-y)2平坦區(qū)局部最小值與全局最小值的二維示意圖如圖設(shè)wp為網(wǎng)絡(luò)中的一個(gè)連接權(quán)值,則根據(jù)梯度下降法,權(quán)2所示。.值修正量應(yīng)為:▲EOwp =- η其中,若是批量學(xué)習(xí),則E = Ea;若是增量學(xué)習(xí),則E =E(P。采用梯度法,通過(guò)每次調(diào)整的增量Ow;和Oruyg,使平坦區(qū)局部最小值總的誤差向減小的方向變化,直到滿足一定的條件。這里以批量學(xué)習(xí)為例,通過(guò)求解,各層權(quán)值第no+1次與第no全局最小值次的關(guān)系為:圖2誤差平坦區(qū) 、局部最小值與全局最小值二維示意困wx(no+1)= w(no) + n乙%x$P以上兩個(gè)問(wèn)題都是BP算法的固有缺陷,其根源在于wo(no+ 1)= wo(no) +之跑2按誤差梯度下降的權(quán)值調(diào)整原則是每- -步求解都取局部最優(yōu),即所謂“貪心"(Greedy)算法的原則。式中,8% = (d{)- y?)s{P(1 - y)8物)= ZfPrwx'?)(1-x'{)3 BP 算法的幾種改進(jìn)方法顯然,BP網(wǎng)絡(luò)學(xué)習(xí)分兩個(gè)階段:由前向后正向計(jì)算各3.1 變步長(zhǎng)法隱層和輸出層的輸出,由后向前誤差反向傳播,用于權(quán)值BP算法的有效性和收斂性在很大程度上取決于學(xué)習(xí)修正。步長(zhǎng)η的值。采用一般的固定長(zhǎng)梯度下降法求解時(shí),起碼可能導(dǎo)致兩個(gè)主要問(wèn)題:局部極小解;收斂速度慢。所以，2 BP 算法存在的不足及原因分析一般要求是,當(dāng)訓(xùn)練到誤差曲面的平坦區(qū)時(shí),梯度較小,為BP算法是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法,但加快收斂應(yīng)使7增大;當(dāng)訓(xùn)練到深而窄的誤差曲面時(shí),應(yīng)人們?cè)谑褂眠^(guò)程中發(fā)現(xiàn)BP算法也存在訓(xùn)練時(shí)間長(zhǎng)、收使n減小,以免因步長(zhǎng)過(guò)大而出現(xiàn)振蕩現(xiàn)象。為加快收斂，斂速度慢、易陷人局部最小點(diǎn)等缺陷。應(yīng)使力合理化,可采用變步長(zhǎng)算法。變步長(zhǎng)算法的基本思2.1收斂速度慢想是,先設(shè)一個(gè)初始步長(zhǎng)η,若-次迭代后誤差增大,則將在BP算法中,對(duì)于比較簡(jiǎn)單的問(wèn)題也要經(jīng)過(guò)幾千次步長(zhǎng)乘以8(< 1),沿原方向重新計(jì)算該迭代點(diǎn);若一次迭才能達(dá)到充分的學(xué)習(xí)。BP算法實(shí)質(zhì)是求均方誤差函數(shù)的代后誤差減小，則將步長(zhǎng)乘以a(> 1),計(jì)算下一個(gè)迭代最小值問(wèn)題。為保證算法的收斂性,學(xué)習(xí)率必須小于某一點(diǎn),以縮短學(xué)習(xí)時(shí)間。上限。這就決定了BP算法的收斂速度不可能很快。另3.2c加動(dòng)項(xiàng)法外,在BP網(wǎng)絡(luò)的訓(xùn)練過(guò)程中,有時(shí)侯會(huì)進(jìn)入誤差曲面的為了加速BP算法的收斂,根據(jù)Rumelhart等人的建平坦區(qū)。這時(shí),誤差雖然也在減少,但在一定時(shí)間內(nèi)的減議,可考慮在權(quán)值調(diào)整算式中加人動(dòng)量項(xiàng)[4],即少極度緩慢,從而使訓(xùn)練次數(shù)大大增加,影響了收斂速度。.Aw(n+1)=- nw(n) + aSwu(n)導(dǎo)致BP算法收斂速度慢的原因很多,譬如:學(xué)習(xí)步長(zhǎng)、初式中,a為動(dòng)量因子，一般取0.1~0.8。這時(shí)權(quán)值修正量始權(quán)值、目標(biāo)函數(shù)等的選取都會(huì)對(duì)收斂速度產(chǎn)生影響。Fahlman等人間認(rèn)為,導(dǎo)致BP算法收斂速度慢的主要原加上了有關(guān)上一時(shí)刻權(quán)值修改方向的記憶,加速了網(wǎng)絡(luò)的因有兩個(gè):學(xué)習(xí)步長(zhǎng)問(wèn)題和變動(dòng)目標(biāo)問(wèn)題,并提出了著名收斂。加動(dòng)量項(xiàng)法的具體原理:若相鄰兩次迭代點(diǎn)處的梯的神經(jīng)網(wǎng)絡(luò)構(gòu)造方法:級(jí)聯(lián)相關(guān)(Cascade - Correlation,度方向是一致的,引入動(dòng)量項(xiàng)可使權(quán)值的調(diào)整量增大,從0C)算法,解決了傳統(tǒng)BP算法收斂速度慢的缺點(diǎn)。而加速收斂;若相鄰兩次迭代點(diǎn)處的梯度方向相反,引人2.2募陷入局部最小點(diǎn)動(dòng)量項(xiàng)可使權(quán)值的調(diào)整量減小,避免了來(lái)回振蕩,加快了BP算法本質(zhì)上采用的是梯度下降法,訓(xùn)練是從某一收斂。起點(diǎn)沿誤差函數(shù)的斜面逐漸達(dá)到誤差的最小值。誤差曲).3 串連法面的多極小點(diǎn)會(huì)使訓(xùn)練陷人局部極小。實(shí)質(zhì)上,誤差函數(shù)中國(guó)煤化工人一輸出模式間非為一個(gè)凹凸不平的多維空間的超曲面,存在非常多的“低線性YH二我性映射關(guān)系越復(fù)谷”。因而在BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí),可能陷入某-小雜,收c N M H G雜的非線性問(wèn)題，谷區(qū)(局部最小點(diǎn)),在這一小谷區(qū)里,網(wǎng)絡(luò)的輸出與期望用兩個(gè)串連的BP網(wǎng)絡(luò)代替一個(gè)BP網(wǎng)絡(luò),能夠有效地縮第10期賈麗會(huì)等:BP算法分析與改進(jìn)103短訓(xùn)練時(shí)間。(2)利用BP算法求權(quán)值W ,達(dá)到狀態(tài)a。3.4利用遺傳算法優(yōu)化 BP算法(3)在所有的權(quán)上加一個(gè)噪聲,獲得新?tīng)顟B(tài)a(在狀態(tài)BP算法的優(yōu)點(diǎn)是尋優(yōu)具有精確性,但它易陷入局部a的領(lǐng)域內(nèi))。.極小、收斂速度慢,而遺傳算法(Geneic Agorithm,GA)是(4)計(jì)算△E= E:'- Eno基于自然選擇和遺傳規(guī)律的全局優(yōu)化搜索算法,具有很強(qiáng)(5)△E≤0時(shí),接受新?tīng)顟B(tài),轉(zhuǎn)到步驟(6);△E > 0的宏觀搜索能力和尋優(yōu)全局性。因此,在BP神經(jīng)網(wǎng)絡(luò)理時(shí),若exp(- OE/T) > randon(0,1), 接受新?tīng)顟B(tài)(爬論中引人遺傳算法的思想,則可以很好地達(dá)到全局尋優(yōu)和坡),轉(zhuǎn)到步驟(6);否則轉(zhuǎn)到步驟(3),再隨機(jī)改變狀態(tài)?？焖俑咝У哪康?。用GA優(yōu)化神經(jīng)網(wǎng)絡(luò)主要包括3個(gè)方(6)從新?tīng)顟B(tài)起,用BP算法繼續(xù)進(jìn)行權(quán)值修正,直到面:優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化權(quán)系數(shù)及同時(shí)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)穩(wěn)定平衡狀態(tài)b。習(xí)規(guī)則等[5]。文中主要介紹在BP網(wǎng)絡(luò)結(jié)構(gòu)固定的前提(7)若Eo≥E。,搜索失敗,轉(zhuǎn)到步驟(3);若E.< E,下,先用GA優(yōu)化BP網(wǎng)絡(luò)的初始權(quán)值,然后用BP算法精轉(zhuǎn)到步驟(8)。確地搜索出權(quán)值最優(yōu)解的實(shí)現(xiàn)方法,其具體步驟如下:(8)若E。<ε,停止;否則k=k+1,T= T/(1+k),(1)初始化種群p,包括種群規(guī)模、交叉概率、突變概轉(zhuǎn)到步驟(3) ,從狀態(tài)b繼續(xù)模擬退火。率和隨機(jī)產(chǎn)生的個(gè)體。種群中的每個(gè)個(gè)體代表I -個(gè)網(wǎng)絡(luò)很顯然,采用模撳退火算法改進(jìn)BP算法，可以使原所有初始權(quán)值(包括閾值)編碼的集合。來(lái)一味追求網(wǎng)絡(luò)誤差單調(diào)下降(即只會(huì)“下坡")的情況增(2)將種群中的每個(gè)個(gè)體解碼成網(wǎng)絡(luò)的各個(gè)權(quán)值,然加了“爬坡"能力,使網(wǎng)絡(luò)能跳出局部極小點(diǎn)而收斂于全局后運(yùn)行網(wǎng)絡(luò),計(jì)算各個(gè)個(gè)體的適應(yīng)度函數(shù)(評(píng)價(jià)函數(shù))并將極小點(diǎn)。利用模擬退火算法雖然可以有效地達(dá)到全局能其排序。量最小狀態(tài),但收斂速度很慢,往往和上面提到的方法結(jié)(3)對(duì)當(dāng)代種群,按交叉概率和突變概率分別進(jìn)行交合使用。叉操作和變異操作產(chǎn)生新個(gè)體。(4)計(jì)算新個(gè)體的適應(yīng)度函數(shù)值并根據(jù)值的大小將新4仿真實(shí)驗(yàn)與結(jié)果個(gè)體插人到種群p中。異或問(wèn)題是典型的線性不可分問(wèn)題,常用于網(wǎng)絡(luò)算法(5)根據(jù)評(píng)價(jià)函數(shù)的順序,僅選擇-半具有較高適應(yīng)的驗(yàn)證,因此文中用它進(jìn)行仿真實(shí)驗(yàn)。異或問(wèn)題比較簡(jiǎn)度的個(gè)體,形成下- -代種群。如果找到了滿意的個(gè)體,或單,沒(méi)必要采用串連法。這里,BP神經(jīng)網(wǎng)絡(luò)采用2-2-1達(dá)到最大進(jìn)化代數(shù),則轉(zhuǎn)(6);否則轉(zhuǎn)(3)。的結(jié)構(gòu),輸人模式為l0,0}, {0,1},1,0,1,1};對(duì)應(yīng)的輸(6)將滿意的個(gè)體進(jìn)行解碼,從而得到通過(guò)GA優(yōu)化出模式為{01,{1},{1},10}。網(wǎng)絡(luò)所有的初始權(quán)值和闞值后的BP網(wǎng)絡(luò)的初始權(quán)值。在[ - 20,20]范圍內(nèi)隨機(jī)取值,分別用標(biāo)準(zhǔn)BP算法和改(7)按照BP學(xué)習(xí)算法不斷進(jìn)行網(wǎng)絡(luò)權(quán)值的調(diào)整,若進(jìn)的算法進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表1所示。BP網(wǎng)絡(luò)達(dá)到指定精度( E