第31卷第2期通化師范學(xué)院學(xué)報Vol 31 No22010年2月JOURNAL OF TONGHUA TEACHERS COLLEGEFeb.2010BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法在空分制氧質(zhì)量預(yù)測中的應(yīng)用魏愛民,徐銘政(通化師范學(xué)院計算機科學(xué)系,吉林通化134002)摘要:文中對傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的基本原理和學(xué)習(xí)過程進(jìn)行分析,發(fā)現(xiàn)其存在收斂速度慢、容易陷入局部極小值等問題采用增加動量項和自適應(yīng)學(xué)習(xí)速率兩種方法對傳統(tǒng)BP算法進(jìn)行改進(jìn),并將改進(jìn)的BP算瀆運用于空分制氧質(zhì)量預(yù)測網(wǎng)絡(luò)檨型中,結(jié)果表明改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)能夠改善傳統(tǒng)模型的缺點,而且預(yù)測質(zhì)量效果校好關(guān)鍵詞:人工神經(jīng)網(wǎng)絡(luò);BP算法;空分制氧中圖分類號:TP02,1文獻(xiàn)標(biāo)志碼:A文章編號:1008-794(2010)02-0045-02收稿日期:2009-04-20作者簡介;魏愛民(1977-),男,吉林通化人,碩士,迺化師范學(xué)院計算機科學(xué)系實驗師隨著工業(yè)技術(shù)和信息技術(shù)的迅猛發(fā)展,工業(yè)領(lǐng)域出現(xiàn)多的權(quán)值不斷調(diào)整的過程,也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程,此過種制取氧氣的方法,主要有水電解法、化學(xué)法及空氣分離法程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到預(yù)先設(shè)定的某一范圍,等但從經(jīng)濟利益、生產(chǎn)規(guī)模和安全角度考慮,空氣分離法是或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止首選的制氧方法1.2BP算法的局限性21人工神經(jīng)網(wǎng)絡(luò)是近年來在經(jīng)濟景氣分析、經(jīng)濟時間序列BP算法雖然簡單,對各個方面都有重要意義,但是它存預(yù)測、組合證券優(yōu)化股票預(yù)測等領(lǐng)域得到廣泛應(yīng)用的一種在以下問題:①從數(shù)學(xué)上看,它是一個非線性優(yōu)化的問題這人工智能技術(shù)在空分制氧工業(yè)流程中,采用改進(jìn)的BP神經(jīng)就不可避免地存在局部極小的問題②學(xué)習(xí)算法的收斂速度網(wǎng)絡(luò)模型,能夠更好地預(yù)測制氧結(jié)果較慢,通常需要幾千步選代或更多;若加快收斂速度易產(chǎn)生振1傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)蕩③網(wǎng)絡(luò)的運行還是單向傳播沒有反饋,目前這種模型并1.1BP原理及學(xué)習(xí)過程山不是一個非線性動力學(xué)系統(tǒng),只是一個非線性映射④網(wǎng)絡(luò)的BP神經(jīng)網(wǎng)絡(luò)是一種無反饋前向網(wǎng)絡(luò)它由一組相互連隱節(jié)點數(shù)目選取尚無理論上的指導(dǎo)而是根據(jù)經(jīng)驗或?qū)嶒炦x接的運算單元組成其中每一個連接都有相對應(yīng)的權(quán)值網(wǎng)取⑤對于新加入的樣本要影響已經(jīng)學(xué)完的樣本不能在線學(xué)絡(luò)結(jié)構(gòu)如圖1(以三層網(wǎng)絡(luò)為例)所示,它包括輸入層節(jié)點、習(xí)同時描述每一個樣本的特征數(shù)目也要求必須相同輸出層節(jié)點,一層或多層隱含層節(jié)點在BP網(wǎng)絡(luò)中層與層2BP算法的改進(jìn)之間采用全互連方式同一層的節(jié)點之間不存在相互連接針對于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)存在的缺陷,尤其是收斂速0".度過慢,易陷人局部最小點,通過結(jié)合增加動量項和自適應(yīng)調(diào)節(jié)學(xué)習(xí)率兩種方法對BP算法進(jìn)行改進(jìn),可以加速收斂過程,提高學(xué)習(xí)速度2.1增加動量項BP網(wǎng)絡(luò)訓(xùn)練過程實質(zhì)上就是網(wǎng)絡(luò)層之間的權(quán)值反復(fù)修輸人層隱含層正,直至網(wǎng)絡(luò)能夠有效地描述學(xué)習(xí)樣本中所蘊含的非線性映輸出層圖1三屢BP網(wǎng)絡(luò)結(jié)構(gòu)圖射關(guān)系增加動量項方法能使網(wǎng)絡(luò)在修正其權(quán)值時,不僅考BP網(wǎng)絡(luò)學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播慮t時刻的梯度下降方向調(diào)整同時還考慮t時刻以前的梯兩個過程組成,又稱為誤差逆?zhèn)鞑ニ惴ㄕ騻鞑r輸入樣度方向調(diào)整,從而可以減少振蕩趨勢提高訓(xùn)練速度本從輸人層傳入,經(jīng)隱層逐層處理后,傳向輸出層若輸出層因此在網(wǎng)絡(luò)每次的權(quán)值和閾值改變量是加人前一次的的實際輸出與期望輸出不符,則轉(zhuǎn)向誤差的反向傳播階段改變量,a為動量項系數(shù)a∈(0,1),通常取09若用W為誤差的反向傳播是將輸出誤差以某種形式通過隱層向輸入某層權(quán)矩陣X為某層輸入向量,則含有動量項的權(quán)值調(diào)整層反向傳播,并將誤差分?jǐn)偨o各層的所有單元,從而獲得各量為:△W()=n5X+a△W(t-1),η為學(xué)習(xí)率引人動量層單元的誤差信號此誤差信號即作為修正各單元權(quán)值的依項后權(quán)重的調(diào)整向著底部的平均方向變化,有利于改善網(wǎng)據(jù)這種信號正向傳播和誤差的反向傳播是周而復(fù)始進(jìn)行絡(luò)收斂過程中的振蕩從而改善收斂性22自適應(yīng)學(xué)習(xí)率往的參數(shù)數(shù)值作為基礎(chǔ)數(shù)據(jù)進(jìn)行訓(xùn)練同時對傳統(tǒng)的BP算學(xué)習(xí)率η是BP算法的一個重要參數(shù)對于一個特定的法和改進(jìn)的BP算法的預(yù)測結(jié)果進(jìn)行比較分析問題,通常是憑經(jīng)驗或進(jìn)行多次實驗來選擇適當(dāng)?shù)膶W(xué)習(xí)率.3.1BP神經(jīng)網(wǎng)絡(luò)架構(gòu)學(xué)習(xí)率控制著權(quán)值空間中權(quán)值對應(yīng)每步沿梯度方向變化的以影響制取氧氣的2個主要因素即壓力和溫度作為輸大小,學(xué)習(xí)率較大權(quán)值修改量就較大學(xué)習(xí)速度較快,有時節(jié)點通過反復(fù)訓(xùn)練確定最終網(wǎng)絡(luò)包括6個隱節(jié)點液氮可能發(fā)生振蕩,而當(dāng)學(xué)習(xí)率較小,學(xué)習(xí)速度較慢但一般比較和液氧的純度為輸出節(jié)點,這樣就設(shè)計出一個BP網(wǎng)絡(luò)模型平穩(wěn),因此在訓(xùn)練過程中學(xué)習(xí)率應(yīng)自適應(yīng)調(diào)整檢查權(quán)值修3.2傳統(tǒng)的BP算法測試正值,若其真正降低了誤差函數(shù),則說明所選的學(xué)習(xí)率小了取學(xué)習(xí)參數(shù)為學(xué)習(xí)率n=0.15,動量系數(shù)a=0.6,隱可對其再增大一個址;反之,應(yīng)減小學(xué)習(xí)率層和輸出層均采用 Sigmoid轉(zhuǎn)換函數(shù),結(jié)束學(xué)習(xí)的條件是訓(xùn)自適應(yīng)學(xué)習(xí)率調(diào)整公式:練樣本的誤差小于15%或趨于穩(wěn)定.經(jīng)測試,當(dāng)達(dá)到滿足結(jié)如果E<0,則η(k+1)=B×η(k)(1)束學(xué)習(xí)條件時,迭代次數(shù)達(dá)到2278次否則η(k+1)=y×7(2)3.3改進(jìn)的BP算法測試其中E=E(k)-E(k-1),B、y分別為大于1和小于1采用上述改進(jìn)的BP算法取學(xué)習(xí)參數(shù)為學(xué)習(xí)率n的常數(shù)通常為12~1.3和0.7-0.8;n(k)為第k次學(xué)習(xí)0.1,動量系數(shù)a=0.9B=1.2,y為0.75,隱層和輸出層均率,E(k)為第k次網(wǎng)絡(luò)誤差平方和由于學(xué)習(xí)率在迭代中自采用 Sigmoid轉(zhuǎn)換函數(shù)結(jié)束學(xué)習(xí)的條件是訓(xùn)練樣本的誤差適應(yīng)進(jìn)行調(diào)整,在不同的連接權(quán)系數(shù)中采用了不同的學(xué)習(xí)小于15%或趨于穩(wěn)定經(jīng)測試,當(dāng)達(dá)到滿足結(jié)東學(xué)習(xí)條件時率,誤差代價函數(shù)在不同的方向上以各自比較合理的速率向選代次數(shù)達(dá)到1154次極小點逼近34傳統(tǒng)和改進(jìn)的BP算法比較表1獲取的實驗數(shù)據(jù)及網(wǎng)絡(luò)訓(xùn)練結(jié)果在對BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中,列舉采用了35組數(shù)據(jù)作傳統(tǒng)BP算法改進(jìn)BP算法壓力晶度液紙濃度(%·10)液氧濃度(%·10)為此次實驗的樣本數(shù)據(jù)實例,其中30組作為網(wǎng)絡(luò)的訓(xùn)練樣次數(shù)(Ma)(-10本,5組作為網(wǎng)絡(luò)測試樣本,訓(xùn)練結(jié)果僅考慮氧氣純度對傳03℃)實驗值計算值說差實驗值計算值誤差統(tǒng)BP算法訓(xùn)練結(jié)果和改進(jìn)BP算法訓(xùn)練結(jié)果進(jìn)行比較,如表0.42.008.728.868.98.728.767.21所示20.12.108.498.533.18.498.553.230.22.038.628.501.78.628.541.5對傳統(tǒng)BP算法迭代次數(shù)和改進(jìn)BP算法迭代次數(shù)進(jìn)行40.32.188.598.746.68.598.715比較,如圖2所示50.22.178.518.9710.28.518.878,960.52.158.588.725.98.588.705.870.62.178.618.694.78.618.725.281.02.068.778.865.48.778.814,81090.92.088.678,736.28.678.796.5100.52.178.598.63l11.62.II8.618.794.58.6l8.804.90010001500200021.82.08.598.816.98.598.613.9收斂選代次數(shù)收致迭代次數(shù)131.42.158.638.846.58.638.805.3(a)傳統(tǒng)的BP算法(b)改進(jìn)的BP算法141.52.178.798.937.58.798.885.7150.72.048.538.594.88.538.615.2160.82.208.518.628.28.518,607.2通過對兩種算法測試結(jié)果的對比,證明改進(jìn)后的BP172.12.148.698.87算法可以很好地加快BP神經(jīng)網(wǎng)絡(luò)收斂過程,克服了傳統(tǒng)的182.32.108.708.856.28.708.844.9BP神經(jīng)網(wǎng)絡(luò)容易陷入局部極小值的問題191.82.138.698.845.38.698.854.8202.42.068.718.764.98.718.732.94結(jié)束語211.52.048.698.823.78.698.753.5本文針對傳統(tǒng)BP算法收斂速度慢、容易陷人局部極小221.12.178.578.676.48.578.6858值等缺點提出了一種算法的改進(jìn),通過實踐證明,改進(jìn)后的231.62,208.518.BP神經(jīng)網(wǎng)絡(luò)算法具有較強的學(xué)習(xí)能力,提高了學(xué)習(xí)速度縮240.92.098.498.609.88.498.501.8251.72.198.568.673.78.568.613短了學(xué)習(xí)時間,有效地抑制了網(wǎng)絡(luò)陷于局部極小值的發(fā)生262.02.138.628.631.68.628.651.9271.22.168.518.648.48.518.543.4281.62.128.598.717.08.598.777.2參考文獻(xiàn):291.22.208,498.679.18.498.577.91]王爽,張鷹,呂瑞霞,BP神經(jīng)網(wǎng)絡(luò)的算法改及應(yīng)用[刀電腦302.12.208.728.6711.38.728.731.3知識與技術(shù),2009,(4)312.12.088.618.797.28.618.787.0[2]王靜偉BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法的研究[J].中國水逯,2008320.92.068.428.517.18.428.526.8(1)331.32.048.608.729.88.608.665.8341.22.088.518.628.18.518.607.7[3]張鐵夫,嚴(yán)駿張興,基于改進(jìn)BP算法的電子設(shè)備塊化故35:82.08568.727.685686567陳論斷研究口,計機應(yīng)用與件.209(2)3改進(jìn)BP算法在空分制氧質(zhì)量預(yù)測中應(yīng)用[4]李全亮,基于改進(jìn)的BP人工神經(jīng)網(wǎng)絡(luò)在我國稅收預(yù)測中的應(yīng)用[].企業(yè)經(jīng)濟,2008(7)采用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法對空分制氧工業(yè)流程中氧(責(zé)任編輯:王前)氣質(zhì)量的制取進(jìn)行預(yù)測,建立單隱層的BP網(wǎng)絡(luò)模型使用以