BP改進(jìn)算法及其在乙二醇精制軟測(cè)量中的應(yīng)用張磊等BP改進(jìn)算法及其在乙二醇精制軟測(cè)量中的應(yīng)用An Improved BP Algorithm and Its Application in Soft Sensing of Purifying Ethylene Glycol張磊胡春錢鋒(華東理工大學(xué)自動(dòng)化研究所上海200237)摘要提岀了一種綜合改進(jìn)的B神經(jīng)網(wǎng)絡(luò)算法該算法在訓(xùn)練時(shí)對(duì)不同的連接權(quán)和閾值采用不同的學(xué)習(xí)速率由此建立了乙二醇精制塔塔笠乙二醇濃度的神經(jīng)網(wǎng)絡(luò)軟測(cè)量模型。結(jié)果表眀該算法能有效提高乙二醇濃度B神經(jīng)網(wǎng)絡(luò)軟測(cè)量模型的收斂精度關(guān)鍵詞BP神經(jīng)網(wǎng)絡(luò)算法改進(jìn)乙二醇濃度軟測(cè)量模型Abstract A comprehensively improved BP algorithm is issued in this paper. According to this algorithm different learning rates are applied to differentconnection weights and threshold values when a BP network is trained. A neural network model is setup to be used on soft sensing of the concentration ofhe ethylene glycol of the MEG column. Practice shows that this proposed algorithm is effectively able to improve the convergence precision of the BPneural network in soft sensing for the concentration of ethylene glycolKeywords BP neural network Improved algorithm Concentration of ethylene glycol Soft sensing model0引言應(yīng)性。改進(jìn)BP算法可以在一定程度上加快訓(xùn)練速度更加精確地逼近真實(shí)模型因而具有重要的現(xiàn)實(shí)意.精餾過程的高度非線性和嚴(yán)重不確定性是其在線1BP算法及其改進(jìn)檢測(cè)的難點(diǎn)。用在線分析儀直接測(cè)量設(shè)備投資大維護(hù)困難而且分析周期長、測(cè)量滯后大、準(zhǔn)確性不高、使1.1BP算法用率低難以提供實(shí)時(shí)質(zhì)量信息作為質(zhì)量控制的反饋BP網(wǎng)絡(luò)因其采用誤差反向傳播算法( Error back信號(hào)1。目前軟測(cè)量技術(shù) Soft Sensing Techniques被 Propagation)而得名986年D.E. Rumelhart和J.L認(rèn)為是具有吸引力和卓有成效的方法它所建立的軟 Mcclelland等人提出。它是一種典型的多層前向網(wǎng)絡(luò)測(cè)量模型可以完成一些實(shí)際硬件檢測(cè)儀器所不能完成由輸入層隱含層和輸出層組成。隱含層和輸出層中的測(cè)量任務(wù)。建模人工神經(jīng)網(wǎng)絡(luò)AN)法在控制領(lǐng)任一神經(jīng)元的輸入等于與它相鄰的前一層中各神經(jīng)元域取得了很大進(jìn)展其優(yōu)良的品質(zhì)對(duì)建立軟儀表十分輸出的加權(quán)和。1989年 Robert hecht-Nielsen證明了有利。如果這種軟測(cè)量模型足夠精確的話理論上可對(duì)于任何在閉區(qū)間內(nèi)的一個(gè)連續(xù)函數(shù)都可以用一個(gè)隱替代在線分析儀表實(shí)現(xiàn)直接質(zhì)量控制油于它不會(huì)受層的BP網(wǎng)絡(luò)來逼近因而一個(gè)3層的BP網(wǎng)絡(luò)可以完到測(cè)量滯后的影響可望在控制性能上獲得較大的改成任意的n維到m維的映射善2。它將輔助變量作為AN的輸入主導(dǎo)變量作為設(shè)定N組輸入樣本X=[x1,x12灬…,xm]希其輸出通過網(wǎng)絡(luò)的學(xué)習(xí)來解決不可測(cè)變量的軟測(cè)量望輸出向量Y=(y2灬)實(shí)際輸出向量問題。而神經(jīng)網(wǎng)絡(luò)類型和結(jié)構(gòu)、訓(xùn)練樣本的空間分布Cn=(cn;cn2,cn)③隱層單元數(shù)為s輸入層至中和訓(xùn)練方法對(duì)AN的性能有極大的影響3。BP算法間層連接權(quán)為W1),=1212是應(yīng)用得較早的學(xué)習(xí)算法也是當(dāng)前發(fā)展得比較成熟間層至輸出層連接權(quán)為啊2),=12灬…t的一種算法。它充分利用了多層前向網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)2…s中間層和輸出層神經(jīng)元閥值為m當(dāng)神經(jīng)元位勢(shì)在正反傳播過程中的每一層計(jì)算都是并行的。但于中間層時(shí)M=1m=12…當(dāng)神經(jīng)元位于輸出層BP算法存在兩個(gè)主要缺點(diǎn)即訓(xùn)練時(shí)間長和容易陷入時(shí)n=2,n=12r…,;。網(wǎng)絡(luò)響應(yīng)函數(shù)為對(duì)數(shù)S型激局部最小。針對(duì)此目前提出了很多修正算法從各個(gè)活函Pv凵中國煤化工方面改進(jìn)了原BP算法的不足4-7本文提出一種綜CNMHG。-x(1)合改進(jìn)的BP算法進(jìn)而建立了乙二醇精制過程精餾塔這里定義誤差函數(shù)為塔笠乙二醇濃度的人工神經(jīng)網(wǎng)絡(luò)軟測(cè)量模型并使所1獲得的軟測(cè)量模型具有比較高的預(yù)測(cè)精度和廣泛的適E31《自動(dòng)化儀表》第26卷第6期2005年6月Ep(2)散。目前應(yīng)用較為廣泛的軟件MTAB其神經(jīng)網(wǎng)絡(luò)工具箱中提供的結(jié)合了附加動(dòng)量法和自適應(yīng)學(xué)習(xí)速率這樣問題就轉(zhuǎn)化為如何調(diào)整連接權(quán)系數(shù)使E最小。方法的網(wǎng)絡(luò)訓(xùn)練函數(shù)為 Trainbp)其中規(guī)定的n變化這里采用一階梯度法即考慮權(quán)值和閾值的變化方向規(guī)則如式6所示與E對(duì)此尋優(yōu)參數(shù)的一階導(dǎo)數(shù)成正比1.05k-1)k)1.04k-1)(6)k-1)其他AOmn(k+1)∝(4)自適應(yīng)調(diào)整速率有利于縮短學(xué)習(xí)時(shí)間式中,為訓(xùn)練次數(shù)(k=12…,K),Om為某一神經(jīng)采用上述算法固然可以得到比標(biāo)準(zhǔn)算法更加快的元的閾值收鮫速度和更加高的收斂精度但自整定速率的方法由復(fù)合函數(shù)求導(dǎo)可以解得O,、和B,ah的從全局的角度出發(fā)對(duì)所有的連接權(quán)均作統(tǒng)一的調(diào)整沒有針對(duì)性。在某些誤差變化劇烈的區(qū)域很容易發(fā)生具體表達(dá)式選擇合適的比例系數(shù)學(xué)習(xí)速率n)進(jìn)而調(diào)整量過大的情況。這時(shí)盡管按照自適應(yīng)調(diào)整速率的得到各連接權(quán)值和神經(jīng)元閱值的變化值實(shí)現(xiàn)誤差的方法將n減小還是會(huì)在誤差曲面上跨過較窄的坑凹逆?zhèn)鞑?。不難看出該網(wǎng)絡(luò)實(shí)際上是對(duì)任意非線性映處。1990年F.M.Sla和L.B. Almeida對(duì)每個(gè)連接射關(guān)系的一種逼近。由于采用的是全局逼近的方法,采用單獨(dú)的學(xué)習(xí)速率這些學(xué)習(xí)速率的自適應(yīng)是通過因而BP網(wǎng)絡(luò)具有良好的泛化能力觀察最后兩個(gè)梯度的符號(hào)來完成的。只要測(cè)得在符號(hào)1.2改進(jìn)的BP算法由于標(biāo)準(zhǔn)的BP算法并不十分完善還有諸多缺上不改變相應(yīng)的學(xué)習(xí)速率就增加。若符號(hào)改變學(xué)習(xí)陷如學(xué)習(xí)收斂速度太慢、不能收斂到全局最小點(diǎn)、網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性等。針對(duì)上述問題,有習(xí)時(shí)間m本文在上述基礎(chǔ)上提出一種改進(jìn)的BP算法。關(guān)改進(jìn)BP網(wǎng)絡(luò)結(jié)構(gòu)和算法的文獻(xiàn)層出不窮。其中帶在反向傳播修正權(quán)值和閾值的過程中針對(duì)某個(gè)有附加動(dòng)量法和自適應(yīng)學(xué)習(xí)速率的反向傳播訓(xùn)練法就是應(yīng)用較為廣泛的典型算法其連接權(quán)的校正如下式特定的權(quán)值或閾值具體問題具體分析。若E對(duì)該權(quán)值閾值的一階導(dǎo)數(shù)所示akA(k)=d+a△Wk-1)awit k)( aei k)式中a為動(dòng)量常數(shù)(01.04Kk-1)方才放棄對(duì)參數(shù)的修正及減小誤差有所增大則相應(yīng)地減小學(xué)習(xí)速率避免振蕩和發(fā)學(xué)習(xí)速率而前后兩步訓(xùn)練完成后的E不變化或者基PROCESS AUTOMATION INSTRUMENTATION Vol 26 No 6 June 2005BP改進(jìn)算法及其在乙二醇精制軟測(cè)量中的應(yīng)用張磊等本不增加時(shí)仍然保留本次對(duì)參數(shù)的調(diào)整同時(shí)各學(xué)習(xí)活函數(shù)變化最大之處進(jìn)行調(diào)節(jié)。N-W法僅需要使用速率亦保持不變。這樣做是考慮到平坦區(qū)的存在避在第一隱含層的初始值選取上后面層的初始值仍然免學(xué)習(xí)速度的下降。采用隨機(jī)取數(shù)。其算式為①當(dāng)全局誤差Kh)1.04K(h-1時(shí)式中k服從正態(tài)分布M01)x=12灬5)服從7(k)=n(k-1)xdm2[0止上的均勻分布。7(k)=n(k-1)×dm2數(shù)據(jù)集共包含200個(gè)訓(xùn)練示例。對(duì)于3層前饋神經(jīng)網(wǎng)絡(luò)分別采用本文改進(jìn)前后的BP算法進(jìn)行訓(xùn)練其且同時(shí)各權(quán)值、閾值保持不變不作修正。隱層神經(jīng)元數(shù)為6個(gè)初始權(quán)值和閾值由N-W法取。③當(dāng)Kk-1)≤Kk)≤1.04k-1)時(shí)為了更好地說明問題本文在兩種算法中對(duì)初始權(quán)值(k)=7(k-1)和閾值作統(tǒng)一賦值。仿真結(jié)果如表1、表2所示。其中( k)表1顯示了兩種算法經(jīng)40000次訓(xùn)練后所得結(jié)果精度這里,k)權(quán)值的學(xué)習(xí)速率,(k)為各神經(jīng)的差異表2則顯示了兩種算法在數(shù)據(jù)歸一化后達(dá)到元閾值的學(xué)習(xí)速率,m為動(dòng)量常數(shù),m和dm分別為相同精度目標(biāo)分別所需要的訓(xùn)練次數(shù)。大于1和小于1的常系數(shù)在各項(xiàng)實(shí)驗(yàn)中均能取得較表1兩種BP神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練精度的比較好效果其中im=1.05、dm=0.7效果最佳在上述改進(jìn)算法中仍然保留了動(dòng)量項(xiàng)。本文取本文改進(jìn)算法常用算法mc=0.9如果反向傳播訓(xùn)練后的輸出誤差大于前訓(xùn)練最大誤差2.04095626步算出的網(wǎng)絡(luò)輸出誤差的話說明加動(dòng)量項(xiàng)沒有效果訓(xùn)練均方差0.0000.0008則令m=0反之要考慮加進(jìn)動(dòng)量測(cè)試最大誤差5.5121測(cè)試均方差0.00140.0023引入動(dòng)量項(xiàng)可以改善收斂精度但它對(duì)訓(xùn)練的初始值有要求必須使其值在誤差曲線上的位置所處誤表2兩種BP神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練速度的比較差下降方向與誤差最小值的運(yùn)動(dòng)方向一致。如果初始誤差平方和本文改進(jìn)算法訓(xùn)練步數(shù)常用算法訓(xùn)練步數(shù)誤差點(diǎn)的斜率下降方向與通向最小值的方向背道而馳則附加動(dòng)量法失效訓(xùn)練結(jié)果將同樣落入局部極小值而不能自拔。初始值選得太靠近局部極小值也不2174550.14行。通常的初始權(quán)重與偏差隨機(jī)化方法都是在區(qū)間-1,之間取均勻分布的隨機(jī)數(shù)的函數(shù)。計(jì)算表明中國煤化工該方法對(duì)復(fù)雜的高非線性系統(tǒng)效率較低。較多計(jì)算表CNMH(改進(jìn)算法可以明顯縮眀采用初始權(quán)重與偏差隨杋化的 nguyen- Widrow法短網(wǎng)絡(luò)訓(xùn)練時(shí)間提高網(wǎng)絡(luò)訓(xùn)練結(jié)果的精度。另外〔簡稱NW法對(duì)計(jì)算效率的提高有較明顯的效果凵。目標(biāo)精度不是很高時(shí)兩種算法的差異并不大。當(dāng)目該方法保證毎個(gè)神經(jīng)元的權(quán)值都能在它們的S型激標(biāo)精度比較低的時(shí)候本文改進(jìn)算法訓(xùn)練步數(shù)甚至還《自動(dòng)化儀表》第26卷第6期2005年6月略高于常用算法。這是因?yàn)楸疚乃釋绲母倪M(jìn)算法追預(yù)測(cè)結(jié)果。另外本文還將訓(xùn)練結(jié)果的精度與常用算求的是對(duì)極小點(diǎn)逼近的精度,因此,當(dāng)目標(biāo)精度稍高法進(jìn)行了對(duì)比結(jié)果如表3所示。時(shí)本文所述之算法訓(xùn)練速度比常用算法要快很多從表3兩種算法用于乙二醇濃度軟測(cè)量收斂精度的對(duì)比實(shí)際應(yīng)用的角度來看能收斂到常用算法很難達(dá)到的本文改進(jìn)算法常用算法精度訓(xùn)練最大誤差l.98182.9919訓(xùn)練均方差6793×106.0216×10-42改進(jìn)算法在乙二醇精制過程軟測(cè)量中的應(yīng)用測(cè)試最大誤差測(cè)試均方差0.00150.0025乙二釀MEG是重要的基本合成原料用途甚廣。按照當(dāng)前的乙二醇生產(chǎn)工藝經(jīng)環(huán)氧乙烷和水反應(yīng)生由此可以看出改進(jìn)算法不論在訓(xùn)練還是預(yù)測(cè)上成的乙二醇還需經(jīng)過脫水和精制過程以去除水、二甘都有很好的效果這樣就能以很高的精度實(shí)現(xiàn)精餾塔醇、三甘醇等雜質(zhì)后才能作為成品出廠。而精制過程釜液殘余乙二醇濃度的在線檢測(cè)。的關(guān)鍵又在于對(duì)精餾塔釜液殘余乙二醇濃度的在線檢3結(jié)束語測(cè)根據(jù)生產(chǎn)工藝特性和數(shù)據(jù)分析的結(jié)果本文選擇按以上方法建立的軟測(cè)量模型能夠很好地對(duì)乙了下列5個(gè)參數(shù)以估計(jì)乙二醇精制過程精餾塔塔釜乙醇濃度進(jìn)行在線檢測(cè)且精度很高。根據(jù)某石化廠廣乙二醇濃度塔頂回流量、塔板溫度、塔頂壓力、塔釜二醇精制塔塔釜乙二醇濃度的在線檢測(cè)結(jié)果預(yù)測(cè)準(zhǔn)MEG采出量、靈敏板溫度。對(duì)這樣一個(gè)5輸入1輸出確度高于85.5%的數(shù)據(jù)所占比例約為93%。因此所的BP網(wǎng)絡(luò)模型宜采用MⅢLAB軟件進(jìn)行訓(xùn)練仿真。建立的神經(jīng)網(wǎng)絡(luò)模型可以滿足精餾塔釜液殘余乙二醇按照N一W法本文對(duì)輸入層至隱含層的連接權(quán)W濃度在線檢測(cè)的需要。需要指出的是,該方法畢竟是1廂和隱含層神經(jīng)元閾值ω取初始值用 nwlog函數(shù)賦基于梯度下降的方法,一般僅收斂到初值附近的局部值其余的則用 initwb函數(shù)賦初始值。極值而并非全局最小值。參考文獻(xiàn)俞金壽劉愛倫,張克進(jìn).軟測(cè)量技術(shù)及其在石油化工中的應(yīng)用化工工業(yè)出版社20002孫欣,王金春,基于神經(jīng)網(wǎng)絡(luò)的過程軟測(cè)量.自動(dòng)化儀表,9963徐用懋趙仕健軟測(cè)量技術(shù)的發(fā)展及應(yīng)用.數(shù)字化工20034俞金壽軟測(cè)量新技術(shù)綜述世界儀表與自動(dòng)化20195)102030405王寧會(huì)劉敏.神經(jīng)元網(wǎng)絡(luò)軟測(cè)量技術(shù)的進(jìn)展.自動(dòng)化與儀表網(wǎng)絡(luò)訓(xùn)練值一實(shí)際測(cè)控值圖1改進(jìn)算法用于乙二醇濃度軟測(cè)量訓(xùn)練結(jié)果6 Kolias S, Anastassiou D. An Adaptive least squares Algorithm for theEfficient Training of Artificial Neural Networks, IEEE Trans. CircuitsSyst, 198% 36)7程相君王舂寧陳生潭,神經(jīng)網(wǎng)絡(luò)原理及其應(yīng)用.國防工業(yè)出術(shù)版社19958 Hecht-Nielsen R. Theory of the back propagation neural network. Procof lINn, 19899 Silva F M, Almeida L B. Speeding up Back Propagation Advanced Neu-網(wǎng)絡(luò)訓(xùn)練值實(shí)際測(cè)控值10 Nguyen D. H. and Widrow B. Neural networks for self-learning controlms, IEEE Control Systems 1990圖2改進(jìn)算法用于乙二醇濃度軟測(cè)量測(cè)試結(jié)果乙烯衍生物工學(xué).化學(xué)工業(yè)出版社』995中國煤化工根據(jù)實(shí)現(xiàn)的效果隱層單元數(shù)選擇6時(shí)較好。選CNMHG擇99組在現(xiàn)場(chǎng)采集的數(shù)據(jù)其中59組作為訓(xùn)練數(shù)據(jù)第一作者張磊男1980年生,2000年畢業(yè)于華東理工大學(xué)自動(dòng)化40組作為測(cè)試數(shù)據(jù)。經(jīng)4000次訓(xùn)練后由圖1和圖2系現(xiàn)為華東理工大學(xué)碩士研究生注要從事人工智能和先進(jìn)控制方面分別反映了用本文改進(jìn)的算法得出的模型訓(xùn)練結(jié)果和的研究。PROCESS AUTOMATION INSTRUMENTATION Vol 26 No 6 June 2005