第12期周馳等粒子群優(yōu)化算法粒子群優(yōu)化算法*周馳，高海兵，高亮,章萬國(華中科技大學(xué)機(jī)械科學(xué)與工程學(xué)院教育部智能制造開放實(shí)驗(yàn)室,湖北武漢430074 )摘要:系統(tǒng)地介紹了粒子群優(yōu)化算法歸納了其發(fā)展過程中的各種改進(jìn)如慣性權(quán)重、收斂因子、跟蹤并優(yōu)化動態(tài)目標(biāo)等模型。闡述了算法在目標(biāo)函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)訓(xùn)練、模糊控制系統(tǒng)等基本領(lǐng)域的應(yīng)用并給出其在工程領(lǐng)域的應(yīng)用進(jìn)展最后對粒子群優(yōu)化算法的研究和應(yīng)用進(jìn)行了總結(jié)和展望指出其在計(jì)算機(jī)輔助工藝規(guī)劃領(lǐng)域的應(yīng)用前景。關(guān)鍵詞:粒子群優(yōu)化算法;遺傳算法;神經(jīng)網(wǎng)絡(luò);模糊系統(tǒng)中圖法分類號: TP301.6文獻(xiàn)標(biāo)識碼: A文章編號: 1001-3695 2003 )12-0007-05Particle Swarm Optimizatior( PSO ) AlgorithmZHOU Chi , GAO Hai-bing, GAO Liang , ZHANG Wan- guo( Laboratory of Inelligent Manfacuring ,School of Mechanical Science & Engineering ,Huazhong Uninersity of Science & Technology ,Wuhan Hubei430074 ,China )Abstract: A new optimizer-Particle Swarm Optimization( PSO ) is introduced. Developments in the PSO such as inertia weight ，constriction factor ,tracking and optimizing dynamic systems etc are reviewed. Then ,its applications in some basic areas :functionoptimization ,neural network training and fuzy control system are summarized. Fllowing this ,several important engineering applicationexamples are given. Fnally ,the research and application of PSO in the future are pointed out and its potential application in computeraided process planning is proposed.Key words : Particle Swam Optimization Algorithm ; Genetic Algorithm ; Neural Network ; Fuzzy Control研究并解釋復(fù)雜的社會行為后來發(fā)現(xiàn)粒子群優(yōu)化算法可以用于復(fù)雜優(yōu)化問題的求解4]1引言2粒子群優(yōu)化算法介紹當(dāng)前通過模擬生物群體的行為來解決計(jì)算問題已經(jīng)成為新的研究熱點(diǎn),形成了以群體智能(Swarm如上所述粒子群優(yōu)化算法的提出受鳥群覓食行為Inelligence )為核心的理論體系并已在- -些實(shí)際應(yīng)用領(lǐng)的啟發(fā)并用于解決優(yōu)化問題5]。算法采用速度- -位置域取得突破性進(jìn)展[。通過對生物群體的觀察和研究搜索模型。每個(gè)粒子代表解空間的一一個(gè)候選解解的優(yōu)發(fā)現(xiàn)生物群體內(nèi)個(gè)體間的合作與競爭等復(fù)雜性行為產(chǎn)劣程度由適應(yīng)函數(shù)決定。速度v;=(V1 ,V以 ... Nu )決定生的群體智能往往能對某些特定的問題提供高效的解粒子在搜索空間單位迭代次數(shù)的位移。其中適應(yīng)函數(shù)決方法[2]。例如動物行為學(xué)家曾仔細(xì)觀察過螞蟻的覓根據(jù)優(yōu)化目標(biāo)定義。PSO 隨機(jī)初始化為一群粒子其中食行為發(fā)現(xiàn)不管初始時(shí)同--蟻巢的螞蟻從蟻巢到食物.第i個(gè)粒子在d維解空間的位置表示為x;=(xnxX2r的覓食路徑是如何的隨機(jī)隨著覓食的螞蟻往返次數(shù)的x)每一次迭代粒子通過動態(tài)跟蹤兩個(gè)極值來更新增加蟻群總能找到最短的覓食路徑。著名的蟻群算法其速度和位置。第一個(gè)是粒子從初始到當(dāng)前迭代次數(shù)正是受蟻群覓食行為的啟發(fā)而產(chǎn)生的。實(shí)踐證明蟻群搜索產(chǎn)生的最優(yōu)解:個(gè)體極值p:=(p:1p..)第二算法在組合優(yōu)化、車間作業(yè)調(diào)度、網(wǎng)絡(luò)路由選擇等領(lǐng)域個(gè)是粒子種群目前的最優(yōu)解:全局極值g=(g1心... ,g)粒子根據(jù)以下公式來更新其速度和位置[6]:已經(jīng)取得成功的應(yīng)用3。美國的Kennedy和Eberhar受鳥群覓食行為的啟發(fā),中國煤化工于1995 年提出了粒子群優(yōu)化算法( Particle Swarm其中」YHCNMH G區(qū)間的隨機(jī)數(shù)。一般取Optimization ,PSO)最初的設(shè)想是仿真簡單的社會系統(tǒng),學(xué)習(xí)因子C=c2=2'。粒千在解空間內(nèi)不斷跟蹤個(gè)體極值與全局極值進(jìn)行搜索，直到達(dá)到規(guī)定的迭代次數(shù)或收稿日期: 2002-12-22 ;修返日期: 2003-09-23滿足規(guī)定的誤差標(biāo)準(zhǔn)為止。粒子在每一維飛行的速度基金項(xiàng)目:國家863/CIMS主題資助項(xiàng)目( 2002AA413720 );不能超過算法設(shè)定的最大速度Vimuro設(shè)置較大的Vme可國家863/CIMS主題資助項(xiàng)目( 2002A411710 )以保證粒子種群的全局搜索能力Vvm 較小則粒子種群.計(jì)算機(jī)應(yīng)用研究2003年的局部搜索能力加強(qiáng)。粒子群優(yōu)化算法在解空間搜索的乏堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ),直到最近幾年才開始嘗試建立算法示意圖如圖1所示。粒子群優(yōu)化算法的流程如圖2所示。的數(shù)學(xué)基礎(chǔ)。開始]1999年Clere對算法的數(shù)學(xué)研究證明采用收斂因[ 初始化粒子群子可能能夠確保算法的收斂。Clere的PSO收斂因子模)article I[計(jì)算每個(gè)粒子的適應(yīng)度型如下所示[2]:v;=k[v;+qi ranK( )(p-x)+cz rand( )(g-x;)]l根據(jù)粒子的適應(yīng)度更新p,和e根據(jù)公式(D)和公式(2)更新k=一其中φ=q+C2 xp>4(6)12-φ-√φ-4 φl| 粒子群的速度和位置| partiele-particle.x=x+ Vi(7)No[達(dá)到最大迭代次數(shù)或l 滿足最小錯(cuò)誤標(biāo)準(zhǔn)?通常將σ設(shè)為4.1則k由式7 )計(jì)算得0.729。.圖1PSO優(yōu)化搜索示意圖YES在算法早期的實(shí)驗(yàn)和應(yīng)用中,認(rèn)為當(dāng)采用收斂因子模型時(shí)Vmr參數(shù)無足輕重因此將Vma 設(shè)置為-一個(gè)極大值圖2粒子群優(yōu)化算法的流程圖如10000。后來的研究表明將其限定為xm (即每個(gè)粒粒子群優(yōu)化算法是基于群體智能理論的優(yōu)化算法,子在每-維度上位置的允許的變化范圍)可以取得更好通過群體中粒子間的合作與競爭產(chǎn)生的群體智能指導(dǎo)的優(yōu)化結(jié)果13]。優(yōu)化搜索。與進(jìn)化算法比較,PSO 保留了基于種群的全3.3 跟蹤并優(yōu)化動態(tài)系統(tǒng)局搜索策略,但是其采用的速度-位移模型操作簡單,避免了復(fù)雜的遺傳操作。它特有的記憶使其可以動態(tài)實(shí)踐證明,傳統(tǒng)的PSO算法在解決靜態(tài)系統(tǒng)問題跟蹤當(dāng)前的搜索情況調(diào)整其搜索策略。與進(jìn)化算法比時(shí)搜索速度快,優(yōu)化結(jié)果精確。但是在實(shí)際的工程應(yīng)較,粒子群優(yōu)化算法是-種更高效的并行搜索算法。用中系統(tǒng)環(huán)境往往是動態(tài)變化的這就決定了優(yōu)化目標(biāo)也是動態(tài)變化的。當(dāng)優(yōu)化目標(biāo)的變化較小時(shí),PSO 有3粒子群優(yōu)化算法的發(fā)展-定的自糾錯(cuò)能力但當(dāng)變化較顯著時(shí),PSO往往不能跟蹤動態(tài)目標(biāo)的變化。3.1 慣性權(quán)重模型Carlisle和Dozier于2000年提出了自動適應(yīng)動態(tài)環(huán)由式( 1 )可以看出,公式的右邊由三部分組成。第境的PSO模型[14]即為實(shí)現(xiàn)動態(tài)系統(tǒng)的優(yōu)化周期性地一部分是粒子更新前的速度,而后兩部分反映了粒子速用粒子的當(dāng)前位置矢量x;代替其個(gè)體極值p;,同時(shí)將適度的更新。美國的Shi與Eberhart研究發(fā)現(xiàn)[9]等式的第應(yīng)函數(shù)定義為粒子到動態(tài)最優(yōu)解的距離。這樣粒子雖-部分v; 由于具有隨機(jī)性且其本身缺乏記憶能力,有擴(kuò)然可以利用以往的搜索結(jié)果,但是卻對以往的搜索區(qū)域大搜索空間探索新的搜索區(qū)域的趨勢。因此,具有全與當(dāng)前的優(yōu)化目標(biāo)的關(guān)系作了重新定義。在一些典型局優(yōu)化的能力。在考慮實(shí)際優(yōu)化問題時(shí)往往希望先采的動態(tài)系統(tǒng)的優(yōu)化問題.上取得了滿意的結(jié)果。Carlisle用全局搜索,使搜索空間快速收斂于某一區(qū)域然后采和Dozier于2001年在此基礎(chǔ)上作了進(jìn)-步的改進(jìn)15]:在用局部精細(xì)搜索以獲得高精度的解。系統(tǒng)環(huán)境發(fā)生變化時(shí),首先重新計(jì)算每個(gè)個(gè)體極值矢量因此在式1 )的v;前乘以慣性權(quán)重w,w較大算法p;的適應(yīng)度，而不是用每個(gè)粒子的當(dāng)前位置矢量x代替具有較強(qiáng)的全局搜索能力,w較小則算法傾向于局部搜其個(gè)體極值po這樣做的依據(jù)是當(dāng)前的個(gè)體極值矢量p;索。一般的做法是將w初始為0.9并使其隨迭代次數(shù)相對于當(dāng)前位置矢量而言可能更接近于新的優(yōu)化目標(biāo)。的增加線性遞減至0.4 ,以達(dá)到上述期望的優(yōu)化目的。通過重新計(jì)算p;的適應(yīng)度,可以選擇兩者中適應(yīng)度高的改進(jìn)后的算法表示如下:位置矢量作為新的個(gè)體極值矢量。v;=uv; +ei rand( 3)(p-x)+ci rand )(g-x) .(3)3.4 PSO模型的改進(jìn)x=x+V;(4)( 1混合PSQ( HPSO )模型Shi與Eberhart經(jīng)過實(shí)驗(yàn)證明10] :修改過的粒子群優(yōu)Angeline于1998年提出采用進(jìn)化計(jì)算中的選擇操作化算法對優(yōu)化大多數(shù)的Benchmark方程較原始的算法有的改進(jìn)型PSO 模型,稱為混合PSO( HPSO f16。在了明顯改進(jìn)。但是,PSO 的實(shí)際搜索過程是非線性的且Angeline的HPS0模型中將每次迭代產(chǎn)生的新的粒子群高度復(fù)雜的使慣性權(quán)重w線性遞減的策略往往不能反根據(jù)適應(yīng)函數(shù)進(jìn)行選擇,用適應(yīng)度較高的一半粒 子的位映實(shí)際的優(yōu)化搜索過程。例如對于目標(biāo)跟蹤問題就需置和速度矢量取代適應(yīng)度較低的-半粒子的相應(yīng)矢量,要優(yōu)化算法擁有非線性搜索的能力以適應(yīng)動態(tài)環(huán)境的而保持后者個(gè)體極值不變。這樣的PSO 模型在提高收變化。因此Shi和Eberhart于2001年提出采用模糊系統(tǒng)斂速度的同時(shí)保證了-定的全局搜索能力在大多數(shù)的動態(tài)地改變慣性權(quán)重的策略并以Rosenbrock函數(shù)為實(shí)驗(yàn)驗(yàn)證了其優(yōu)越性。該模糊系統(tǒng)定義了九個(gè)控制規(guī)Benchn中國煤化工原始PSO模型更好的優(yōu)化結(jié)果YHCNMHG則并包含兩個(gè)輸入和一個(gè)輸出。第一-個(gè)輸入是當(dāng)前的但是必須指出,HPSO收斂速度的提高是以犧牲全全局最優(yōu)解另一個(gè)是當(dāng)前的慣性權(quán)重。輸出量為慣性局搜索能力為前提的。在解決超高維、非線性、多局部權(quán)重的改變量。極值的復(fù)雜性優(yōu)化問題時(shí)有其局限性而且實(shí)際的工程3.2 收斂因子模型優(yōu)化問題的環(huán)境往往是動態(tài)變化的采用上述的半數(shù)選粒子群優(yōu)化算法起源于模擬社會系統(tǒng)算法本身缺擇機(jī)制并不能保證對動態(tài)環(huán)境的跟蹤優(yōu)化。第12期周馳等粒子群優(yōu)化算法因此考慮將模糊系統(tǒng)引入選擇機(jī)制,根據(jù)不同問功率顯著提高。盡管算法需要進(jìn)行的適應(yīng)性評價(jià)的次題制定相應(yīng)的模糊控制規(guī)則,確定合理的輸入變量根數(shù)增加,但是卻幾乎能夠保證全局最小解的實(shí)現(xiàn)。今后據(jù)特定的優(yōu)化問題進(jìn)行動態(tài)的選擇將是這種PSO模型的工作是將SPSO模型應(yīng)用于工程最小化問題并在此下一步的研究重點(diǎn)。基礎(chǔ).上對模型進(jìn)行改進(jìn)和完善。Lovbjerg ,Rasmussen和Krink于2000年提出將進(jìn)化算以上所述的改進(jìn)型PSO模型在解決特定的問題時(shí)法中的交叉操作也引入PSO的HPSO模型[7。交叉機(jī)較傳統(tǒng)的PSO模型均有-定的改善這就啟發(fā)我們根據(jù)制首先以一定的交叉概率從所有粒子中選擇待交叉的特殊的優(yōu)化問題對傳統(tǒng)的PSO 模型作出相應(yīng)的改進(jìn),以粒子然后兩兩隨機(jī)組合進(jìn)行交叉操作產(chǎn)生后代粒子。獲得滿意的優(yōu)化結(jié)果。這是PSO算法當(dāng)前研究的重點(diǎn)后代粒子的位置和速度矢量如下所示:問題也是將其推廣到工程等應(yīng)用領(lǐng)域的必要條件。Child( x;)= p: parent(x;)+(1 .0-p) parent( x;)(8)4粒子群優(yōu)化算法的應(yīng)用Child(x)= pi parent( x)+(1.0- p) parent( x)(9)其中p;是均勻分布在0 ,1 ]內(nèi)的隨機(jī)數(shù)。4.1函數(shù)優(yōu)化parent( Vi )+ parent VChild( vn)=1 parent( V; )+ parent( V; )|| parent( v)l(10)許多實(shí)際的工程問題本質(zhì)上是函數(shù)優(yōu)化問題或者Child( rn)=parent( v;)+ parent( v:)Iparent( V; )|(11)可以轉(zhuǎn)換為函數(shù)優(yōu)化問題進(jìn)行求解對于函數(shù)優(yōu)化已經(jīng)I parent( v; )+ parent( v; )|交叉型PSO與傳統(tǒng)的PSO模型的惟-區(qū)別在于粒有-些成熟的解決方法如遺傳算法。但是對于超高維、子群在進(jìn)行速度和位置的更新后還要進(jìn)行上述的交叉多局部極值的復(fù)雜函數(shù)而言遺傳算法往往在優(yōu)化的收操作并用產(chǎn)生的后代粒子取代雙親粒子。交叉操作使斂速度和精度上難以達(dá)到期望的要求。后代粒子繼承了雙親粒子的優(yōu)點(diǎn)在理論上加強(qiáng)了對粒Angeline經(jīng)過大量的實(shí)驗(yàn)研究發(fā)現(xiàn)粒子群優(yōu)化算子間區(qū)域的搜索能力。例如兩個(gè)雙親粒子均處于不同法在解決-些典型的函數(shù)優(yōu)化問題時(shí)能夠取得比遺傳的局部最優(yōu)區(qū)域那么兩者交叉產(chǎn)生的后代粒子往往能算法更好的優(yōu)化結(jié)果20。這就說明粒子群優(yōu)化算法在夠擺脫局部最優(yōu),而獲得改進(jìn)的搜索結(jié)果。實(shí)驗(yàn)證明,解決實(shí)際問題時(shí)同樣具有很好的應(yīng)用前景。與傳統(tǒng)的PsO及傳統(tǒng)的遺傳算法比較，交叉型PSO搜索通過對PSO算法的研究可以發(fā)現(xiàn),與遺傳算法類速度快收斂精度高。目前利用進(jìn)化操作改進(jìn)傳統(tǒng)PSO似應(yīng)用PsO解決優(yōu)化問題有兩個(gè)重要步驟:問題解的編碼和適應(yīng)性函數(shù)的選擇。應(yīng)用PSO算法進(jìn)行函數(shù)優(yōu)算法的探索仍在繼續(xù)?；粌H可以避免選擇、交叉、變異等進(jìn)化操作而且可以(2)帶有鄰域操作的PSO模型Suganthan于1999年提出了帶有鄰域操作的PSO模大大簡化.上述兩個(gè)步驟。型18]。在該模型中,用每個(gè)粒子所定義的當(dāng)前鄰域極值以Rastigin函數(shù)(x)= 2[x?- 10 co( 2rx;)+ 10偽1;=(1; 12.... 山)代替粒子群的當(dāng)前全局極值g。在優(yōu)例我們可以將問題的解直接用實(shí)數(shù)編碼為(x x... ,化的初始階段將鄰域定義為每個(gè)粒子自身隨著迭代xn)而將適應(yīng)性函數(shù)定義為待優(yōu)化函數(shù)本身,在本例中次數(shù)的增加將鄰域范圍逐步擴(kuò)展到包含所有粒子則即為Rastrigin 函數(shù)然后按照PSO算法的步驟進(jìn)行求解。此時(shí)的鄰域極值即為全局極值。這種模型在一定程度Shi與Eberhart的實(shí)驗(yàn)證明,對大多數(shù)的非線性上克服了PSO模型在優(yōu)化搜索后期隨迭代次數(shù)增加搜Benchmark函數(shù),PSO 在優(yōu)化速度和精度上均較遺傳算法索結(jié)果無明顯改進(jìn)的缺點(diǎn)。這-點(diǎn)已在四個(gè)Benchmark有一定的改善21。函數(shù)中得到驗(yàn)證。4.2神經(jīng)網(wǎng)絡(luò)訓(xùn)練( 3采用拉伸技術(shù)( Stretching technique的PSO模型工業(yè)、經(jīng)濟(jì)、醫(yī)療等領(lǐng)域的許多實(shí)際問題如質(zhì)量控Parsopoulos 和Plagianakos于2001年提出將拉伸技術(shù)制、破產(chǎn)預(yù)測、圖像識別、醫(yī)療診斷等可以轉(zhuǎn)換為模式分用于PSO最小化問題的求解,以避免陷入局部最小值的類問題求解。神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)、自組織、容錯(cuò)以及模擬優(yōu)化19。這種模型稱為SPSO。SPSO 模型在檢測到局非線性關(guān)系的能力使其特別適合解決上述復(fù)雜的實(shí)際部最優(yōu)后,立即對待優(yōu)化的函數(shù)進(jìn)行拉伸變形操作。拉應(yīng)用問題。伸變形操作的實(shí)現(xiàn)通過兩步完成:采用Sigmoid響應(yīng)函數(shù)的三層前向神經(jīng)網(wǎng)絡(luò)能夠以Qx)=(x)+ Y業(yè)x-x業(yè)(sig((x)- (8))+1)( 12)任意精度模擬復(fù)雜的非線性關(guān)系而神經(jīng)網(wǎng)絡(luò).上述性能sig((x)-(x))+1的實(shí)現(xiàn)依賴于對神經(jīng)網(wǎng)絡(luò)的充分訓(xùn)練。因此,訓(xùn)練算法Hx)=Qx)+ 22; tanlK(ζQx)-(x)))(13)對神經(jīng)網(wǎng)絡(luò)模式分類的性能有較大影響。其中γ的μ為任意確定的正常數(shù)。式12 )的操作消除神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題屬于非線性的高復(fù)雜度的優(yōu)了所有位于(x)之上(即大于( x ))的局部最優(yōu)區(qū)域，從化問題中國煤化工去依賴于初始權(quán)重的選而顯著減小了PSO陷入局部最小區(qū)域優(yōu)化的概率,但是擇收Y片CNMHG邵最優(yōu)。BP的上述缺陷對全局最小值沒有任何影響。式13的操作將(x汲其尤其是局部優(yōu)化特性便得其訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的輸出具鄰近區(qū)域向上拉伸(即將x及其鄰近區(qū)域的函數(shù)值(x)有不一致性和不可預(yù)測性導(dǎo)致其訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的可放大)這樣PSO在進(jìn)行下一步的優(yōu)化時(shí)能夠迅速排除靠性降低。遺傳算法雖然是基于群體的并行搜索算法對該區(qū)域的搜索。SPSO 在幾乎所有的高維度、多局部極但是遺傳算法復(fù)雜的遺傳操作如選擇、復(fù)制、交叉、變異值的函數(shù)最小值的求解問題上與傳統(tǒng)PSO相比搜索成使神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間隨問題的規(guī)模及復(fù)雜程度呈指10.計(jì)算機(jī)應(yīng)用研究2003年數(shù)級增長。成功率。在此基礎(chǔ)上進(jìn)-步訓(xùn)練模糊神經(jīng)網(wǎng)絡(luò)在分類研究表明,PSO是-種很有潛力的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算成功率略有降低的情況下成功提取了三個(gè)決定性的模法粒子群優(yōu)化算法保留了基于種群的、并行的全局搜糊控制規(guī)則。將其表述如下:索策略其采用的速度-位移模型操作簡單,避免了復(fù)Ifhigh2 andow4. thenclass2 i雜的遺傳操作22。在實(shí)際應(yīng)用問題(如運(yùn)用PSO算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行醫(yī)療診斷)取得了較高的成功率。目前以上闡述了粒子群優(yōu)化算法在函數(shù)優(yōu)化神經(jīng)網(wǎng)絡(luò)正在將其推廣到更多的應(yīng)用領(lǐng)域。訓(xùn)練和模糊系統(tǒng)控制等基本領(lǐng)域的應(yīng)用。實(shí)際的優(yōu)化下面以簡單的IRIS分類問題為例介紹PSO訓(xùn)練神問題往往可以轉(zhuǎn)換為上述問題進(jìn)行求解。模糊神經(jīng)網(wǎng)經(jīng)網(wǎng)絡(luò)的過程(這里僅訓(xùn)練神經(jīng)網(wǎng)絡(luò)的權(quán)重)絡(luò)系統(tǒng)的工作過程如圖5所示。IRIS數(shù)據(jù)庫是廣泛使用的模式分類實(shí)例系統(tǒng)。含Qupuli有150個(gè)例子分為Setosa , Versicolor與Virginica三類,每IRIS(1)類包含50個(gè)例子,由四個(gè)實(shí)數(shù)特征值描述分別表示花萼Sepal)長度、花萼寬度、花瓣(Petal)倀度、花瓣寬度。“IRIS(2)模式分類問題根據(jù)特性值分類三種IRIS 植物。實(shí)驗(yàn). -input寬度●IRIS(3)般取101組數(shù)據(jù)用于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練其余的49組數(shù)據(jù)用于測試其分類性能。輸人層隱含層輸出層這里使用三層前饋神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的輸入層.有四個(gè)節(jié)點(diǎn)代表IRIS植物的四種特征輸出層有三個(gè)節(jié)圖3 IRIS神經(jīng)輸人層模糊層模糊推理層 反模糊化層 輸出層點(diǎn)對應(yīng)三種IRIS類別。根據(jù)經(jīng)驗(yàn)公式確定隱含層節(jié)點(diǎn)網(wǎng)絡(luò)結(jié)構(gòu)圖圖4模糊神經(jīng)網(wǎng)絡(luò) 系統(tǒng)結(jié)構(gòu)圖個(gè)數(shù)為四個(gè)。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題中粒子使用實(shí)數(shù)編精確值[爽糊北]-模糊規(guī)則推理一反模糊化十[精確值]碼表示神經(jīng)網(wǎng)絡(luò)在全連接結(jié)構(gòu)下的一組權(quán)重為二十八圖5模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)的工作過程圖個(gè)待優(yōu)化參數(shù)。權(quán)重的范圍設(shè)定為( - 1 ,1 )在完成解下面簡要介紹粒子群優(yōu)化算法在一些實(shí)際應(yīng)用領(lǐng)的編碼后確定PsO優(yōu)化問題的適應(yīng)函數(shù)。對于神經(jīng)網(wǎng)域的進(jìn)展。絡(luò)訓(xùn)練問題,以給定訓(xùn)練樣本集的神經(jīng)網(wǎng)絡(luò)輸出誤差作(1通過訓(xùn)練神經(jīng)網(wǎng)絡(luò),粒子群優(yōu)化算法已成功應(yīng)為神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題的適應(yīng)函數(shù),訓(xùn)練誤差越小則對用到對醫(yī)學(xué)中震顫行為的分析[24]。震顫行為(包括帕金應(yīng)粒子的性能越好。通過PSO的優(yōu)化搜索訓(xùn)練神經(jīng)網(wǎng)森癥和人的本能顫抖的診斷仍是醫(yī)學(xué)研究的挑戰(zhàn)性領(lǐng)絡(luò)的權(quán)重以獲得盡可能低的訓(xùn)練誤差。IRIS 分類問題域之一經(jīng)PSO訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)已經(jīng)能夠區(qū)分人的的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。本能震顫和病理性震顫。神經(jīng)網(wǎng)絡(luò)的輸入是由活動變4.3模糊系 統(tǒng)控制化記錄儀記錄的標(biāo)準(zhǔn)化振動強(qiáng)度,Eberhart 和Hu研究發(fā)模糊控制以模糊集理論作為其理論基礎(chǔ),由Zadeh現(xiàn)這種方法在上述的應(yīng)用中處理速度快、診斷結(jié)果準(zhǔn)教授于1965年提出,已經(jīng)在很多實(shí)際領(lǐng)域取得成功應(yīng)確。在對疾病如乳腺腫瘤是良性或惡性的判斷、心臟病用。其中基于模糊系統(tǒng)控制的全自動洗衣機(jī)已經(jīng)進(jìn)入的診斷,PSO訓(xùn)練的神經(jīng)網(wǎng)絡(luò)也取得了較高的診斷成功實(shí)用階段。模糊規(guī)則自動生成是模糊控制領(lǐng)域的關(guān)鍵率。性技術(shù)之一;洞樣模糊規(guī)則的設(shè)定也是模糊控制器開(2)日本的Fuji電力公司的研究人員將電力企業(yè)著發(fā)的核心。對于多輸入或多模糊度的控制對象模糊規(guī)名的RPVQ Reactive Power and Voltage Control )問題簡化為則的生成已經(jīng)證明是NP-hard問題。因此,研究模糊規(guī)函數(shù)的最小值問題并使用改進(jìn)的PSO算法進(jìn)行優(yōu)化求則的自動生成具有重要的研究和應(yīng)用價(jià)值。解25。與傳統(tǒng)方法如專家系統(tǒng)、敏感性分析相比，實(shí)驗(yàn)利用PSO算法優(yōu)化模糊控制系統(tǒng),設(shè)計(jì)模糊控制器產(chǎn)生的結(jié)果證明了PSO算法在解決該問題的優(yōu)勢。的研究尚處于起步階段。目前從模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)自(3將PSO算法與BP算法相結(jié)合訓(xùn)練神經(jīng)網(wǎng)絡(luò)已動提取模糊規(guī)則的研究在-些典型的問題上取得進(jìn)展,用于對電動汽車燃料電池組實(shí)時(shí)充電情況的模擬[20。這對于將自動生成模糊系統(tǒng)控制規(guī)則的模糊控制器在對電動汽車燃料電池帶電狀況的模擬是電動汽車以及應(yīng)用領(lǐng)域的推廣有很大的啟示。混合動力汽車技術(shù)發(fā)展過程中的重大課題。實(shí)驗(yàn)證明該研究首先采用IF-THEN數(shù)學(xué)模型建立模糊神經(jīng)相對于1996年Eberhart ,Simpson和Dobbins的模擬方法,網(wǎng)絡(luò)系統(tǒng)。以二輸入二輸出系統(tǒng)為例,若每個(gè)輸入變上述方法的模擬精確程度明顯提高。量分為三個(gè)模糊度其神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。值得注意的是,PSO 算法已被美國一家公司用于將以IRIS分類問題的模糊規(guī)則的自動提取為例3],各種生中國煤化工合，進(jìn)而人工合成微生首先建立四個(gè)輸入節(jié)點(diǎn),三個(gè)輸出節(jié)點(diǎn)的模糊神經(jīng)網(wǎng)物27]。CNMHG較,PSO產(chǎn)生合成結(jié)果絡(luò)。對于每一個(gè)輸入變量定義兩個(gè)相應(yīng)的成員函數(shù)用的適應(yīng)度是傳統(tǒng)方法的兩倍。買驗(yàn)的優(yōu)化過程充分顯于對輸入值的模糊化處理。將150組數(shù)據(jù)平均分為兩部示了PSO算法的優(yōu)越性盡管-種劣質(zhì)成分在-定的迭分前75組數(shù)據(jù)用于模糊神經(jīng)網(wǎng)絡(luò)的訓(xùn)練后75組數(shù)據(jù)代次數(shù)內(nèi)能夠影響優(yōu)化搜索的進(jìn)程但是PSO最后總能用于對訓(xùn)練結(jié)果的檢驗(yàn)。經(jīng)過600次的運(yùn)行后提取出十得到比較理想的合成結(jié)果。這是因?yàn)镻SO本質(zhì)而言能五個(gè)控制規(guī)則,應(yīng)用這十五個(gè)規(guī)則可以得到95%的分類夠搜索到更大范圍內(nèi)的優(yōu)化問題的解空間。第12期周馳等粒子群優(yōu)化算法總的來說,粒子群優(yōu)化算法與其它進(jìn)化算法一樣,[11] Shi Y H, Eberhart R C. Fuzy Adaptive Particle Swarm .可以解決幾乎所有的優(yōu)化問題或者是可以轉(zhuǎn)換為優(yōu)化Optimization[ R ]. Proceedings of Congress on Evolutionary問題進(jìn)行求解的問題。其中最具應(yīng)用前景的領(lǐng)域包括Computation Seoul ,Korea 2001 .多目標(biāo)問題的優(yōu)化、系統(tǒng)設(shè)計(jì)、分類、模式識別、生物系.[ 12 ]Clerce M. The Swarm and Queen :Towards a Deterministic andAdaptive Particle Swarm Optimization[ R ]. Proceedings統(tǒng)建模、規(guī)劃、信號處理、決策和模擬等。目前,在模糊Congress on Evolutionary Computation ,W ashintonDC ,1999.控制器的設(shè)計(jì)、車間任務(wù)調(diào)度、實(shí)時(shí)機(jī)器人路徑規(guī)劃、圖[13]Fan H Y ,Shi Y H. Study of Vmax of the Particle Swarn像分割、EEG信號模擬、語音識別、燒傷診斷以及探測移Optimization Algoritm[ R ]. Proceedings of the Workshop on動目標(biāo)等方面已經(jīng)有成功應(yīng)用的先例。PSO. Indianapolis : Purdue School of Engineering andTechnology ,INPUI 2001.5總結(jié)和展望[ 14]Carlisle A ,Dozier G. Adapting Particle Swarm Opimization toDynamic EnironmentE[ R ]. Prceedings JICAI 2000.PSO在理論上并不能保證能夠得到最優(yōu)解。PSO 算[ 15 ]Carlisle A ,Dozier G. Tracking Changing Extrema with Particle法在進(jìn)行優(yōu)化問題的求解時(shí)應(yīng)用范圍有限尤其對離散Swarm OptimizeE R ]. Proceedings ICAI 2001 .的組合優(yōu)化問題其理論建模還處于起步階段。PSO 算[ 16 ] Angeline P J. Using Selection to Improve Particle Swarmn Opti-法中的一些參數(shù)如學(xué)習(xí)因子C o2慣性權(quán)重w以及粒子mizatiorn[ R ]. IEEE International Conference on EvolutionaryComputation Anchorage Alaska ,1998.個(gè)數(shù)往往根據(jù)有限的應(yīng)用經(jīng)驗(yàn)確定并不具有廣泛的適[ 17] Lovbjerg M , Rasmusen Tk ,et al. Hybrid Particle Swarm應(yīng)性。因此將PSO與進(jìn)化算法、模糊系統(tǒng)、神經(jīng)網(wǎng)絡(luò)以O(shè)ptimization with Breeding and Subpopulations[ R ] IEEE及一些優(yōu)化技術(shù)結(jié)合根據(jù)不同的優(yōu)化問題建立相應(yīng)的Intermational Conference on Evolutionary Computation , San，PSO模型是PSO算法當(dāng)前的研究重點(diǎn)。Diego 2000.在應(yīng)用領(lǐng)域應(yīng)該將PSO算法在應(yīng)用的廣度和深度[ 18 ]Suganthan P N. Particle Swarm Optimizer with Neighborhood Op-進(jìn)行拓展。以制造業(yè)自動化領(lǐng)域?yàn)槔圃炱髽I(yè)中的工erator [ R ]. Proceedings of Congress on Evolutionary藝路徑規(guī)劃問題是企業(yè)自動化的瓶頸問題之一，直 接影Computation ,1999.響CAPP與CAD ,CAM系統(tǒng)的集成。究其原因是工藝路[ 19] Parsopoulos K E et al. Stretching Technique for Obaining GlobalMinimizers through Particle Swarm Opimization [ R ].徑規(guī)劃問題的特殊性決定其對生產(chǎn)經(jīng)驗(yàn)的嚴(yán)重依賴。Proceedings of the Workshop on PSO , Indianapolis : Purdue可以考慮將大量的工藝規(guī)劃經(jīng)驗(yàn)組成專家系統(tǒng)根據(jù)不school of Engineering and Technology ,INPUI 2001 .同的工藝問題制定相應(yīng)的模糊控制規(guī)則并利用PSO算[ 20] Angeline P J. Evolutionary Optimization Versus Particle Swarm法訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)自動生成工藝路徑。目前筆者正Optimization : Philosophy and Performance Diference[ R ]在從事這方面的研究工作。Annual Conference Center on Evolutionary Programning ,San ,Diego ,1998.參考文獻(xiàn):[21]Shi Y H,et al. Experimental Study of Paticle Swarm Op[ 1] Kennedy J , Eberhart RC ,Shi Y. Swarm InelligenceC M ]. San .timization[ R ]. Proceedings of SCI Conference ,Orlando ,FL ,Francisco :Morgan Kaufman Publishers 2001.2000.[2] Matarie M. Designing and Understanding Adaptive Group Be- [ 22 ] Eberhart R C, Shi Y H. Evolving Artificial Neural Networkshavio[ J ] Adaptive Behavior ,1995 A :1-12.[ R ]. Proceedings of Int' l Conference on Neural Networks and[3] Dorigo M ,V Manierzo ,A Colormi . The Ant System :OptimizationBrain Bejjing ,1998( a).by a Colony of Cooperating Agents[ J ]. IEEE Transactions on[ 23 ]HeZ , Wei C et al. Extracting Rules from Fuzzy Neural NetworkSystems , Man and Cybermetics , 1996.by Particle Swarm Optimization[ R ] Proceedings of IEEE[4] Kennedy J ,Eberhart R C. Particle Swarm Optimization[ C]Intermational Conference on Evolutionary Computation ,Proceedings of IEEE International Conference on NeutralAnchorage ,Alaska ,JUSA ,1998 .Networks Perth ,Australia ,1995. 1942- 1948.[24] Eberhart R C .Hu X. Human Tremor Analysis Using Particle[5] Kennedy J. The Particle Swam Social Adaptation of KnowledgeSwarmOptimization [ R ]. Proceedings of Congress on[ C ] Proceedings of IEEE International Conference orEvolutionary Computation ,Washingon ,DC 1999. 1927- 1930.Evolutionary Computation ,Indianapolis ,Indiana ,1997.[ 25] Fukuyama Y ,Yoshida H A. Particle Swarm Optimization For[6] Eberhart R C , Kennedy J. A New Opimizer Using ParticleReactive Power and Voltage Control in Electric Power SystemsSwarm Theors[ C ] Proceedings of Sixth Intermational Symposium[ R ]. Proceedings of Congress on Evolutionary Computation ,Seoul ,Korea 2001 .Micro Machine and Human Science ,Nagoya Japan ,1995 .[7] Shi Y H ,Eberhart R C. Parameter Selection in Particle Swarm. [ 26] Eberhart R C ,Shi Y H. Particle Wwarm Optimization :De-velopment , Applications and Resources[ R ]. Proceedings ofOptimizatio[ C ]. Anmual ,1998.[8] Eberhart R C , Shi Y H. Coparison between Genetic AlgrithmsCongress on Evolutionary Computation Seoul ,Korea 2001.and Particle Swarm Optimization[ R ] Annual Conference on作者簡中國煤化工Evolutionary Programming , San Diego ,1998.周馳(1TYHCN M H G粒子群優(yōu)化算法、智能制[9] Shi Y H ,Eberhart R C. A Mdified Particle Swarm Optimizer造高海共118-歷順上,徹九小向?yàn)檫M(jìn)化算法在CAPP中[ R ] IEEE Intermational Conference on Evolutionary的應(yīng)用、CAPP系統(tǒng)開發(fā)、敏捷制造;高亮( 1974- ),男副教授,Computation ,Anchorage ,Alaska ,1998.研究方向?yàn)橄冗M(jìn)制造系統(tǒng)、制造執(zhí)行系統(tǒng)、企業(yè)應(yīng)用集成以及[ 10]Shi Y H et al. Empirical Study of Prticle Swarm OpimizationXML ,UML ,CORBA AGENT和遺傳算法在機(jī)械工程中的應(yīng)用;[ R ]. Proeedings of Congress on Evolutionary Computation ,章萬國(1977-),男碩士研究方向?yàn)橛?jì)算機(jī)集成制造系統(tǒng)、1999.CAD/CAPP/PDM/MRPII集成、虛擬制造。