第30卷第12期計(jì)算機(jī)學(xué)報(bào)Vol, 30 No. 122007年1月CHINESE JOURNAL OF COMPUTERSDec.2007基于總變分和形態(tài)學(xué)的航空?qǐng)D像道路檢測(cè)算法李書曉常紅星(中國(guó)科學(xué)院自動(dòng)化研究所綜合信息系統(tǒng)研究中心北京100080)擴(kuò)要高分辨率航空?qǐng)D像中道路通常表現(xiàn)為較狹窄的面這給分類算法創(chuàng)造了機(jī)會(huì)文中提出了一種新的基于分類的航空?qǐng)D像道路自動(dòng)提取方法—基于總變分和形態(tài)學(xué)分析方法它首先根據(jù)鄰域總變分和直方圖得到分割道路所需的合適閾值并從圖像中分割出道路區(qū)域然后根據(jù)基于區(qū)域總變分和幾何測(cè)度的準(zhǔn)則函數(shù)及其模式頻譜得到形態(tài)學(xué)普通開(kāi)運(yùn)算的閾值最后用此準(zhǔn)則及閾值對(duì)圖像進(jìn)行形態(tài)學(xué)普通開(kāi)運(yùn)算以去除和路面具有相似光譜特性的物體的干擾初步實(shí)驗(yàn)證明該方法具有良好的穩(wěn)定性和較強(qiáng)的環(huán)境適應(yīng)能力關(guān)鍵詞道路檢測(cè);總變分;形態(tài)學(xué)普通開(kāi)運(yùn)算;變分幾何測(cè)度;模式頻譜中圖法分類號(hào)TP391Road Extraction Algorithm for Aerial Images Based onTotal Variations and Mathematical MorphologyLI Shu-Xiao CHANG Hong-Xing(Integrated Information System Research Center, Institute of Automation, Chinese Academy of Sciences, Beijing 100080)Abstract Roads in high resolution aerial images appear to be narrow areas and this creates anopportunity for classification based methods. a new approach based on classification to road ex-traction for aerial images is proposed in this paper. The method is based on total variation andmathematical morphology analysis. This approach firstly classifies the image into road and non-road pixels by appropriate thresholds based on neighbor total variations and histogram analysisand then uses a criterion based on connected area total variations, geometric attributes and itspattern spectrum to find an appropriate threshold for morphological trivial opening. Finally, morphological trivial opening is adopted to avoid noises including objects that have similar spectralcharacteristics to road surfaces. Strict experiments show that this algorithm is robust and is capable of coping with partial occlusion and extracting roads with different spectral characteristics inthe same imageKeywords road detection total variations, morphological trivial opening: variation geometrycriterion; pattern spectrum取方法的研究,并進(jìn)行了大量的研究工作,提出了許1引言多用于道路檢測(cè)的有效算法這些方法從處理策略上可以分為半自動(dòng)方法和自動(dòng)方法.半自動(dòng)方法需近年來(lái),國(guó)內(nèi)外學(xué)者很重視航空?qǐng)D像中道路提要用戶交互地提供一些信息來(lái)控制道路提取收稿日期:200504-08;最終修改稿收到日期:2007-06-13.李書曉男,1981年生,博士研究生,主要研究方向?yàn)閿?shù)字圖像處理和分析、計(jì)算機(jī)視覺(jué)目標(biāo)檢測(cè)和跟蹤等 E-mail, shuxiao. li@i常紅墨,男,1965年生,研究員,主要從事目標(biāo)識(shí)別計(jì)算機(jī)視覺(jué)等方面的研究2174計(jì)算機(jī)學(xué)報(bào)2007年Baumgartner等用輪廓匹配的方法跟蹤道路的中心分的思想,為算法的后處理提供了可靠的結(jié)果,且計(jì)線,并對(duì)跟蹤結(jié)果進(jìn)行了評(píng)估,它提供了一個(gè)交互式算上簡(jiǎn)單可行.該方法主要面向分辨率在0.2~2m的圖形用戶界面來(lái)指導(dǎo)數(shù)據(jù)處理操作口,POoz和的航空灰度圖像高分辨率航空?qǐng)D像中的道路具有Agoutis等用動(dòng)態(tài)規(guī)劃的方法分別從高分辨率和低如下3個(gè)明顯的特征:(1)道路的表面是堅(jiān)實(shí)和光分辨率的航空?qǐng)D像中提取道路的中心線,這種方法滑的,它們通常由混凝土或?yàn)r青鑄成,具有相應(yīng)的光需要提供道路的若干控制點(diǎn)的位置3.半自動(dòng)方法譜特性;(2)道路的寬度一般是恒定的并有上界和由于充分利用了用戶的交互信息,因此一般來(lái)說(shuō)道下界;(3)相鄰的道路一般會(huì)連接形成路網(wǎng).本文的路提取的結(jié)果更穩(wěn)定,但對(duì)實(shí)時(shí)性要求較高或人很方法利用前兩個(gè)特征把道路模型化為半徑為道路寬難參與的場(chǎng)合不能勝任度一半的圓盤沿道路中心線的移動(dòng)所形成的平坦區(qū)這些半自動(dòng)方法可以通過(guò)相應(yīng)的初始化等操作域,并以此為根據(jù)提出了基于總變分和形態(tài)學(xué)的道擴(kuò)展為自動(dòng)方法.自動(dòng)方法通常首先通過(guò)直線和邊路自動(dòng)檢測(cè)算法,然后利用第3個(gè)特征對(duì)檢測(cè)到的緣檢測(cè)得到路段的初始假設(shè),然后在這些路段間建路段進(jìn)行連接實(shí)驗(yàn)證明,該方法不僅對(duì)道路的部分立聯(lián)系形成路網(wǎng)…楊文杰等在使用 Sobel算子得遮擋和背景圖像的干擾具有良好的適應(yīng)能力,而且到道路邊緣后利用色彩及陰影信息過(guò)濾邊緣,最后可以用于檢測(cè)同一圖像中具有不同光譜特性的道利用 Hough變換及迭代的方法得到路面邊界.徐路本文第2節(jié)提出了基于鄰域總變分的道路分割全生等首先利用局部平均值提取背景,然后基于最方法;第3節(jié)介紹了形態(tài)學(xué)普通開(kāi)運(yùn)算,并提出了其小二乘法進(jìn)行直線擬和得到車輛行駛的當(dāng)前車用于道路檢測(cè)的準(zhǔn)則——變分幾何準(zhǔn)則;之后是實(shí)道, Steger等用模糊集的理論先找到道路和圖像驗(yàn)結(jié)果及結(jié)論邊界的交點(diǎn)及長(zhǎng)段道路的終點(diǎn)等顯著點(diǎn),然后在它們之間找到最優(yōu)化的路徑來(lái)填充道路間的小的間2基于鄰域總變分的道路分割隙, Zhang等在提取出路面區(qū)域后,用形態(tài)學(xué)普通開(kāi)運(yùn)算去除噪聲和同路面有相似光譜特性的物體的若處理圖像為u(x,y),則總變分定義為干擾,其中采用了最小外接橢圓長(zhǎng)軸準(zhǔn)則. Bicego等提出一種基于概率輪廓跟蹤的全自動(dòng)道路提取算Jr(n)當(dāng) Cuddy=√m+ady(1)法,它首先利用 Hough變換和一些拓?fù)鋵W(xué)的知識(shí)得到路面的起始假設(shè),然后對(duì)路面進(jìn)行輪廓跟蹤,最而4=9,,=∞,D是圖像u的支持域后利用顏色和梯度信息對(duì)路面進(jìn)行合并10.另外,由于道路一般具有恒定的寬度(u)和均勻的光Radon變換和 Hough變換也用來(lái)提取道路的中心譜特性,使得圖像u中路面區(qū)域的總變分相對(duì)非路線并估計(jì)圖像中道路的寬度1, Koutaki等釆用面區(qū)域要小得多.利用上述特性,定義如下的鄰域總主動(dòng)輪廓的方法對(duì)道路進(jìn)行檢測(cè)與跟蹤,這種方法變分利用模板匹配的方法得到道路的交叉點(diǎn),然后利用交叉點(diǎn)的位置和方向信息對(duì)道路進(jìn)行跟蹤1).LiuJ((x)2∫√aP+pdh等利用各向同性的非線性濾波來(lái)提取圖像中的線狀目標(biāo),并把其應(yīng)用于道路、指紋和舌紋的提取中14√a:+u+ Dudu(2)路檢測(cè)中引入模型,它利用道路在幾何輻射,拓?fù)淦渲?D…m,為以a(x,)y)為圓心,半徑為r的支持和鄰域等不同方面的性質(zhì)建立模型,并利用多分辨域,r=/(2×re)(re為圖像的分辨率).支持域的率的方法減少建模過(guò)程中錯(cuò)誤的假設(shè), Lacoste這種選擇可以由圖1(a)來(lái)解釋,圖中把道路看成是等引入 Markov模型從光學(xué)圖像和雷達(dá)圖像中提取半徑為r的圓球沿道路中心線滾動(dòng)的結(jié)果B>0道路. Porikli利用點(diǎn)高斯模型和迭代的方法實(shí)現(xiàn)是可調(diào)參數(shù),其取值與測(cè)量噪聲的方差成正比,它的道路的提取和更新17作用是避免鄰域總變分JLr(a(x,y)在u2=B,=0以上算法普遍存在著算法復(fù)雜度高或環(huán)境適應(yīng)處倒數(shù)不存在,實(shí)際應(yīng)用中β取20~100.鄰域總變性差的缺陷,本文在道路的自動(dòng)分割和干擾的自動(dòng)分反映了圖像上某一點(diǎn)附近的平滑程度,其值越小去除這兩個(gè)道路檢測(cè)過(guò)程的關(guān)鍵技術(shù)中引入了總變則越平滑李書曉等:基于總變分和形態(tài)學(xué)的航空?qǐng)D像道路檢測(cè)算法2175改進(jìn)的直方圖(a)仿真圖像(b)似然函數(shù)(c)變分灰度直方圖圖1基于鄰域總變分的道路分割方法的仿真實(shí)驗(yàn)解釋考慮到鄰域中不同位置的點(diǎn)可能具有不同的貢點(diǎn)u(x,y)是路面點(diǎn)的程度,通過(guò)選擇合適的閾值T獻(xiàn),定義如下的加權(quán)鄰域總變分:對(duì)其進(jìn)行二值化:1(x,)9蘭x,bam++padb1, LS(u(r, y))>TLSB(ucx, y))0,其它(3)對(duì)LSB(u(xy)為1的像素點(diǎn)進(jìn)行灰度直方圖分其中,A(x,y)為對(duì)應(yīng)點(diǎn)的權(quán)值當(dāng)A(x,y)=1時(shí)為析并結(jié)合道路本身比陰影及樹木等背景亮的特點(diǎn)即普通的鄰域總變分同鄰域總變分一樣,加權(quán)鄰域總可得到分割道路所需的合適的閾值如圖(c)所示變分也反映了圖像上某一點(diǎn)附近的平滑程度其值并稱其為變分灰度直方圖考慮到道路邊緣的似然越小則越平滑函數(shù)值只有道路中心的似然函數(shù)值的一半左右及可由于道路的表面通常比較光滑根據(jù)加權(quán)鄰域能存在比路面更平滑的干擾的存在,實(shí)際應(yīng)用中T總變分可以定義如下的似然函數(shù),它表示了圖像中的取值比規(guī)格化似然函數(shù)的最大值的一半要小,在的每一點(diǎn)和道路中心線上的點(diǎn)的相似程度:60~120之間入(u,v)dvdv3形態(tài)學(xué)普通開(kāi)運(yùn)算和變分幾何準(zhǔn)則LS(a(x,y)以2,(u(x,y)(4)LS(u(x,y))越大,表明u(x,y)位于道路中心數(shù)學(xué)形態(tài)學(xué)是一門建立在嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)上的科學(xué)它利用集合論的方法對(duì)物體的幾何結(jié)構(gòu)線上的可能就越大如圖1(b)所示(r=8)另外r進(jìn)行分析和處理形態(tài)學(xué)的基本操作有腐蝕膨脹的選取并不要求很精確,r偏大得到的結(jié)果還是道開(kāi)運(yùn)算、閉運(yùn)算、擊中擊不中變換等,具體請(qǐng)參考相路的中線只不過(guò)似然函數(shù)的最大值要小一些廠偏關(guān)文獻(xiàn)20]小將會(huì)檢測(cè)出具有一定寬度的道路中心線帶,這并3,1形態(tài)學(xué)普通開(kāi)運(yùn)算不影響算法的后處理及適應(yīng)性;考慮到計(jì)算效率,應(yīng)普通開(kāi)運(yùn)算( Trivial Opening,TO)由Sera和用中一般取3~6即可在計(jì)算得到似然函數(shù)后,需Ⅴncnt定義2.令{u(n)|n=1,2,3,…,N為圖像要對(duì)其進(jìn)行規(guī)格化至[0,255]之間a的各個(gè)連通區(qū)域,則具有準(zhǔn)則Tro的普通開(kāi)運(yùn)算由于矩形鄰域內(nèi)的平均計(jì)算可以由積分圖像快定義為速求得,故實(shí)際中計(jì)算鄰域總變分時(shí)常以矩形鄰域近似代替圓形鄰域.對(duì)加權(quán)鄰域總變分通常采用To(a()={(i),若w(i)滿足準(zhǔn)則Tno,其它Epanechnikov模板,因?yàn)樵撃０蹇梢员硎緸閮蓚€(gè)均勻矩形模板的卷積的形式,進(jìn)而利用積分圖像求這種運(yùn)算具有遞增性、反擴(kuò)張性和冪等性,因此為形解另外式(2)、式(3)中的變分值和式(4)中的似然態(tài)學(xué)開(kāi)運(yùn)算,在圖像處理中,這個(gè)運(yùn)算用準(zhǔn)則T濾函數(shù)的可能取值有限,實(shí)際計(jì)算中事先計(jì)算這些可除圖像u中不滿足此準(zhǔn)則的連通區(qū)域1能的取值并存儲(chǔ),最終的似然函數(shù)獲取只涉及到積區(qū)域連通基于膨脹算法來(lái)實(shí)現(xiàn).假設(shè)找到了區(qū)分圖像計(jì)算和查找操作快速實(shí)現(xiàn)效率很高.域u(n)的種子區(qū)域u。(通常為一個(gè)像素),則區(qū)域既然規(guī)格化似然函數(shù)LS(u(x,y))表示了像素a(n)可以由區(qū)域膨脹到穩(wěn)定狀態(tài)得到,表示2176計(jì)算機(jī)學(xué)報(bào)007年在正方形情況下,LWR取值為2,故定義如下u(n)=Ua(7)的準(zhǔn)則函數(shù)進(jìn)行形態(tài)學(xué)的普通開(kāi)運(yùn)算:≠Tro(u(n))=LTO(u(n)). [LWR(u(n))-2]u:=utU88=((aH1GH)-u)∩u,8=u(9)上述公式中H為單位尺寸的標(biāo)準(zhǔn)膨脹算子.這種算式(12)近似描述了區(qū)域u(n)的區(qū)域特性和幾法對(duì)每個(gè)像素最多進(jìn)行一次4鄰域運(yùn)算效率很高何特性,稱為變分幾何準(zhǔn)則.雖然其表達(dá)不是唯3.2變分幾何準(zhǔn)則的,但它確實(shí)給出了區(qū)域u(n)和道路相似程度的一同鄰域總變分一樣,定義如下的區(qū)域總變分似種描述,且在計(jì)算上簡(jiǎn)單可行然函數(shù)對(duì)得到的Troa(n)進(jìn)行規(guī)格化處理(不失一般性,設(shè)為0~255),并把其等分為K個(gè)間隔:0LTO(u(n)-」Lsn(x,y)dxdy(0)T