Digital videoCJ文章編號(hào):1002-8692(2009)S2-0079-03.論文.基于位差預(yù)測(cè)的視圖合成‘宋麗娟,霍智勇,朱秀昌(南京郵電大學(xué)江蘇省圉像處理與困像通信重點(diǎn)實(shí)驗(yàn)室,江蘇南京2000)[摘要]為了滿足足多視點(diǎn)視頻中新視點(diǎn)合成的胃要,提出了一種基于位差估計(jì)和補(bǔ)償插值的視點(diǎn)合成方法。實(shí)驗(yàn)結(jié)果表明,當(dāng)兩四貸的集用展量和傳施方法相當(dāng)，但合成速度比較快，可應(yīng)用于實(shí)時(shí)的交互式系統(tǒng)中。個(gè)攝像機(jī)間的基線比較小的時(shí)候,合成的視圖質(zhì)[關(guān)鍵詞]視點(diǎn)合成;位差估計(jì);插值[中圖分類(lèi)號(hào)] TN911.72[文獻(xiàn)標(biāo)識(shí)碼] AView Synthesis Based on Disparity PredictionSONC Li-juan, HUO Zhi-yong ZHU Xiu- chang(nangu Prince Key Laub on Imor Pocerin & Imoer Commieion Novjing Unenin叭Pous ond Tomeacinen Narjing 20003China)[Abstrac1) n order。synbeis tbe inenie in the mliriev rideo, snev view snmheis mehod i poped which i beedm dpntny peicion and ineplaion Eperimental rule show thu the ped mehed can povide god ing quliycmpred i袖tio methods rhen the belie s mall The poped mehod can ger the inedite riew qisl hus itcan be applied in interactive system.(Key words] view synheis; disparity pediction iterplation圖像在時(shí)間上是不同的，而在位差估計(jì)中,兩幅圖像是同1引言多視點(diǎn)視頻可以提供與場(chǎng)景的交互能力，用戶可以時(shí)但從不同的攝像機(jī)視點(diǎn)拍攝獲得的，可以采用與運(yùn)動(dòng)估計(jì)相類(lèi)似的方法進(jìn)行圖像位差的估計(jì)明。自己選擇在場(chǎng)景中的視點(diǎn),比如在奧運(yùn)會(huì)的比賽中,有多將輸人的左右兩幅視圖分別看成是待合成視圖的個(gè)攝像機(jī)同步從不同角度進(jìn)行拍攝，那么用戶可以在一“前向參考幀"和“后向參考幀”。首先對(duì)待合成視圖與參定范圍內(nèi)隨時(shí)改變看點(diǎn),實(shí)現(xiàn)任意角度的觀看,這就需要考視陽(yáng)進(jìn)行分塊處理，接著根據(jù)最小均方差準(zhǔn)則找出待安裝多個(gè)攝像機(jī)攝取圖像實(shí)現(xiàn)視點(diǎn)切換，但是無(wú)論從設(shè)合成視圖中的每-個(gè)圖像塊在兩幅參考視圖中所對(duì)應(yīng)的備的價(jià)格還是從數(shù)據(jù)的存儲(chǔ),傳輸這都是不可取的。本文最佳位差值。的目的在于通過(guò)現(xiàn)有攝像機(jī)攝取的圖像合成出更多的視當(dāng)攝像機(jī)之間的基線分離較小的時(shí)候，可以認(rèn)為兩點(diǎn)圖像，從而在不增加成本的前提下使可切換的視點(diǎn)增幅參考視圖中的對(duì)應(yīng)物體間在一定范圍內(nèi)發(fā)生了水平和.加，切換過(guò)程更加平滑,觀看起來(lái)更加流暢。垂直方向上運(yùn)動(dòng)，因此可以在矩形搜索區(qū)城內(nèi)對(duì)位差進(jìn)圖像插值是實(shí)現(xiàn)視點(diǎn)合成的一類(lèi)重要技術(shù)。這類(lèi)方行預(yù)測(cè)。法主要是建立左右兩幅視圖中像素間的關(guān)系，即位差估將待合成視圖V,參考左視圖V和參考右視圖V,分計(jì),然后基于位差圖像來(lái)插值完成中間視點(diǎn)圖像的合成。割成大小為BxB的圖像塊,搜索區(qū)域定為MxN?？紤]到這類(lèi)方法都是首先進(jìn)行位差圖的估計(jì)，為了得到更加精為了使圖像邊緣處的塊也能找到比較精確的位差，在預(yù)確的位差圖.運(yùn)用了窗函數(shù)1-,以及對(duì)窗函數(shù)進(jìn)行的優(yōu)測(cè)前對(duì)輸入的兩幅參考視圖進(jìn)行了擴(kuò)展，視圖合成之后化方法叫，從而導(dǎo)致比較大的計(jì)算開(kāi)鋪。由于合成的視再進(jìn)行去擴(kuò)展操作。位差預(yù)測(cè)的具體實(shí)現(xiàn)步驟為:圖本身是不存在的，并且在一般交互系統(tǒng)中對(duì)圖像的質(zhì)1) 對(duì)于待合成視圖中的每一-個(gè)圖像塊在兩幅視圖量并不是要求特別苛刻，因此上述的這些算法并不適合中首先找到對(duì)應(yīng)位置,以塊的左上角的像素點(diǎn)為基準(zhǔn);于交互系統(tǒng)中的實(shí)時(shí)性應(yīng)用。2)搜索區(qū)域內(nèi),在水平和垂直兩個(gè)方向上,兩個(gè)視2基于塊匹配的位差估計(jì)圖都中國(guó)煤化工進(jìn)行移動(dòng)，得到相應(yīng)位差估計(jì)問(wèn)題與運(yùn)動(dòng)估計(jì)問(wèn)題類(lèi)似，它們都需要在位置處THCNMH G "最小均方差準(zhǔn)則,找兩幅圖像的像素之間建立對(duì)應(yīng)關(guān)系。在運(yùn)動(dòng)估計(jì)中,兩幅到最佳.國(guó)文自自然科學(xué)基金項(xiàng)目(60672134);江蘇省自然科學(xué)基金項(xiàng)目(BK2007238)No.S2 vo.3 200N 332VDBINEN 79數(shù)字視頻式中:mux和muy為實(shí)際的位移大小，如果視圖V的(d,d,)=min 2 lB.(y,-pxd,xn -pxd,)-muy=pxd, ,mwx=pxd,那么在V,中為muy=(1-p )xd, ,mwx=B(x-(1-p)xd,x-(1-p )xd,)P(1)(1-p)xd,;這樣就清楚地表示出了實(shí)際位差給視圖內(nèi)容3)重復(fù)步驟2),從而計(jì)算出待合成視圖中每一個(gè)的合成所帶來(lái)的影響。圖像塊在兩幅視圖中的最佳位差值。如果是進(jìn)行半像素插值或者1/8 像素插值,插值原值得注意的是公式(1)中的參數(shù)p、B,和B2。p代表理相同， 需要對(duì)2求模或者是對(duì)8進(jìn)行求模得到加權(quán)系的是虛擬視圖V距離左右兩個(gè)視圖V和V,的比值。例數(shù),然后依據(jù)式(3)就可以得到相應(yīng)的值了。如當(dāng)需要繪制兩個(gè)攝像機(jī)基線的中心點(diǎn)處的視圖時(shí)p4差錯(cuò)塊的檢測(cè)與調(diào)整的值為0.5。圖像塊B,和B,并不是參考視圖中相應(yīng)位置處的像素值,而是插值之后的值,插值的過(guò)程將在接下在運(yùn)動(dòng)估計(jì)中物體的運(yùn)動(dòng)矢量的大小非常有限,但在位差估計(jì)中對(duì)于那些接近攝像機(jī)的物體,他們的位差來(lái)的部分給出。矢量會(huì)非常大，由于上述對(duì)位差的估計(jì)是在-一個(gè)固定的3基于位差補(bǔ)償?shù)奶摂M視圖的合成搜索區(qū)域內(nèi)進(jìn)行的,因此有些塊的位差估計(jì)會(huì)出現(xiàn)錯(cuò)誤,根據(jù)得到的最佳位差值，就可以依據(jù)位差補(bǔ)償方式需要進(jìn)行調(diào)整,否則會(huì)產(chǎn)生比較明顯的塊效應(yīng)。進(jìn)行“幀內(nèi)插”了。左視圖V依據(jù)每一個(gè)塊對(duì)應(yīng)的位差矢4.1 差錯(cuò)塊的定位量可以插值得到一個(gè)虛擬視圖V',同樣參考右視圖v,在實(shí)驗(yàn)中通過(guò)對(duì)合成的每-幅圖像的圖像塊的位差也可以插值得到一個(gè)虛擬視圖V'。那么,兩個(gè)攝像機(jī)中.矢量進(jìn)行檢測(cè)，發(fā)現(xiàn)有些圖像塊的位差矢量與周?chē)膲K心連線任意位置處虛擬視角點(diǎn)所對(duì)應(yīng)的視圖為:相比有比較大的差異，這樣的情況下就會(huì)導(dǎo)致合成視圖V=(1-p )xV'+pxV,'中比較明顯的塊效應(yīng)。關(guān)于這些塊的檢測(cè)采用了如下的在“幀內(nèi)插”過(guò)程中使用到了1/4 精度像素的插值，判斷公式具體的插值實(shí)現(xiàn)如圖1所示。disy. v=(vector. y(ij)- vector. _y(ij-1)>T) HIp(y, x)p(y, x+1)(vector_ y(ij)-vector_ y(i,j-1)>T)a| bdisy. .h=(vecor_y(ij) -vector. y(i-1j)>7) I(vector. y(ij)-vector. y(it1 j)>T)disx. v=(vector. x(ij)-vector. x(i;j-1)>T) H(vector. x(i,j)-vector_ x(i,j+1)>T)disx. _h=(vector_ x(i,j)-vector. x(i-1 ,j)>7) H(vector. x(ij)-vector. _x(i+1 ,j)>7")(5)p(y+1, x)p (y+I, x+1)式中:vector_yv(i,j)和vector. x(i,j)分別代表的是塊(i,j)圖1 114精度像素插值在垂直方向和水平方向上的位差矢量值,T為設(shè)定的閾圖中的p(y,x),p(y,x+1),p(y+1,x),p(y+1,x+1)代值。disy_o ,disy_ h,disx_。和disx. h的值同時(shí)為1,說(shuō)明塊表的是參考視圖中原有的4個(gè)相鄰像素點(diǎn),a,b, .",，為的位差矢量值與周?chē)膲K相比差異度比較大,需要進(jìn)行利用p(y ,x),p(y,x+1),p(y+1,x),p(y+1,x+1)這4個(gè)點(diǎn)調(diào)整。其中的閾值如果設(shè)置的比較小，會(huì)過(guò)檢測(cè),導(dǎo)致不的像素值插值出來(lái)的16個(gè)像素點(diǎn)。必要的計(jì)算量;但值過(guò)大又會(huì)漏檢測(cè)。在實(shí)驗(yàn)中選定的閾其中每一個(gè)像素點(diǎn)的計(jì)算方法是一樣的，只是所使值為10。用的權(quán)重系數(shù)不同而已。以像素點(diǎn)b為例,對(duì)b進(jìn)行插值當(dāng)對(duì)一幅視圖繪制完成之后，依據(jù)上述方法對(duì)所有的公式為圖像塊的位差矢量進(jìn)行檢測(cè),如果需要調(diào)整,則采用如下p= 1yXP(y,x)Hw:xp(y .+1)+0xp(y+1 x+ox(r+1,x+12(3)的方法進(jìn)行內(nèi)容的調(diào)整。4.2 塊內(nèi)容的調(diào)整式中:U0,U2,403和ws是像素點(diǎn)p(y,x),p(y,x+1),p(y+1,x),假設(shè)圖像塊的大小為16x16,發(fā)生錯(cuò)誤的塊為EB,p(y+1 ,x+1)的加權(quán)系數(shù)。這些加權(quán)系數(shù)的計(jì)算方法為.如圖2所示。采用了類(lèi)似于重疊塊運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄟM(jìn)行w=(4- -mwx%4)(4- muy%4),了位中國(guó)煤化工到的位差值進(jìn)行位差w=(mwx%4)(4- muy%4),補(bǔ)償|Y片CN M H G8x8的小塊,接下來(lái)再w=(4 mux%4)(mvy%4)將這4個(gè)小塊分別與周?chē)南袼攸c(diǎn)組合成4個(gè)16x16的w=(mux%4)(mwy%4)(4)圖像塊B1~B4。最后,對(duì)塊B1~B4分別利用上述位差預(yù)80電視技或3009年第 3卷第s2期總第32)萬(wàn)萬(wàn)數(shù)據(jù)~Digital video測(cè)的方法進(jìn)行位差矢量的預(yù)值得注意的是，本文的算法適用于攝像機(jī)之間的基31B2測(cè)，根據(jù)預(yù)測(cè)的位差矢量分別線距離比較小的情況,如果攝像機(jī)間的距離比較大,那么_E對(duì)塊B1~B4所在的區(qū)域進(jìn)行此時(shí)輸人的兩幅視圖間的變化就不能簡(jiǎn)單的看成是- -種插值。從而完成了EB塊內(nèi)容平動(dòng)了 ,從而上述的預(yù)測(cè)位差的方法也就不再適用了。B4的調(diào)整。6總結(jié)5實(shí)驗(yàn)結(jié)果本文提出一種基于位差預(yù)測(cè)和補(bǔ)償?shù)囊朁c(diǎn)合成算圖2塊內(nèi)容的調(diào)整實(shí)驗(yàn)中本文是用了法,這種算法依據(jù)輸人的兩個(gè)不同視角處的圖像,可以合Tsukub圖像對(duì)叫。圖像的分辨率為384x288,使用的分塊成出基線上任意一點(diǎn)處的視圖。這種算法繪制視圖速度大小為16x16。合成的視圖結(jié)果如下圖3所示。較快,不需預(yù)處理,非常適合于實(shí)時(shí)性監(jiān)控系統(tǒng)的應(yīng)用。文中的位差搜索過(guò)程還可以通過(guò)快速搜索算法進(jìn)行性能提高。本文的算法在進(jìn)行位差矢量預(yù)測(cè)的時(shí)候只是考慮了亮度成分,沒(méi)有考慮到色度成分,因此在下一步工作中還應(yīng)該將色度成分的影響考慮進(jìn)去。(a)左視圖(b)合成的中間視圖(c)右視圖圖3本文算法合成的Tsukub中間視點(diǎn)圖像參考文獻(xiàn):在文獻(xiàn)[10]中的各種位差估計(jì)方法都是為了得到比[1] KANADE T ,OKUTOMI M. A stereo matching algorihm with an adap-tive window: Theory and experimens([I IEEE Trans. Pallem Analysis較精確的位差圖,依據(jù)得到的位差圖進(jìn)行插值。但是這些and Machine Ieligence, 1994 ,16(9):920 -932.方法都是依據(jù)比較復(fù)雜的計(jì)算開(kāi)銷(xiāo)為代價(jià)的,在文獻(xiàn)[5]2] IZQUIERDO E. Disaritysegmentation analysis: matching with an中計(jì)算一個(gè)33x33的窗就需要1 min,而本文的算法合adaptive window and depth-driven segmentation[D]. IEEE Trans. Cir-成上述圖像整個(gè)過(guò)程只需要40s。且從主觀上來(lái)看,合成.cus and Systems for Video Technology，1999 ,19(4):589 -607.的視圖并無(wú)明顯的缺陷,完全具有可接受的視覺(jué)效果,是[3] VEKSLER 0. Stereo crrepondence with compact windows via mini-mum ratio eyele[J]. IEEE Trans. Patlerm Analysis and Machine Itell-.可以滿足應(yīng)用在一般的交互式系統(tǒng)中。gence, 2002,24(12):1654- 1660.為了測(cè)試本文算法的性能，還利用了另外一組圖像[4] XU Y,WANG D,FENG T,et al. Stero computation using radial adeprballe!", 這是一組多視點(diǎn)圖像集,利用第-個(gè)和第二個(gè)攝tive windows [CVI Proe. 16th Inemational Conference on Pttem像機(jī)拍攝到的視圖繪制出了它們中心連線上距離左視圖Recognition:vol. 3. (.J.]1EEE Pes,2002:595 -598.分別為1/4,2/4,3/4處的視點(diǎn)所對(duì)應(yīng)的視圖。使用到的圖[5] YOON K J,KWEON I s. Locally adaptive support -weight approach for像的分辨率為256x192,分塊大小為16x16,合成的視圖的結(jié)果如圖4所示，圖4b和4c均為合成視圖,4a和4dchine Inelligence ,2006 .28(4) :650-656.[6]呂朝輝,袁惇.基于視差估計(jì)的中間視合成[].光電子.激光,2007,為輸人視圖。18(7)855-858.[7] WANG Yao,OSTERMANN J ,ZHANC Ya-Qin.視頻處理與通值[M].侯正信,楊喜,王文全,譯.北京:電子工業(yè)出版杜,2003:288 -310.[8]畢厚杰新-代視頻壓縮編碼標(biāo)準(zhǔn)_ -H.264AVC[M).北京:人民郵電出版社,2005:33-42(a) 左視圖(b) 14處視圖(c) 1/2處視圖[9] CHEUNG A,KOSMACH J J,ORCHARD M T.et al. Overlapped blockmotion comensationJ[L Proc. SPIE, 1992,1818:561-572.[10] SCHARSTEIN D,SZELISKI R A taxonomy and eraluation of densetwo frame stereo cortespondence algorithms[J} Intemational Joumalof Computer Vision ,2002.47(1):7-42.[1] ZITNICK c L,KANG sI B.UYTENDAELE M.et al. High-qualityvideo view interpolation using a layered rpresentation 0 ACMd) 314處視圖(e)右視圖.Trans. Grephics. Association for Computing Machinery ,2004,23圖4本文算法合成的多視點(diǎn)視 圖中國(guó)煤化工以女舞蹈演員身后的圖畫(huà)為基準(zhǔn)，可以看出這些視責(zé)任編輯.TYHC N M H G收璃日期2009-06-12.圖的角度轉(zhuǎn)換的過(guò)程,通過(guò)這些虛擬視圖的加入就會(huì)使視點(diǎn)轉(zhuǎn)換過(guò)程更加平滑連貫。No: s2 vo.3 20Su NO 332VDEBGINERNG 81