第42卷第2期吉林大學學報(理學版)Vol. 42 No. 22 004年4月JOURNAL OF JILIN UNIVERSITY (SCIENCE EDITION)Apr 2004約束紋理合成張巖，孟宇，李文輝，龐云階(吉林大學計算機科學與技術(shù)學院，長春130012)摘要:對基于塊的實時紋理合成算法進行擴展并應用到約束紋理合成中，對瑕疵進行修復,在紋理合成的過程中采用不同類型的紋理段尋找匹配，并且利用可變大小的紋理塊修復瑕疵的邊緣處，使修復后的圖像在原來瑕疵的邊界處沒有明顯邊界感.關(guān)鍵詞:基于塊的采樣;紋理合成;約束紋理合成中圖分類號: TP391. 41文獻標識碼: A文章編號: 1671-5489( 2004 )02-0200-04Constrained texture synthesisZHANG Yan, MENG Yu, LI Wen-hui, PANG Yun jie(College of Computer Science and Technology, Jilin University, Changchun 130012, China)Abstract: Extending the real time texture synthesis by patch-based sampling and applying it toconstrained texture synthesis， we repaired the blemish. By means of different types of texturesegment to find matching and the texture patch which can change in size, we repaired the boundary ofthe blemish, making no obvious sense of fringe in the boundary of the repaired picture.Keywords : patch-based sampling; texture synthesis; constrained texture synthesis在照片和電影底片上通常有一-些區(qū)域，看上去感覺有瑕疵，這些瑕疵可能是在-張掃描的圖片上缺少一個區(qū)域，也可能是電影底片中存在多余的道具，還可能是一個圖片上存在不該有的物體.因為引起這些瑕疵的過程通常是不可逆的，所以能夠修復這些瑕疵的算法有很大用處.通常這些瑕疵部分的位置處在一些紋理區(qū)域中，從而可以應用紋理合成的方法進行修復.因為要修復的區(qū)域必須包括在紋理區(qū)域中，所以把這種擴展的紋理合成算法稱為約束紋理合成.目前對于圖像修復的方法有很多種，歸納起來，大致可以分為如下幾類:(1)頻域技術(shù).圖像信息大部分都集中在幅度譜的低頻和中頻段，而在較高的頻段，感興趣的信息常被噪聲淹沒.因此，一個能降低高頻成分幅度的濾波器就能減弱噪聲看得見的影響.但是頻域技術(shù)不能很好的適合去除人造的空間局部區(qū)域.(2)幀間技術(shù)，可以依靠圖像的運動順序，利用鄰近的幀間順序把損失的幀插入到應有的位置,基本想法是從鄰近的幀中找到正確的像素點進行修復.但是這種技術(shù)不能應用到靜止的圖像或跨越很多幀的電影底片上.(3)基于塊的技術(shù).修復圖像中的瑕疵最簡單的中國煤化工1的像素塊，在新塊與現(xiàn)存的圖像區(qū)域平滑可以采用多分辨率樣條凹實現(xiàn).但YHCNMHG會包括有用的控制結(jié)構(gòu)收稿日期: 203-09-22.作者簡介:張巖(1980~)， 女，博士研究生，從事計算機圖形學和圖像處理的研究，E mail: zhangyanjlu@ yahoo. com. cn.聯(lián)系人:李文輝(1961~)，男，教授，博士生導師，從事計算機圖形學、圖像處理和智能CAD的研究，E -mail: liwh@ public. cc. jl. cn.基金項目:國家自然科學基金(批準號:69883004)和教育部博士點基金(批準號:20010183041).第2期張巖， 等:約束紋理合成201信息，存在-定的局限性.(4)擴散.小的瑕疵可以應用擴散[41消除.基本想法是通過顏色從周圍區(qū)域擴散以修復這些瑕疵.這種方法的優(yōu)勢是它非常易于使用，用戶只需注意瑕疵在哪里.但是，這種方法不能用于修復大的紋理區(qū)域.(5)結(jié)合頻域和時域信息Hirani 和Totsuka[3結(jié)合頻域和時域信息用人為的方法填充一個規(guī)定的區(qū)域.這個技術(shù)需要有一個與待修復區(qū)域類似的區(qū)域存在，除了這個限制外，它能夠很好的應用到各個工作領域.對基于塊的實時紋理合成算法[1進行擴展應用到約束紋理合成中對瑕疵進行修復，采用不同類型的紋理段尋找匹配，并且利用可變大小的紋理塊修復瑕疵的邊緣處.其優(yōu)點在于可以很好的對瑕疵部分進行修復，而且在邊界處不會有明顯的過渡感，使修復后的圖像看起來像一幅整體圖像.我們將此改進算法應用到圖像填充和去除圖像中多余物體的技術(shù)上，都取得了很好的效果.1合成算法1.1 基于塊的實時紋理合成算法簡介基于塊采樣的實時紋理合成算法[4]是應用輸入的樣本紋理合成輸出的紋理圖像.圖1(a)給出了紋.理合成過程，把已合成區(qū)域E設為父片，在此基礎上選取一個寬度為wE的塊作為紋理段.在輸入的樣本紋理中，通過匹配函數(shù)尋找匹配的塊構(gòu)成集合9u，然后在9%中隨機選擇-個塊B,復制到輸出紋理、循環(huán)執(zhí)行此過程，直至整個輸出紋理合成完畢.合成輸出紋理的順序按圖1(b),(c),(d)的順序?qū)崿F(xiàn)，原則是自左向右、從下到上.灰色的區(qū)域是已合成的區(qū)域、圖1(b),(c),(d)中陰影部分是在父片中用于尋找匹配的紋理段的3種情況.待合成紋理的第一個塊是從輸入的樣本紋理中隨機選擇一個紋理塊通過復制得到.B3Est(a)(b)(d)Fig.1 Texture synthesis by patch- based sampling算法中對于一個大小為winXhim的輸入樣本紋理，紋理塊wB的大小為wB= Amin(wim,hin),這里λ是隨機給出的參數(shù)，在(0,1)區(qū)間取值. -般情況下取紋理塊為wnXwB的正方形.對于紋理段之間的融合采用羽化的方法完成.1.2 約束紋理合成通過紋理合成對圖像進行修復必須滿足以下兩個要求:(1)修復后的區(qū)域必須看起來像周圍的紋理;(2)在新舊區(qū)域之間的邊界-定是無形的.只有滿足上述兩個條件，修復的圖像才能看起來像一個完整的圖像.圖2為約束紋理合成各種方法的合成結(jié)果，圖2(a)為要修復的圖，圖2(c)應用改進的算法很好的滿足了約束條件.如果直接應用中國煤化工CHCNMHG《c)Fig. 2 Constrained texture synthesis吉林大學學報(理學版)第42卷基于塊采樣的實時紋理合成算法對圖像進行修復，在修復圖像的右部和底部的邊界處會出現(xiàn)明顯的不連續(xù)感，如圖2(b).這是因為此算法中的紋理塊大小固定而造成的.圖3給出了右部邊緣和底部邊緣出現(xiàn)明顯邊界的原因.在修復瑕疵所在區(qū)域中的第-個紋理塊時，將此區(qū)域邊界處的一些像素點作為紋理段使用，在搜索過程中利用這些紋理段可以順利地找到相匹配的紋理塊并復制，如圖3(a),(b)所示.當合成到右部邊緣和底部邊緣的紋理段時，紋理塊的大小固定使得其邊界的像素點超出待修復的紋理區(qū)域，如圖3(c),(d)所示，圖中的紋理塊重復包含原紋理的像素點(表示為X,Y),因為這些像素值是固定的，不能保證和所選的紋理塊中的顏色一致，所以會產(chǎn)生明顯的邊界.(a)(b)(e)(d)Original texture;Syuhbeird lexue口Nou ye sindTexture segmentTexture patch.Fig.3 Discontinuities caused by using real-time texture synthesis by patch- based sampling in constrained synthesis為了消除這些人為的邊界，對基于塊采樣的實時紋理合成算法進行改進.根據(jù)上述紋理修復的兩個要求，對算法進行如下改進:把待修復的區(qū)域定為一個矩形，如圖4中白色部分，將這個矩形周圍的紋理作為算法中的輸入樣本紋理，如圖4中黑色部分，此矩形作為待合成的結(jié)果區(qū)域.把基于塊采樣的實時紋理合成算法加以改進，將矩形的周圍區(qū)域視為已合成的紋理區(qū)域，在此基礎上進行合成，合成順序如圖4(b),(d)所示.在合成至矩形的右部邊緣和底部邊緣時，紋理塊可能會超出矩形的邊.緣，正如前面的分析，此時如果采用固定大小的紋理塊會在邊緣處產(chǎn)生明顯的邊界.為了解決這個問題，對此算法作如下改進:合成至此類邊緣處時采用可變大小的紋理塊，如圖4(a)所示，這個紋理塊的紋理段有兩種情況: -種為由兩個水平與一個垂直方向的像素點組成;另-種為由一個水平與兩個垂直方向的像素點組成.對于瑕疵的右部搜索如圖4(c)所示，采用圖4(a)中由一個水平與兩個垂直方向的像素點組成的紋理段搜索.底部搜索如圖4(e)所示，采用圖4(a)中由一個垂直與兩個水平方向的像素點組成的紋理段搜索.紋理塊的選擇和紋理段之間的融合依照基于塊采樣的實時紋理合成算法進行.通過改進的算法，在約束紋理的合成上取得了很好的效果.Texture segment shape口* on righ boundaries0r Texture segment shapeon bottom boundaries(a) Variable texture patche)Originl texture圖Syothesized lexture:0 Nou yet signedeFig.4 Synthesis process in the algorithm1.3 算法描述(1)初始化:將待修復的區(qū)域設置為矩形，并且把矩形的周圍區(qū)域作為輸入的樣本紋理，同時把周圍區(qū)域作為已合成的區(qū)域.中國煤化工(2)利用基于塊采樣的實時紋理合成算法在當前MHCNMH G又紋理段，在矩形的周圍尋找與當前紋理段匹配的紋理塊進行復制.(3)if搜索到矩形的底部邊緣then紋理段的組成定為由兩個水平與一個垂直方向的若干個像素組成，采用可變大小的紋理塊在矩形周圍尋找與當前紋理段匹配的紋理塊進行復制.if搜索到矩形的右部邊緣第2期張巖， 等:約束紋理合成203then紋理段的組成定為由兩個垂直與一個水平方向的若干個像素組成，采用可變大小的紋理塊在矩形周圍尋找與當前紋理段匹配的紋理塊進行復制.(4)重復(2),(3)步，直到圖像被修復完畢.(5)用羽化的方法對紋理段進行融合.2合成結(jié)果圖5顯示了一個洞恢復的例子，這個算法能填充很廣泛類型的紋理洞.能夠使新合成的紋理看起來像周圍的紋理，并且他們的結(jié)構(gòu)和周圍的紋理是連續(xù)的，即沒有明顯的邊界.算法還可以作為工具在像片內(nèi)消除多余的對象，如圖6所示.(a)(b)《e)Fig.5 Texture replacement(a) The original image; (b) image with hole; (c) image with hole filled by our algorithm.Fig. 6 Texture replacement for real scenesPart of the scene in the left image is replaced by another region, and the result is shown in the right image.參考文南[1] Burt P J, Adelson E H. A multiresolution spline with application to image mosaics [J]. ACM Transactions onGraphics, 1983, 2(4): 217-236.[2 ] Bertalmio M，Sapiro G, Caselles V, et al. Image inpainting [C]. Proceedings of SIGGRAPH 2000. New York:ACM Press, 2000: 417-424.[3] Hirani A N, Totsuka T. Combining frequency and spatial domain information for fast interactive image noiseremoval [J]. Computer Graphics, 1996， 30: 269 -276.[4] LIANG L, LIUC, XU Y, et al. Real time texture synthesis by patch-based sampling UJ]. ACM Transactions onGraphics, 2001, 20(3): 127-150.中國煤化工(責任編輯:趙立芹)MYHCNMHG