第31卷第6期實驗室研究與探索Vol.31 No. 6RESEARCH AND EXPLORATION IN LABORATORYJun. 2012圖像修復(fù)實驗的設(shè)計于文靜，楊富琴，馮偉國(華東理工大學(xué)電子與信息實驗教學(xué)中心，上海,200237)摘要:設(shè)計了圖像修復(fù)實驗,通過實驗操作激發(fā)學(xué)生對圖像修復(fù)研究的興趣。實驗中使用基于樣本的圖像修復(fù)方法實現(xiàn)圖像的修復(fù),首先對該方法的基本原理及實現(xiàn)過程進行解釋;然后利用該方法實現(xiàn)對各種不同類型損毀圖像的修復(fù)。提供可實現(xiàn)數(shù)字圖像修復(fù)相關(guān)方法的Matlab 程序代碼,學(xué)生可利用相關(guān)程序?qū)Ω鞣N不同類型的損毀圖像進行修復(fù),得到了視覺上無明顯人工修復(fù)痕跡的圖像。學(xué)生對于破損圖像的破損面積的大小和位置進行改變,得到不同的修復(fù)結(jié)果。通過對結(jié)果的分祈加深對方法的.理解。關(guān)鍵詞:圖像修復(fù);圖像處理;文字移除中圖分類號:TP 751.1 .文獻標(biāo)志碼:A文章編號:1006 -7167(2012)06 - 0040 -04Design of the Experiment on Image ImpaintingYU Wen-jing， YANG Fu-qin，ENG Wei-guo( Experimentation Center for Electronics and Information Education , East ChinaUniversity of Science and Technology, Shanghai 200237, China)Abstract: The experiment on image inpainting is designed to deepen sludents ' understanding of the concept and theimplementation of the image inpainting technology , and to stimulate students’interest in research on the image inpaintingtechnology. In the experiment , the image inpainting is achieved by the sample-based image inpainting methods. First, theexperiment explains the basic principles and the implementation of this method. Moreover , different types of damagedimage are inpainted by this method. The matlab code of related methods are provided which could achieve digital imageinpainting so that students could use relative programs to restore different types of damaged images and get images withno obvious artificial lraces visually. Furthermore，students could get different inpainting results by changing the damagedsize and the location of damaged images so as to deepen their underslanding of the method by analyzing the results. Thisimage restoration method is implemented in digital image experiments for the first time.Key words: image inpainting; image processing; word removal覺其修復(fù)痕跡的一種圖像處理技術(shù)。圖像修復(fù)主要在0引言文物保護[23]、影視特技制作(23]、多余目標(biāo)物體剔除、圖像修復(fù)1 ( Image Inpainting, Image Completion)圖像縮放3.0]、圖像的有損壓縮“4]、視頻圖像的錯誤隱是指按照一定的規(guī)則,利用未被損壞的圖像信息,估計匿等方面有著重大應(yīng)用'”。正是由于圖像修復(fù)的重并填充圖像指定區(qū)域內(nèi)的缺損信息,使得最終修復(fù)后要作用,在數(shù)字圖像處理實驗中增加圖像修復(fù)部分的的圖像在視覺效果.上連續(xù)、光滑、自然,且不為人眼察實驗內(nèi)容對于學(xué)生了解這一領(lǐng)域中的相關(guān)技術(shù),進而應(yīng)用|中國煤化工勺基于變分和偏微分收稿日期:2011 -12-20方程.MYHCNMHG,PDE).與基于樣本作者簡介:于文靜(1974-).女,山東夏津人,碩上,講師,主要研究.方向:數(shù)字圖像修復(fù)算法及優(yōu)化算法研究。的紋理合成圖像修復(fù)方法,前者通過求解微分方程,光Tel. :13301956747 ,021 64253339 ; E-mail; wenjingyu@ ecust. edu. en滑地將破損區(qū)域周圍的已知信息傳播到破損區(qū)域中，從而完成修復(fù);后者基于給定的小區(qū)域紋理樣本,按照第6期于文靜,等:困像修復(fù)實驗的設(shè)計41表面的幾何形狀,拼接生成整個曲面的紋理，在視覺上(4)按照中像素點的灰度值填充出,中未知部是相似而連續(xù)的?？紤]到PED的抽象性,本實驗設(shè)計分的像素值。結(jié)束后將填充后的區(qū)域標(biāo)識為已知用基于樣本的圖像修復(fù)方法實現(xiàn)。區(qū)域。實驗中通過Matlab程序設(shè)計實現(xiàn)Criminism提出(5)沿填充后新的未知區(qū)域的邊緣,重新返回的基于樣本的圖像修補算法,利用本方法對不同類型(1),依此類推,直到所有的未知區(qū)域被填充。的破損圖像進行修復(fù),并介紹圖像修復(fù)的評價標(biāo)準(zhǔn),基2實驗設(shè)計于這一-標(biāo)準(zhǔn)，學(xué)生對于修復(fù)算法實現(xiàn)的圖像修復(fù)和Photoshop手動修復(fù)后的結(jié)果進行比較。希望通過本.圖像修復(fù)實驗作為圖像處理課程內(nèi)容的補充與增實驗的學(xué)習(xí)和實踐激發(fā)學(xué)生的學(xué)習(xí)興趣。強,應(yīng)具有以數(shù)字圖像處理課程的先修課程和計算機處理能力。①先修課程:高等數(shù)學(xué)、數(shù)字信號處理、數(shù)1基于樣本的圖像修復(fù)算 法原理[89]字圖像處理;②計算機語言:Matlab。如圖1所示,1表示一幅完整圖像區(qū)域,nC I是本文介紹的數(shù)字圖像修復(fù)實驗為課程實驗,創(chuàng)新待修復(fù)區(qū)域,即信息缺失區(qū)域;則φ= 1-2表示待修類實驗內(nèi)容未在本文中介紹。復(fù)圖像中的已知區(qū)域,本實驗理論基于Criminism提出2.1 實驗環(huán)境的基于樣本的圖像修補算法,這一算法主要包括以下操作系統(tǒng),XP或以上版本;Matlab7.0或以上版本幾個步驟:含圖像處理toolbox，圖像修復(fù)基本操作相關(guān)的程序,基(1)對于圖像待修復(fù)區(qū)邊緣a2的每個像素點p,于樣本的圖像修復(fù)程序, PSNR計算程序, Photoshop軟計算以點p為中心的待修復(fù)塊業(yè)。的修復(fù)優(yōu)先權(quán)P:件,圖像修復(fù)使用圖像。P(p) = C(p)D(p)(1)2.2 實驗內(nèi)容式中:C(p)是待修復(fù)塊蟲。的置信因子項;D(p)是待(1)圖像的基本操101。修復(fù)塊業(yè)。的數(shù)據(jù)因子項，圖像的輸人輸出函數(shù):E c(q)imread()。從圖像文件中讀取(載人)圖像;C(p) = .151-0)(2)Imshow()。顯示圖像; .imwrite()。把圖像寫人(保存)圖像文件中;1V號in,!montage()。在一個窗口中顯示多幀圖像;D(p) =x(3)impixel。確定像素顏色值。業(yè),是以點p為中心的待修復(fù)塊;|少,1為待修復(fù)塊的面邊緣檢測:積;a為歸一化因子;n,是點p處垂直于邊緣an的單edge()。圖像邊緣檢測。位向量。塊處理函數(shù):(2)在待修復(fù)區(qū)域的邊緣點中查找P(p)的值為bestblk()。確定進行塊操作的塊大小;最大的點,對以此點為中心的待修復(fù)塊中,首先進行blkproc()。 實現(xiàn)圖像的顯示塊操作。修復(fù)。圖像的基本處理函數(shù):(3)修復(fù)過程為計算業(yè),中已知像素的灰度值和im2bw()。轉(zhuǎn)換圖像為二進制圖像;圖像中已知區(qū)域相應(yīng)的塊中灰度值的歐式距離d(業(yè),，imerop()。圖像的裁剪;中。) ,找到與中,最匹配的圖像塊鄴,使得imresize()。圖像比例縮放變換;購= arg mind(4,燈)(4)gradient()。梯度函數(shù)。(2)困像修復(fù)算法程序?qū)崿F(xiàn)。例如:源程序代碼存放在D: \imageinpainting目錄2中程序名為imagee. m(主程序,按原理完成算法),實驗中在Matlab中,在[File]菜單中選擇[ setpath] ,選擇D: \imageinpainting,可將所有程序和圖片存放在這一4。目錄中國煤化工序中源圖像存放在以名MHCNMHG象存放在12.bmp中。學(xué)生在忌修發(fā)時圖像名杯,可以日己對程序進行修改。在D:\ imageinpainting目錄下還有mmap. m,這一圖1 Criminism 算法的原理圖文件中主要定義函數(shù)mask(),它的功能是根據(jù)破損圖像獲得相應(yīng)的掩碼圖。在破損圖像中把需要修復(fù)的區(qū)|2實驗室研究與探索第31卷域以某種顏色標(biāo)識,比如紅色,然后將標(biāo)識的區(qū)域置像,學(xué)生利用程序?qū)D像進行修復(fù),可得到修復(fù)后的圖0,其他已知區(qū)域標(biāo)識為1,這樣獲得一幅二值圖像,這像。原始圖像的提供僅僅給學(xué)生一種感性認(rèn)識,事實一二值圖像稱為待修復(fù)圖像的掩碼圖像。文件上圖像的修復(fù)并不是以修復(fù)圖像與原始圖像的相似度priority. m中定義了函數(shù)point_ .prior()函數(shù),實現(xiàn)在邊作為評價標(biāo)準(zhǔn)的,圖像修復(fù)好壞的評價下面專門介紹。緣點中查找具有最高優(yōu)先權(quán)的點。文件patch. m中定(4)文字移除。圖4(a)是文字加入后的圖片,利義函數(shù)match__patch(),主要實現(xiàn)匹配塊的查找功能。用圖像修復(fù)程序?qū)D片進行修復(fù),修復(fù)后得到圖4(b)(3)人物的移除。圖2、3中提供人物移除后的圖中的圖像。(日)原始圖像(b)人物移除后的圖像(2)利用算法修復(fù)后的圖像圖2人物移除實驗圖 1(a)原始圖像(C)利用算法修復(fù)后的圖像圖3 人物移除實驗圖2JAPANSERI ANIMATION(a)文字加入后圖像(b)移除后的修復(fù)圖像圖4文字移除實驗圖(5)破損圖像修復(fù)[214]。破損圖像修復(fù)圖如圖5修復(fù)結(jié)中國煤化工進行主觀性評價，所示。如果破損區(qū)域發(fā)生改變，圖像的修復(fù)結(jié)果會發(fā)如觀察CHCNMHG覺上是否符合一般生變化,啟發(fā)學(xué)生對破損區(qū)域進行設(shè)置,看修復(fù)后的結(jié)的審美你E、四家土女不啊疋口侍以保持、圖像結(jié)果是果,并解釋原因。否存在明顯的人工操作痕跡等。在研究中,經(jīng)常使用(6)修復(fù)效果比較。圖像修復(fù)技術(shù)是對缺損信息峰值信噪比( Peak Signal Noise Ratio , PSNR)來進行輔的填充,不能純粹用客觀量化指標(biāo)來進行評價。圖像助性的評價。第6期于文靜,等:圖像修復(fù)實驗的設(shè)計43(a)原始圖像(b)破損后的圖像(C)利用算法修復(fù)后的圖像圖5破損圖像修復(fù)實驗圖PSNR基于圖像像素灰度值進行統(tǒng)計和平均計算，華東理工大學(xué)學(xué)報(自然科學(xué)版) ,2011 ,37(3) :367-371.是常用的衡量信號失真的指標(biāo)。盡管對部分圖像或視[2] Bertalmio M, Sapiro G, Caselles V,et al. Image inpainting[C]//Poeedings of ACM SIGCRAPH. New York:ACM 2000:417-424.頻質(zhì)量評價時可能與主觀感知的質(zhì)量產(chǎn)生較大的偏[3] Chan T F, Shen」H. Mathemaical models for loeal non texture差,這是因為人眼的視覺對于誤差的敏感度并不是絕inpainting[ J]. SIAM Joumal on Applied Mathematies ,2002 ,62(3): .對的,其感知結(jié)果會受到許多因素的影響而產(chǎn)生變化1019-1043.(例如,人眼對一個區(qū)域的感知結(jié)果會受到其周圍鄰近[4] Shih T K,Chang R C. Digtl inaining suvey and mulilyer image區(qū)域的影響),但PSNR對于多數(shù)圖像質(zhì)量評價仍然是inpainting algorithm [C] / Proceeding of the Third International有效的“5。PSNR 值越大說明修復(fù)效果圖像與參考圖.Conference on Information Technology and Applieations. 2005 :15-24.5] Shih T K,Chang R C,Lu L C,et al. Multi-layer inpaining on Chinese像(本文中使用參考圖像為原始圖像)越相似,修復(fù)效artwork restoration applications[ C] 1 IEEE International Confernece果越好,算法性能越高。on Multimedia and Expo. 2004:21-24.令f(x,y)為參考圖像在像素坐標(biāo)(x,y)處的灰度[6] Witman T. Mathenatical techniquese for image inepolaion [ DB/DK]. htp:// www. math. umn. edu/ ~ witman/Poral. pdr,005.值或彩色值f(x,y)為修復(fù)后圖像在相應(yīng)像素位置處[7] 吳亞東,張紅英,吳 斌數(shù)字圖像修復(fù)技術(shù)[M].北京:科學(xué)出版的灰度值或彩色值。對于一幅M xN的圖像,社,2010:1-20.2552PSNR = 10 x1g-[8] Criminisi A,Perez: P, Toyama K. Region fling and objet removal byexemplar-based image inpainting[J]. IEEE Transactions on Image旅品Z(*,y) -(x,)2Procesing 2004 ,13(9) 1200-1212.(4) [9] Efos A, Leung T. Texure syuthesis by non-paraerie sampling[C]/1 Proceedings of 7th IEEE International Conference on Computer要求學(xué)生利用自己的視覺系統(tǒng)和PSNR客觀評價標(biāo)準(zhǔn)Vision. Greece :IEEE , 1992) :1033-1038.對本算法實現(xiàn)圖像修復(fù)的結(jié)果和Pooshop軟件手工[10] 張德豐. 數(shù)字圖像處理(Mllab版)[M].北京:人民郵電出版社，進行修復(fù)的結(jié)果進行比較。利用PSNR進行比較時，2009:15-30.在文字移除的實驗中由于沒有提供原始圖像可不作[11] 王家文. Malab7.6圖形圖像處理[M].北京:國防工業(yè)出版社，比較。2009 :21-32.[12] Wu J, Ruan Q. Q0 bjet removal by eross isopoles exemplar based3結(jié)語inpainting[ C] // Procedings of 18th Inemational Conference onPaltem Recognition. Hong Kong: IEEE ,2006 ,3 :810-813.本文通過對圖像修復(fù)理論及實驗的介紹,利用程[13] 陳中費,劉利剛,王國瑾. 基于全局優(yōu)化的圖像塊填充修復(fù)方法序及具體的實驗結(jié)果,使學(xué)生對圖像修復(fù)這一數(shù)字圖[J].計算機研究與發(fā)展.2009 ,46(1);144-150.像處理中的較新的方向有了感性的認(rèn)識。通過生動的[14]丁西明 ,段漢根,吳長勤.一種簡單的塊匹配圖像修復(fù)算法[J].計算機技術(shù)與發(fā)展，2011 .20(11) :80-83.圖像結(jié)果對比，激發(fā)學(xué)生對于這一方向的興趣。利用評價標(biāo)準(zhǔn)對修復(fù)結(jié)果進行比較,希望能對于學(xué)生在這[15]中國煤化工e al. Final repont from theIY片CNMHG°n of the oijective models of-.方向的研究上具有--定的指導(dǎo)作用。/www. we01-10.參考文獻( References) :[1] 張晴,林家駿,高 深.基于色差分析的圖像修復(fù)改進算法[J].