圖像拼接技術(shù)論文(2)
圖像拼接技術(shù)論文篇二
基于圖切割的圖像拼接技術(shù)
摘要：圖像拼接作為基于圖像繪制的一部分近年來(lái)成為研究的熱點(diǎn)之一。本文對(duì)圖像拼接技術(shù)進(jìn)行研究，詳細(xì)的分析了新的基于圖切割的拼接方法。該方法在相位校正的基礎(chǔ)上將圖切割和泊松融合相結(jié)合實(shí)現(xiàn)拼接，圖切割用于搜索全局最優(yōu)的縫合線以去除鬼影，泊松融合用于曝光差異的處理。本文給出新的基于梯度方向直方圖統(tǒng)計(jì)的權(quán)值計(jì)算方法，實(shí)現(xiàn)穩(wěn)定的圖切割。另外，本文還設(shè)計(jì)出重疊過(guò)渡的泊松融合方法，較好地完成圖像合成。
關(guān)鍵詞：圖像拼接;圖切割;泊松融合
中圖分類號(hào)：TP302文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2007)18-31715-02
A NoveI Image Mosaic Method Based on Graph Cut
WANG Qi-hui
(Hangzhou Normal University,Hangzhou 310011,China)
Abstract:Image mosaic is one of the topics of image based rendering(IBR) these years.A noveI image mosaic method based on graPh cut.This method first calculates. Phase correlation and then reaches image mosaic by graph cut and poisson image fusion.Graph cut is used to find a globally optimized seam-line for deghosting while poisson image fusion is used to realize smooth mosaic without exposure difference.A new weight calculation method based on the statistics of guadient direction histogram is presented here in order to robustly realize graph cut.An edge transition poisson image fusion method is also proposed to reach exposure difference removal
Key words:image mosaic;multiresolutions pline mosaic;graph cut
前人對(duì)圖切割在圖像編輯上的應(yīng)用已做一些研究[Ag~l2a004，Lvein2004，Li2004，Roht2er0O4]，這些應(yīng)用的特點(diǎn)都是如何定義合適的權(quán)系數(shù)以完成特定的應(yīng)用需求，而所有的這些權(quán)系數(shù)都是直接利用色彩強(qiáng)度差或梯度強(qiáng)度差進(jìn)行計(jì)算。在泊松融合方面的應(yīng)用，Ag~ala等A[g~l2a004]提出的基于紐曼邊界條件的泊松融合技術(shù)以實(shí)現(xiàn)片段間的合成，從而保持兩個(gè)不同片段間的連續(xù)過(guò)渡。本文將圖切割和泊松融合應(yīng)用到圖像拼接中，提出基于圖切割的拼接方法。該方法在相位校正的基礎(chǔ)上先利用圖切割尋找一條最佳縫合線以消除鬼影，再利用泊松融合實(shí)現(xiàn)合成以消除曝光差異。為提高算法的穩(wěn)定性，本文提出新的基于梯度方向直方圖統(tǒng)計(jì)的權(quán)值計(jì)算方法，將梯度強(qiáng)度和方向相結(jié)合，克服前人只是基于強(qiáng)度得到的權(quán)值的不穩(wěn)定性。本文還提出重疊過(guò)渡的泊松融合方法，通過(guò)將重疊區(qū)劃分成兩個(gè)片段然后分別執(zhí)行泊松融合，實(shí)現(xiàn)平滑過(guò)渡。
1 基于圖切割的最佳縫合線搜索
1.1 圖切割與最大流問(wèn)題簡(jiǎn)介
在計(jì)算機(jī)視覺(jué)里常常遇到標(biāo)識(shí)(labeling)問(wèn)題，比如如何對(duì)圖像分段，如何確定象素的深度等。這樣的標(biāo)識(shí)問(wèn)題，實(shí)際上也是最小化問(wèn)題，即如何保證算法標(biāo)識(shí)的結(jié)果和實(shí)際觀察的數(shù)據(jù)之間能量差達(dá)到最小以保證標(biāo)識(shí)的正確性：E(f)=Esmooth(f)+Edata(f)
其中，Esmooth(f)仍表示相鄰兩個(gè)象素間的光滑度，Edata(f)表示標(biāo)識(shí)值與實(shí)際觀察值
之差。標(biāo)識(shí)問(wèn)題中常常要研究如何進(jìn)行兩個(gè)標(biāo)識(shí)的劃分問(wèn)題，比如用s和t兩個(gè)標(biāo)識(shí)對(duì)一幅3x3圖像進(jìn)行最佳的標(biāo)識(shí)劃分以到能量差最小。如下圖1所示，解決這幅圖像的兩個(gè)標(biāo)識(shí)劃分問(wèn)題需要建立如圖所示的帶權(quán)有向圖，權(quán)值的大小在這里簡(jiǎn)化為邊的粗細(xì)來(lái)表示，用兩個(gè)分別叫源節(jié)點(diǎn)s和接收節(jié)點(diǎn)t的終點(diǎn)節(jié)點(diǎn)表示這兩個(gè)標(biāo)識(shí)。在這個(gè)圖里有兩種弧，一種是由源節(jié)點(diǎn)或接收節(jié)點(diǎn)發(fā)出的，叫t弧，權(quán)值為Edata(f);另外一種是相鄰象素間互相連接的弧，叫e弧，權(quán)值為Esmooth(f)。圖的切割(cut)就是要將這個(gè)有向圖切成兩個(gè)部分S和T，s放在S里，t放在T里。最小切割就是要找到代價(jià)最小的一個(gè)切割，這也就是我們所說(shuō)的圖切割問(wèn)題。如圖1中右圖的虛線就表示這樣的一個(gè)切割。
對(duì)于圖1所示的帶權(quán)有向圖(其中圓圈表示節(jié)點(diǎn)，直線表示有向邊)，如果將其想象為圖2所示的一個(gè)水管網(wǎng)絡(luò)，那么圖切割問(wèn)題可以描述成如何求解在某一時(shí)刻從s到t能通過(guò)的最大流量的問(wèn)題。 [Ford1962]中指出從s和t間的最大流在將這個(gè)有向圖分成兩個(gè)部分 (S和T)的邊組成的最小切割上飽和，也即這個(gè)切割上的水流之和就是最大流。求解有向圖的最小切割問(wèn)題就是求解最大流的問(wèn)題，已有很多算法對(duì)最大流問(wèn)題進(jìn)行研究[Boykov2004，Boykovl999]，本文的算法引自[Boykovl999]。
1.2最佳縫合線搜索
下圖3顯示如何對(duì)圖像重疊區(qū)進(jìn)行圖切割的初始化。在圖3(a)中，IM和IN表示兩幅相鄰圖像，Iover表示重疊區(qū)。首先建立兩幅圖像間的帶權(quán)有向圖，這里假設(shè)重疊區(qū)的大小為3x3，IM和IN分別作源點(diǎn)(M)和接收點(diǎn)(N)。M和N分別向相鄰的重疊區(qū)內(nèi)的象素發(fā)出t弧，同時(shí)重疊區(qū)內(nèi)的象素向四個(gè)鄰域象素發(fā)出e弧。t弧權(quán)值大小為∞，這樣可以保證切割線不穿過(guò)重疊區(qū)的邊界，從而保證切割。e弧權(quán)值的定義方法是實(shí)現(xiàn)圖切割算法的關(guān)鍵。
圖3 圖切割拼接原理
前人的方法都是基于梯度強(qiáng)度或色彩強(qiáng)度進(jìn)行e弧的權(quán)值計(jì)算。由于相鄰圖像存在曝光差異，因此基于色彩強(qiáng)度差是不穩(wěn)定的。梯度強(qiáng)度差雖然在一定程度上強(qiáng)調(diào)幾何結(jié)構(gòu)上的相似的，但是由于噪聲和配準(zhǔn)誤差的影響，僅僅梯度強(qiáng)度上的相似性也是不夠的，還必須要考慮圖像中紋理變化方向的相似性，即梯度方向上的相似性。為此可以對(duì)每個(gè)象素的鄰域進(jìn)行統(tǒng)計(jì)得到該象素的梯度方向直方圖，然后將e弧權(quán)值的求解建立在相鄰象素間的梯度方向直方圖比較之上，這樣得出的權(quán)值結(jié)合梯度強(qiáng)度和方向的影響，可以有效表達(dá)該象素點(diǎn)及其周圍象素的特點(diǎn)。結(jié)合圖4所示的兩幅帶藍(lán)框標(biāo)識(shí)的源圖像，具體的?；?quán)值求解過(guò)程如下：
(l)初始化:對(duì)于圖像上的每個(gè)點(diǎn)計(jì)算相鄰區(qū)域的梯度方向直方圖。梯度方向直方圖統(tǒng)計(jì)是對(duì)周圍半徑;的圓形區(qū)域，以該象素點(diǎn)為中心采用高斯加權(quán)的方式統(tǒng)計(jì)鄰域內(nèi)所有象素點(diǎn)在各個(gè)梯度方向的強(qiáng)度之和。高斯加權(quán)一方面降低噪聲的影響，另外一方面也強(qiáng)調(diào)離中心點(diǎn)近的象素的作用。
(2)峰值求精:梯度方向直方圖峰值反映象素及其周圍的主要分布特征，因此需要對(duì)其進(jìn)行求精。求精的方法是首先對(duì)峰值方向的強(qiáng)度和其相鄰三個(gè)方向的強(qiáng)度的進(jìn)行拋物線擬合，然后用擬合得到的拋物線的峰值替代原峰值。
本文為全文原貌 未安裝PDF瀏覽器用戶請(qǐng)先下載安裝 原版全文
2 重疊過(guò)渡的泊松融合
2.1泊松融合原理
R2上的封閉子集s是一個(gè)的圖像定義域。?贅是s上的一個(gè)封閉子集，其邊界是?鄣?贅，假設(shè)f是定義在?贅上未知的標(biāo)量函數(shù)，f*是定義在?鄣?贅上已知的標(biāo)量函數(shù)，那么求解f最簡(jiǎn)單的方法是用模插值來(lái)求解：
圖5中的右圖就是指導(dǎo)場(chǎng)v的一個(gè)示意，借助這個(gè)指導(dǎo)場(chǎng)，模插值的目標(biāo)就是希望f具有和v一樣的變化場(chǎng)。這樣，上式的最小化就變成如下的相對(duì)于指導(dǎo)場(chǎng)的最小化：
具體到圖像合成，取指導(dǎo)場(chǎng)為待合成圖像區(qū)域的梯度場(chǎng)，然后利用上式就可以將被合成的圖像無(wú)縫融合到待合成圖像區(qū)域中。
2.2重疊過(guò)渡的拼接
圖6如何利用泊松融合技術(shù)實(shí)現(xiàn)基于縫合線的圖像拼接。為方便解釋，我們將這種實(shí)現(xiàn)方法定義為重疊過(guò)渡的泊松融合方法。具體執(zhí)行步聚如下：
(3)未知區(qū)域泊松融合求解。對(duì)每個(gè)未知區(qū)域按前面計(jì)算式進(jìn)行求解就實(shí)現(xiàn)重疊區(qū)的融合過(guò)渡。
2.3高斯一賽德?tīng)柗匠糖蠼?/p>
未知區(qū)域的每個(gè)象素點(diǎn)得到的計(jì)算式組合到一起，可以寫成UX=v的形式。由于系數(shù)U是對(duì)稱、稀疏的正定矩陣，因此可以用超松馳的高斯一塞德?tīng)柕椒?SOR)求解，迭代過(guò)程如下式所示：
對(duì)于兩個(gè)重疊區(qū)占到三分之一的640x480的圖像來(lái)說(shuō)，每個(gè)未知區(qū)域通常會(huì)有50000
左右的象素，這樣就會(huì)得到一個(gè)U為50000x50000左右的超定方程組，顯然直接用SOR法計(jì)算占用空間太大，計(jì)算速度慢。
但是因?yàn)槊總€(gè)象素最多4個(gè)近鄰，所以上式的n個(gè)未知解中只存在4個(gè)未知數(shù)需要更新。假設(shè)圖像坐標(biāo)系原點(diǎn)在圖像的左下角，逐行逐列編號(hào)，則這4個(gè)數(shù)分別為編號(hào)小的左鄰和下鄰以及編號(hào)大的右鄰和上鄰。因此，假定第i個(gè)象素的下鄰和上鄰的編號(hào)分別s和t，結(jié)合前面式，可以將上式(簡(jiǎn)化為：
這里表示第i象素的相鄰象素的個(gè)數(shù)，即Np。上述簡(jiǎn)化計(jì)算明顯加快計(jì)算速度，節(jié)約存儲(chǔ)空間。
3 結(jié)束語(yǔ)
本文提出基于圖切割的圖像拼接方法，這個(gè)方法利用圖切割查找出一條全局最佳縫合線，用泊松融合實(shí)現(xiàn)最終的合成。為提高圖切割的穩(wěn)定性，本文給出基于梯度方向直方圖統(tǒng)計(jì)的權(quán)值計(jì)算方法，通過(guò)計(jì)算每個(gè)象素點(diǎn)鄰域的梯度方向直方圖，將象素點(diǎn)的梯度強(qiáng)度和方向結(jié)合一起進(jìn)行權(quán)值計(jì)算，克服前人方法基于色彩強(qiáng)度或梯度強(qiáng)度的權(quán)值計(jì)算方法的不穩(wěn)定性，達(dá)到了較好的圖切割縫合線搜索。本文還設(shè)計(jì)重疊過(guò)渡的泊松融合方式，通過(guò)將重疊區(qū)劃分成兩個(gè)未知區(qū)域，分別定義實(shí)現(xiàn)平滑過(guò)渡過(guò)的邊界值，實(shí)現(xiàn)曝光差異的處理。
參考文獻(xiàn)：
[1]梅春暉.基于預(yù)計(jì)算及采樣的實(shí)時(shí)高真實(shí)感圖像繪制技術(shù)研究,博士學(xué)位論文,浙江大學(xué),2004.
[2]漆馳,劉強(qiáng).等.攝像機(jī)序列的全景圖拼接,計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2001.
[3]阮宗才,梁棟.等.一種自動(dòng)全景拼圖的快速算法,計(jì)算機(jī)研究與發(fā)展,2001.
[4]王立峰,潘志庚.全景圖像的拼合及優(yōu)化算法,計(jì)算機(jī)應(yīng)用研究,2006.
看了“圖像拼接技術(shù)論文”的人還看：
圖像拼接技術(shù)論文(2)
