裸眼3d技術(shù)論文

裸眼3d技術(shù)論文

　　裸眼3D技術(shù)具有數(shù)據(jù)量小、傳輸效率高、顯示內(nèi)容可自適應(yīng)調(diào)節(jié)，用戶交互性好等優(yōu)點(diǎn)。 下面是學(xué)習(xí)啦小編整理了裸眼3d技術(shù)論文，有興趣的親可以來閱讀一下!

　　裸眼3d技術(shù)論文篇一

　　基于深度圖的多視點(diǎn)裸眼3D立體視頻技術(shù)研究

　　摘　要：3D立體視頻技術(shù)正引起越來越多的關(guān)注，但是目前絕大多數(shù)3D視頻系統(tǒng)需要佩戴特殊眼鏡才能夠觀看立體效果，或者要求觀看者必須從某個(gè)固定角度進(jìn)行觀看。而多視點(diǎn)裸眼3D立體視頻系統(tǒng)則可以避免以上兩點(diǎn)限制，得到最好的3D觀看體驗(yàn)。目前國際上最前沿的3D立體視頻研究集中在基于深度圖的多視點(diǎn)3D立體視頻技術(shù)上面，本文對基于深度圖的多視點(diǎn)裸眼3D立體視頻系統(tǒng)的幾個(gè)關(guān)鍵技術(shù)環(huán)節(jié)，包括深度圖提取、虛擬視點(diǎn)合成、多視點(diǎn)視頻合成等進(jìn)行了研究并進(jìn)行了相應(yīng)的仿真實(shí)驗(yàn)，從實(shí)驗(yàn)效果來看，基于深度圖的多視點(diǎn)裸眼3D立體視頻系統(tǒng)具有數(shù)據(jù)量小、傳輸效率高、顯示內(nèi)容可自適應(yīng)調(diào)節(jié)，用戶交互性好等優(yōu)點(diǎn)。

　　關(guān)鍵詞：裸眼3D立體視頻;深度圖;3DTV

　　目前3D立體視頻技術(shù)正引起越來越多人的關(guān)注，其中主流的3D技術(shù)主要包括雙目立體視頻(包含2個(gè)視點(diǎn)的視頻數(shù)據(jù))和多視點(diǎn)立體視頻(包含8個(gè)以上視點(diǎn)的視頻數(shù)據(jù))。雙目立體視頻又可分為配戴眼鏡觀看和雙目裸眼立體顯示兩種，其中前者必須佩帶偏振眼鏡，為觀看帶來了不便，后者則要求觀看者必須從固定的角度進(jìn)行觀看，當(dāng)有多人同時(shí)觀看同一塊顯示器時(shí)，因?yàn)槎鄶?shù)觀看者無法獲得最佳觀看位置從而大大影響觀看體驗(yàn)。而對于多視點(diǎn)立體視頻技術(shù)而言，由于同一塊裸眼3D立體顯示器上可同時(shí)提供多個(gè)視點(diǎn)的內(nèi)容，所以觀看者可以從任意自由的角度來觀看，極大地提升了觀看的便利性。所以多視點(diǎn)立體視頻已經(jīng)成為當(dāng)前技術(shù)研究的主流。但是，多視點(diǎn)立體視頻相對于雙目立體視頻而言數(shù)據(jù)量成倍增長，為存儲(chǔ)和傳輸帶來了不便，而基于深度圖的多視點(diǎn)立體視頻技術(shù)具有數(shù)據(jù)量小的優(yōu)點(diǎn)，因而成為最有潛力的多視點(diǎn)立體視頻方案。本文深入研究了基于深度圖的多視點(diǎn)3D立體視頻技術(shù)中的若干關(guān)鍵技術(shù)環(huán)節(jié)，并進(jìn)行了相應(yīng)的仿真實(shí)驗(yàn)。本文的章節(jié)內(nèi)容安排如下：第2節(jié)介紹基于深度圖的多視點(diǎn)3D立體系統(tǒng)整體架構(gòu)，第3節(jié)介紹深度圖提取，第4節(jié)介紹虛擬視點(diǎn)生成，第5節(jié)介紹多視點(diǎn)視頻合成，第6節(jié)總結(jié)全文。

　　一、基于深度圖的多視點(diǎn)3D立體視頻系統(tǒng)框架

　　基于深度圖的多視點(diǎn)3D立體視頻系統(tǒng)的技術(shù)框架如圖1所示。首先需要進(jìn)行原始視頻序列的拍攝，雖然最終多視點(diǎn)裸眼立體顯示系統(tǒng)需要9個(gè)甚至更多的視點(diǎn)的視頻內(nèi)容，但是實(shí)際的原始視頻序列拍攝階段只需要拍攝2-3個(gè)視點(diǎn)的視頻即可，這是因?yàn)榛谏疃葓D的虛擬視點(diǎn)生成技術(shù)可以在解碼端通過2-3個(gè)視點(diǎn)的視頻生成多個(gè)視點(diǎn)(在本文中為9個(gè)視點(diǎn))的虛擬視點(diǎn)視頻，所以基于深度圖的多視點(diǎn)立體視頻技術(shù)具有數(shù)據(jù)量小，易傳輸?shù)膬?yōu)點(diǎn)，克服了多視點(diǎn)視頻數(shù)據(jù)量大的缺陷。

　　在原始視頻序列拍攝完成后需要進(jìn)行深度圖的提取和相機(jī)參數(shù)的計(jì)算，該步驟中提取的深度圖的質(zhì)量直接決定了后期生成虛擬視點(diǎn)視頻的質(zhì)量。完成以上步驟后則需進(jìn)行壓縮編碼并通過網(wǎng)絡(luò)傳輸?shù)浇獯a端，解碼端對數(shù)據(jù)進(jìn)行解碼后會(huì)進(jìn)行基于深度圖的虛擬視點(diǎn)生成，將原始的2-3個(gè)視點(diǎn)的視頻數(shù)據(jù)變成9個(gè)視點(diǎn)的視頻數(shù)據(jù)，獲得的9個(gè)視點(diǎn)的視頻數(shù)據(jù)還不能直接在多視點(diǎn)裸眼3D立體顯示器上面播放，必須針對該顯示器所使用的3D光柵結(jié)構(gòu)進(jìn)行多視點(diǎn)視頻合成。

　　本文的后續(xù)章節(jié)將會(huì)對深度圖提取、虛擬視點(diǎn)生成、多視點(diǎn)視頻合成三個(gè)環(huán)節(jié)進(jìn)行詳細(xì)介紹并進(jìn)行相應(yīng)的仿真實(shí)驗(yàn)。

　　二、深度圖提取

　　2.1　深度圖介紹

　　深度圖是一副灰度圖像(如圖2-b)，灰度值的范圍為0-255?；叶戎悼山Y(jié)合場景的景深信息進(jìn)行換算得到深度值，立體視頻系統(tǒng)的實(shí)際應(yīng)用中使用的是深度值。

　　深度圖上的像素是0-255的灰度值，前文提到過深度圖主要用于虛擬視點(diǎn)生成，在該過程中，我們用到的是實(shí)際的深度值，所以需要建立一個(gè)轉(zhuǎn)換關(guān)系，將深度圖中的像素灰度值換算為實(shí)際的深度值：

　　公式(1)中z就是我們在虛擬視點(diǎn)生成過程所需要的深度值，v表示圖2-b中的深度圖像中像素的灰度值，Znear和Zfar分別表示該視頻所拍攝的場景中的最近深度和最遠(yuǎn)深度，這兩個(gè)值需要在原始視頻序列的拍攝過程中進(jìn)行測定。

　　2.2　基于塊匹配的深度圖提取

　　用并排平行排列的兩臺(tái)相機(jī)拍攝同一場景，獲得兩幅圖像，要獲得其中一幅圖像的深度圖，需要用另一幅圖像來與之進(jìn)行像素配對，經(jīng)過像素點(diǎn)的配對匹配之后就會(huì)獲得該幅圖像每個(gè)像素點(diǎn)在兩幅圖像中間的視差，而深度值與視差值之間的關(guān)系如下：

　　其中z為我們要求的深度值，d為經(jīng)過像素匹配后得到的視差值，f為相機(jī)的焦距，b為兩臺(tái)相機(jī)之間的基線距離。所以有了視差值d之后就可以很容易的獲得深度值z。但是最關(guān)鍵的環(huán)節(jié)是獲得準(zhǔn)確的視差值，所以需要進(jìn)行精確的像素點(diǎn)匹配，但是實(shí)際上由于不同相機(jī)之間曝光參數(shù)的差異，即使拍攝的是同一場景，像素點(diǎn)之間依然存在亮度差異，所以我們采用了圖像塊匹配的辦法，在一定程度上提高了像素點(diǎn)匹配的魯棒性，在本文的試驗(yàn)中所使用的是3×3大小的圖像塊，必須指出的是，本文默認(rèn)拍攝原始視頻序列的是嚴(yán)格水平平行的兩臺(tái)相機(jī)，所以在進(jìn)行圖像塊的匹配時(shí)只進(jìn)行水平搜索而不進(jìn)行垂直搜索。整個(gè)深度圖提取過程如圖3所示。

　　對國際視頻標(biāo)準(zhǔn)制定組織MPEG提供的多視點(diǎn)視頻序列進(jìn)行實(shí)驗(yàn)提取的深度圖如圖4所示。

　　三、虛擬視點(diǎn)生成

　　虛擬視點(diǎn)生成技術(shù)[2]可以將左右視點(diǎn)中的像素投影到兩視點(diǎn)中間的任意位置，從而生成原本沒有被相機(jī)拍攝到的虛擬視點(diǎn)的視頻圖像(如圖5所示)，該生成過程需要用到左右兩個(gè)視點(diǎn)的深度圖以及相機(jī)參數(shù)。該技術(shù)主要用到了3D投影的算法，3D投影算法用于發(fā)現(xiàn)兩個(gè)圖像平面之間的對應(yīng)點(diǎn)，具體過程為將一個(gè)圖像平面上的點(diǎn)投影到3D世界坐標(biāo)系，然后再將該點(diǎn)從3D世界坐標(biāo)系投影到另一個(gè)圖像坐標(biāo)平面。

　　對于任一給定的點(diǎn)p0，坐標(biāo)為(u0，v0)，位于圖像平面V0。如果要找到改點(diǎn)在圖像平面V1的對應(yīng)點(diǎn)P1的坐標(biāo)(u1，v1)，那么整個(gè)3D投影過程應(yīng)按如下式所示進(jìn)行計(jì)算：

　　在這里，z是3D世界坐標(biāo)中的點(diǎn)沿著相機(jī)坐標(biāo)系的到相機(jī)的Z軸到相機(jī)的距離，P是對應(yīng)的投影矩陣。該投影矩陣P由相機(jī)的內(nèi)部矩陣K，旋轉(zhuǎn)矩陣R和平移矩陣T組成，具體P的描述如下所示： 　　其中，K是3×3的上三角矩陣，由焦距f，傾斜參數(shù)?酌和虛擬相機(jī)位置上的理論點(diǎn)(u'，　v')組成。R和T描述了世界坐標(biāo)空間下的相機(jī)位置。

　　經(jīng)過以上步驟即可初步實(shí)現(xiàn)基于深度圖的視點(diǎn)合成。

　　四、多視點(diǎn)視頻合成

　　4.1　裸眼3D立體顯示原理

　　要使觀看者體驗(yàn)到3D立體效果，其核心的原理是使雙眼分別同時(shí)看到不同的畫面，從而獲得立體感，最簡單的方法就是目前最為常見的佩帶特殊眼鏡，這樣可以強(qiáng)制控制兩眼所看到的內(nèi)容，但是該方案為觀看者帶來了極大的不便(特別是本身就戴眼鏡的觀眾)。本文使用的方案為裸眼3D立體顯示，主要實(shí)現(xiàn)途徑為在顯示器屏幕前增加視差柵欄，通過柵欄控制各像素光線的射出方向，使某些圖像僅射入左眼，某些圖像僅射入右眼，從而形成雙目視差，產(chǎn)生立體視覺(如圖6所示)。

　　4.2　多視點(diǎn)視頻合成

　　本文中所使用的裸眼3D視差柵欄結(jié)構(gòu)上更為復(fù)雜，可以通過其柵欄遮擋控制9個(gè)視點(diǎn)的圖像內(nèi)容，從而實(shí)現(xiàn)了在同一塊顯示器上同時(shí)顯示9個(gè)視點(diǎn)的圖像，雖然觀看者在同一時(shí)刻雙眼只能分別看到其中兩個(gè)視點(diǎn)的圖像從而獲得立體感，但9個(gè)視點(diǎn)的圖像使得顯示器的可觀看角度大大增加。為了配合9視點(diǎn)光柵柵欄的顯示，我們需要對9個(gè)視點(diǎn)圖像的RGB像素進(jìn)行重排列，重排列的順序如圖7所示。圖中的數(shù)字代表視點(diǎn)的編號，按圖中的順序?qū)?個(gè)視點(diǎn)圖像的RGB值重新組合排列，會(huì)得到一幅分辨率為原先每個(gè)視點(diǎn)圖像9倍大小的立體圖像，立體圖像可用于在多視點(diǎn)裸眼3D顯示器上播放。由9個(gè)視點(diǎn)圖像合成的立體圖像如圖8所示(該圖像只有在9視點(diǎn)裸眼柵欄式立體顯示器上才可以看到立體效果)。

　　結(jié)論

　　基于深度圖的多視點(diǎn)立體視頻技術(shù)是當(dāng)前3D立體視頻的研究熱點(diǎn)，該技術(shù)不需要佩帶特殊的3D立體視頻眼鏡，并且具有總數(shù)據(jù)量小、觀看可視角度大的優(yōu)點(diǎn)。本文深入研究了基于深度圖的多視點(diǎn)裸眼3D立體視頻系統(tǒng)的幾個(gè)關(guān)鍵技術(shù)環(huán)節(jié)，包括深度圖提取、虛擬視點(diǎn)合成、多視點(diǎn)視頻合成等進(jìn)行了研究并進(jìn)行了相應(yīng)的仿真實(shí)驗(yàn)。

　　參考文獻(xiàn)

　　[1]　Müller，　K.;　Merkle，　P.;　Wiegand，　T.;　，　"3-D　Video　Representation　Using　Depth　Maps，"　Proceedings　of　the　IEEE　，　vol.99，　no.4，　pp.643-656，　April　2011

　　[2]　Ndjiki-Nya，　P.;　Koppel，　M.;　Doshkov，　D.;　Lakshman，　H.;　Merkle，　P.;　Muller，　K.;　Wiegand，　T.;　，　"Depth　Image-Based　Rendering　With　Advanced　Texture　Synthesis　for　3-D　Video，"　Multimedia，　IEEE　Transactions　on　，　vol.13，　no.3，　pp.453-465，　June　2011

　　[3]　Muller，　K.;　Merkle，　P.;　，　"Challenges　in　3D　video　standardization，"　Visual　Communications　and　Image　Processing　(VCIP)，　2011　IEEE　，　vol.，　no.，　pp.1-4，　6-9　Nov.　2011

　　[4]　Sourimant，　G.;　，　"A　simple　and　efficient　way　to　compute　depth　maps　for　multi-view　videos，"　3DTV-Conference：The　True　Vision　-　Capture，　Transmission　and　Display　of　3D　Video　(3DTV-CON)，　2010　，　vol.，　no.，　pp.1-4，　7-9　June　2010

　　[5]　Hopf，　K.;　，　"An　autostereoscopic　display　providing　comfortable　viewing　conditions　and　a　high　degree　of　telepresence，"　Circuits　and　Systems　for　Video　Technology，　IEEE　Transactions　on　，　vol.10，　no.3，　pp.359-365，　Apr　2000

點(diǎn)擊下頁還有更多>>>裸眼3d技術(shù)論文