關(guān)于多媒體技術(shù)論文

關(guān)于多媒體技術(shù)論文

　　隨著信息科技的快速發(fā)展，多媒體技術(shù)在教育領(lǐng)域也獲得了空前的飛速發(fā)展。下面是學(xué)習(xí)啦小編整理的關(guān)于多媒體技術(shù)論文，希望你能從中得到感悟!

　　關(guān)于多媒體技術(shù)論文篇一

　　多媒體技術(shù)漫談

　　摘要：這篇文章，主要是從宏觀上總結(jié)了一下現(xiàn)階段圖像視頻底層技術(shù)的發(fā)展及應(yīng)用點，從一個圖像視頻算法研究人員的角度談一談對這個領(lǐng)域的認(rèn)識。圖像視頻領(lǐng)域的商業(yè)應(yīng)用，集中在多媒體娛樂、互聯(lián)網(wǎng)、智能監(jiān)控、工業(yè)機器視覺、OCR、生物特征識別、醫(yī)學(xué)圖像處理以及軍事國防幾個領(lǐng)域，多媒體領(lǐng)域是其中的一個重要分支，很多圖像視頻領(lǐng)域的新算法和新理論往往在多媒體領(lǐng)域得到最先的應(yīng)用。

　　關(guān)鍵詞：多媒體;視頻智能編輯;視頻感興趣區(qū);圖像視頻場景分析

　　中圖分類號：TP37 文獻(xiàn)標(biāo)識碼：A文章編號：1007-9599(2012)01-0000-02

　　Multimedia Technology Study

　　Du Pengxiang,Huang Shanshi

　　(China Telecom Co.,Ltd.,Wenzhou Branch,Wenzhou325000,China)

　　Abstract:This article is from the macro summarizes the development and application point of the current image video of the underlying technology from the perspective of an image of video algorithms researchers talk about the understanding of this area.The field of image and video business applications, multimedia entertainment,the Internet, intelligent monitoring,industrial machine vision,OCR,biometrics, medical image processing,as well as military defense in several areas, multimedia areas is an important branch of a lot of image field of video the new algorithms and new theories are often the first application in the multimedia field.

　　Keywords:Multimedia;Video intelligent editing;Video interest region;Image video scene analysis

　　多媒體領(lǐng)域主要集中了MicroSoft、Adobe、MITSUBISHI、Cyberlink、Muvee、Autodesk、Corel、Sony、2D3、MotionDSP等一批公司，以及與之相關(guān)的PAMI、IJCV、CVPR、ICCV、ECCV、SIGRAPH等眾多多高水平的學(xué)術(shù)期刊和學(xué)術(shù)會議。多媒體領(lǐng)域的研究方向比較雜，包括但不限于下面幾類，視頻智能編輯、視頻感興趣區(qū)、圖像視頻場景分析、圖像視頻修復(fù)及后處理、人臉系列技術(shù)、非真實感渲染(NPL)系列技術(shù)、3D系列技術(shù)、人機交互技術(shù)等。

　　一、視頻智能編輯

　　主要包括視頻鏡頭邊界檢測以及在此基礎(chǔ)上的視頻自動故事片生成、視頻廣告檢測、視頻廢鏡頭檢測等。視頻鏡頭邊界檢測在經(jīng)歷了一段時間的發(fā)展之后，檢測率也達(dá)到一定的程度，目前基本上不再有新的文章出現(xiàn)。視頻自動故事片生成往往需要音視頻技術(shù)的結(jié)合，并且由于缺乏有效的評級機制，最近幾年已經(jīng)不是研究的熱點，但是相信各個視頻編輯領(lǐng)域的公司仍在研究或者開發(fā)過程之中。視頻中的廣告檢測作為其中的一個小的分支，可能因為沒有很大的商業(yè)價值，研究的并不多，但想要真正實現(xiàn)高的檢測率，仍然有很多值得研究的地方。視頻廢鏡頭檢測其實是視頻修復(fù)的一部分，包括檢測視頻中的抖動片段、模糊片段、過曝過暗片段等，從而達(dá)到視頻修復(fù)的目的。

　　(一)視頻感興趣區(qū)的研究

　　最近是一個熱點方向，感興趣區(qū)提取和跟蹤可以用來做視頻智能縮放，可以用來指導(dǎo)視頻編輯中的精彩視頻片段選擇，還可以在片源采集時就用來指導(dǎo)攝像機捕捉精彩片段。人臉、人物、車輛、小動物、房屋、花草樹木等在特定的場景下等都可以作為感興趣區(qū)，感興趣區(qū)提取的方式方法也比較多，但除了人臉、人物檢測技術(shù)上還比較成熟之外，其他目標(biāo)的檢測很難達(dá)到滿意的準(zhǔn)確度。人物檢測基礎(chǔ)上的精細(xì)分割摳像技術(shù)，也是圖像領(lǐng)域的一個基礎(chǔ)研究方向，準(zhǔn)確的摳像，是換背景等智能化效果的基礎(chǔ)。

　　(二)圖像視頻場景分析

　　主要用在視頻管理和視頻按場景選擇和編輯。通過對不同的場景的特征進(jìn)行分析設(shè)計分類器進(jìn)行分類，對于視頻管理這種不要求很高精度的應(yīng)用點可以滿足要求。照片和視頻按場景內(nèi)容管理，跟基于人臉識別技術(shù)的照片管理，是基于內(nèi)容管理的兩個方式，相信今后的多媒體編輯和管理軟件都會逐步增加這個功能。

　　(三)圖像視頻的修復(fù)及后處理

　　主要包括視頻抖動修復(fù)、圖像視頻去模糊、視頻過曝過暗修復(fù)、視頻去霧化、老電影舊照片修復(fù)、馬賽克修復(fù)、視頻圖像超分辨率、視頻圖像智能變比例縮放、視頻幀插值、圖像視頻去噪等。

　　視頻抖動修復(fù)關(guān)鍵是攝像機軌跡的檢測，確定了攝像機的移動軌跡，視頻修復(fù)就有了基礎(chǔ)的指導(dǎo)。通過尋找視頻中的特征點，然后對特征點進(jìn)行跟蹤，通過分析每個特征點的軌跡，確定攝像機的整體軌跡。如果假定視頻中的內(nèi)容都是一個平面上，只考慮攝像機在2D平面的軌跡，事情要容易的多，但事實上攝像機的軌跡應(yīng)該是3D的，這就變成了一個“Structure from Motion”的問題，處理起來就比較復(fù)雜，但如果想得到理想的穩(wěn)像效果，得出攝像機3D軌跡是必須的。另外，攝像機3D軌跡的求取，也是其他基于3D的視頻應(yīng)用的基礎(chǔ)，這個后面再講。

　　圖像視頻去模糊，這個的關(guān)鍵是尋找模糊核，也就是拍攝的瞬間攝像機或相機的運動軌跡，在這個運動軌跡上反卷積，就可以恢復(fù)攝像機不動情況下拍攝的視頻、圖像，也就是不模糊的視頻、圖像了。所以，對視頻的去模糊，比起對圖像的去模糊，手段要多一些，因為視頻去模糊可以通過視頻序列的信息來得到攝像機的運動軌跡。而圖像的去模糊，這個運動軌跡只能是通過對圖像內(nèi)部結(jié)構(gòu)的分析進(jìn)行估計?？紤]到軌跡估計和反卷積的運算量，不管是圖像去模糊還是視頻去模糊，目前都不算很成熟，但是成熟的產(chǎn)品應(yīng)該會在短期內(nèi)出現(xiàn)。

　　視頻過曝過暗修復(fù)，如果視頻質(zhì)量不是太差，直方圖被擠壓的不是太厲害，還可以通過直方圖均衡化的方式進(jìn)行簡單修復(fù)，但是如果直方圖被擠壓的很嚴(yán)重，那就只能刪除了。

　　視頻、圖像去霧化，簡單點說，就是把被霧化的圖像建模為一個正常的無霧的圖像與純霧的圖像的合成，因為拍攝得到圖像中霧的灰度值與景深有關(guān)，所以好的去霧算法，應(yīng)該是以準(zhǔn)確的景深估計為基礎(chǔ)的，3D景深估計也是一個很熱的方向。

　　老電影舊照片修復(fù)，大概包括色彩的修復(fù)和一些劃痕修復(fù)，色彩修復(fù)，可以以類似去霧的建模方式，也可以簡單的做色調(diào)調(diào)節(jié)，問題都不大。劃痕修復(fù)就比較復(fù)雜，除了要把劃痕檢測到，還要用周圍的像素來填充劃痕的像素，比較典型的全變分方法可以用來處理這類問題。

　　馬賽克修復(fù)，馬賽克修復(fù)基本上還是要從產(chǎn)生的原因入手，如果是編解碼層的問題，可以對編解碼的數(shù)據(jù)嘗試修復(fù)。如果到了解碼后的圖像數(shù)據(jù)，想要修復(fù)就是一個無中生有的問題了，只能是依靠邊緣紋理來去掉馬賽克的效果，但是想要恢復(fù)圖像內(nèi)容，除非后臺有一個強大的針對特定目標(biāo)的數(shù)據(jù)庫來支持虛構(gòu)類似的內(nèi)容，否則毫無辦法。

　　視頻、圖像超分辨率，超分辨率的方法，總體來說兩種思路，一種是挖掘圖像的邊緣信息，在圖像放大的時候，盡量保邊緣，這類方法以NEDI方法為典型，缺點是速度比較慢。另一類是基于Patch的方法，首先建立一個低分辨率Patch對應(yīng)高分辨率Patch的映射表，前期先把這個映射關(guān)系建立好，然后就只需要通過查找映射表來進(jìn)行超分辨率操作了。如果建立的映射表足夠大，那就可以得到比較理想的超分辨率結(jié)果，理論上講不論速度還是質(zhì)量都比前一種方法要好。

　　視頻圖像智能變比例縮放，是指通過分析圖像視頻中的內(nèi)容，在圖像、視頻縮放的過程中，保留有內(nèi)容的關(guān)鍵區(qū)域比例不變，而壓縮、擴展不重要的區(qū)域，這樣看起來縮放后的圖像、視頻主要內(nèi)容不會變形?；趫D像的智能縮放算法比較成熟，基于視頻的由于要考慮視頻序列的前后幀的連續(xù)性，必須加入時間軸的約束，因此效果不如圖像理想，做的不好會引出視頻的抖動問題。

　　視頻幀插值，可以用來解決幀率變化的情況下，出現(xiàn)的視頻抖動問題，主要是一個視頻的全局運動，類似于視頻抖動檢測，應(yīng)該說技術(shù)上不復(fù)雜，但是視頻中的局部運動會干擾全局的運動估計，這樣插值出來的幀就會存在一定的瑕疵。

　　圖像視頻去噪，方法很多，簡單點通過濾波高頻信號的方法如高斯濾波，或者簡單的中值濾波都可以有一定的效果，但是目前看來，最理想的方法還是非局部均值(NLM)方法。其他的一些例如偏微分方程的方法也可以嘗試。

　　五、人臉系列技術(shù)

　　包括人臉檢測、跟蹤，人臉特征點定位，人臉識別，人臉的表情識別，人的年齡、性別識別，人臉的美化，人臉卡通效果，人臉的變形效果，人臉的3D重建等以及與此相關(guān)的眼睛檢測和紅眼修復(fù)等。

　　六、非真實感渲染(NPL)系列技術(shù)

　　包括水墨畫、水彩畫、油畫、漫畫效果等人工畫效果，風(fēng)、雪、雨、煙、霧、火焰、海浪等一些自然環(huán)境的模擬效果。

　　人工畫效果的實現(xiàn)主要是基于Stroke的方式，難點在于圖像的解析，一個好的人工畫效果，需要正確的將圖像分解為不同的區(qū)域，并分析不同區(qū)域的結(jié)構(gòu)特點來確定用筆方式、Stroke的精細(xì)度等參數(shù)。

　　對自然環(huán)境的模擬，主要是一些粒子的模擬，可以采用基于物理模型的方式研究粒子的受力及運動方式，流體力學(xué)的相關(guān)方法是這個領(lǐng)域的核心。

　　NPL技術(shù)，除了用于對圖像、視頻的特效上，另外像一些煙霧效果和水墨畫效果用于藝術(shù)字的特效也是不錯的選擇。

　　七、3D系列技術(shù)

　　3D技術(shù)在視頻中的應(yīng)用點，可以看到的有3D穩(wěn)像、3D對象嵌入等等，這里的關(guān)鍵是獲取攝像機的3D軌跡與視頻中的特征點的3D深度信息，通過視頻序列分析攝像機的3D軌跡的技術(shù)叫“Structure from Motion”，大量的文章可以參考。有了攝像機的3D軌跡與視頻中的特征點的3D深度信息，2維的圖像信息就一定程度擴展到了3維。全景圖的拼接技術(shù)，本質(zhì)上也利用了基于雙目視覺3維重構(gòu)的一部分技術(shù)。得到了3D攝像頭軌跡，可以利用這個信息進(jìn)行3D插幀，借此虛擬重構(gòu)雙目視覺畫面，通過3D眼鏡，就可以看到比較理想的3D場景了。3D的應(yīng)用，可以想象的空間比較大，多了一維信息，總可以做出一些新的東西。

　　八、人機交互技術(shù)

　　人機交互是指通過攝像頭捕捉人的手勢、身體的姿態(tài)、面部表情、眼睛的移動等信息，代替?zhèn)鹘y(tǒng)的鼠標(biāo)鍵盤來指導(dǎo)計算機做出相應(yīng)的處理。技術(shù)層面主要涉及目標(biāo)的檢測、跟蹤以及姿態(tài)的識別。相比之前提到的多媒體的各種方向，人機交互應(yīng)該是最有市場前景的方向，應(yīng)用點也非常多。

　　九、結(jié)論：

　　除了上述的這些技術(shù)方向之外，在此基礎(chǔ)上或者與這些技術(shù)相關(guān)的一些其他的應(yīng)用也可能不斷的出現(xiàn)，多媒體領(lǐng)域可以說是人工智能的一個試驗田，很多即使不成熟的新技術(shù)都很可能首先在這個領(lǐng)域出現(xiàn)和發(fā)展。這個領(lǐng)域幾乎可以囊括圖像視頻處理、模式識別的所有底層技術(shù)，必然可以衍生出很多很雜的應(yīng)用點。

點擊下頁還有更多>>>關(guān)于多媒體技術(shù)論文