物聯(lián)網(wǎng)數(shù)據(jù)管理研究論文
物聯(lián)網(wǎng)可實(shí)現(xiàn)物與物、人與物的智能交互,而物聯(lián)網(wǎng)的廣泛應(yīng)用則要依賴有效的數(shù)據(jù)管理。物聯(lián)網(wǎng)是在互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴(kuò)展的網(wǎng)絡(luò)。下面是學(xué)習(xí)啦小編給大家推薦的物聯(lián)網(wǎng)數(shù)據(jù)管理研究論文,希望大家喜歡!
物聯(lián)網(wǎng)數(shù)據(jù)管理研究論文篇一
《物聯(lián)網(wǎng)數(shù)據(jù)管理研究》
摘 要:物聯(lián)網(wǎng)可實(shí)現(xiàn)物與物、人與物的智能交互,而物聯(lián)網(wǎng)的廣泛應(yīng)用則要依賴有效的數(shù)據(jù)管理。文中針對(duì)物聯(lián)網(wǎng)中數(shù)據(jù)的特點(diǎn)、組成和數(shù)據(jù)的流轉(zhuǎn)過(guò)程,分析了物聯(lián)網(wǎng)數(shù)據(jù)管理所面臨的問題,并在對(duì)現(xiàn)有數(shù)據(jù)管理技術(shù)進(jìn)行研究的基礎(chǔ)上,提出了物聯(lián)網(wǎng)環(huán)境下基于云計(jì)算平臺(tái)的數(shù)據(jù)管理框架,同時(shí)指出了在此框架下應(yīng)完成的功能和實(shí)現(xiàn)思路。
關(guān)鍵詞:物聯(lián)網(wǎng);數(shù)據(jù)管理;數(shù)據(jù)模型;數(shù)據(jù)存儲(chǔ);云計(jì)算
中圖法分類號(hào):TP393 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-1302(2014)04-0079-04
0 引 言
物聯(lián)網(wǎng)(Internet of Things,IoT)是通過(guò)射頻識(shí)別(RFID)、無(wú)線傳感器、全球定位系統(tǒng)、激光掃描器等信息傳感設(shè)備,按約定的協(xié)議,把任何物品與互聯(lián)網(wǎng)連接起來(lái),進(jìn)行信息交換和通訊,以實(shí)現(xiàn)智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)[1],被稱為繼計(jì)算機(jī)、互聯(lián)網(wǎng)之后世界信息產(chǎn)業(yè)的第三次浪潮。物聯(lián)網(wǎng)是由多項(xiàng)信息技術(shù)融合而成的新型技術(shù)體系,目前多個(gè)國(guó)家都在花巨資進(jìn)行深入研究,主要集中在射頻識(shí)別RFID技術(shù)、無(wú)線傳感技術(shù)、納米技術(shù)、嵌入技術(shù)、云計(jì)算和IPV6等。
物聯(lián)網(wǎng)是在互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴(kuò)展的網(wǎng)絡(luò),它將終端延伸和擴(kuò)展到了任何物品與物品之間。計(jì)算機(jī)和互聯(lián)網(wǎng)的出現(xiàn)創(chuàng)造了大量數(shù)據(jù),物聯(lián)網(wǎng)創(chuàng)造出的數(shù)據(jù)將遠(yuǎn)多于互聯(lián)網(wǎng),物聯(lián)網(wǎng)包含了數(shù)以億級(jí)的節(jié)點(diǎn),代表各種對(duì)象,從小型的無(wú)處不在的傳感器設(shè)備、手持設(shè)備到大型網(wǎng)絡(luò)服務(wù)器和超級(jí)計(jì)算機(jī)集群,數(shù)據(jù)每時(shí)每刻都在大量產(chǎn)生,且形式多樣,如結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、流數(shù)據(jù)和多維數(shù)據(jù)等,有對(duì)決策貢獻(xiàn)大的數(shù)據(jù),也有幫助較小的數(shù)據(jù),還有噪聲數(shù)據(jù),各種數(shù)據(jù)性質(zhì)不同,處理的方式、存儲(chǔ)的手段以及在此之上的信息提取方法各不相同,這些數(shù)據(jù)在不同的系統(tǒng)或場(chǎng)合中被使用、重用或引用,比如數(shù)據(jù)的查詢、分析等。對(duì)如此海量數(shù)據(jù)的有效處理、存儲(chǔ)和管理是物聯(lián)網(wǎng)得以廣泛應(yīng)用的關(guān)鍵所在。而現(xiàn)有國(guó)內(nèi)外對(duì)物聯(lián)網(wǎng)的研究多集中在體系結(jié)構(gòu)、RFID、傳感網(wǎng)絡(luò)和標(biāo)準(zhǔn)化以及物聯(lián)網(wǎng)中間件[2-5]等,對(duì)數(shù)據(jù)方面的研究比較少,Keith G.Jeffery等指出傳統(tǒng)數(shù)據(jù)庫(kù)不適于管理物聯(lián)網(wǎng)數(shù)據(jù)[6],Anne James等指出了物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)結(jié)構(gòu)的研究方向[7]。鑒于此,本文在分析物聯(lián)網(wǎng)數(shù)據(jù)特點(diǎn)的和現(xiàn)有數(shù)據(jù)管理技術(shù)的基礎(chǔ)上,從數(shù)據(jù)模型、數(shù)據(jù)預(yù)處理與集成、存儲(chǔ)與索引和查詢分析等幾個(gè)方面對(duì)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行了有益的探索。
1 物聯(lián)網(wǎng)數(shù)據(jù)分析
1.1 物聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn)
物聯(lián)網(wǎng)涉及領(lǐng)域多,遍及智能交通、環(huán)境保護(hù)、政府工作、公共安全、平安家居、智能消防、工業(yè)監(jiān)測(cè)、環(huán)境監(jiān)測(cè)、老人護(hù)理、個(gè)人健康、花卉栽培、水系監(jiān)測(cè)、食品溯源、敵情偵查和情報(bào)搜集等多個(gè)領(lǐng)域,每個(gè)領(lǐng)域都有各自不同的特點(diǎn),同時(shí)領(lǐng)域之間還有合作。因此物聯(lián)網(wǎng)中數(shù)據(jù)具有如下特點(diǎn):
(1)海量;
(2)共享;
(3)類型多樣,包含著關(guān)系型數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、流數(shù)據(jù)和多維數(shù)據(jù)和無(wú)結(jié)構(gòu)的文檔等;
(4)數(shù)據(jù)有噪聲、不一致、不確定,由于采集的數(shù)據(jù)的準(zhǔn)確度受儀器的精度制約,同時(shí)在網(wǎng)絡(luò)傳輸過(guò)程(特別是無(wú)線網(wǎng)絡(luò)傳輸)中,數(shù)據(jù)的準(zhǔn)確性受到帶寬、傳輸延時(shí)、能量等因素影響,而在傳感器網(wǎng)絡(luò)應(yīng)用與RFID應(yīng)用中,周圍環(huán)境也會(huì)影響原始數(shù)據(jù)的準(zhǔn)確度。
1.2 物聯(lián)網(wǎng)數(shù)據(jù)的組成
物聯(lián)網(wǎng)中數(shù)據(jù)有離散的,有連續(xù)的,其中既有已存在的輸入數(shù)據(jù)源,也有在對(duì)數(shù)據(jù)進(jìn)行分析和處理的過(guò)程中產(chǎn)生的中間數(shù)據(jù)和最終結(jié)果數(shù)據(jù),但大體上可以分為如下幾類[8]:
(1)RFID標(biāo)簽數(shù)據(jù):射頻標(biāo)識(shí)是利用無(wú)線電波來(lái)對(duì)物品進(jìn)行識(shí)別和追蹤的的常用技術(shù),在標(biāo)簽里面存儲(chǔ)著物品的編碼,如EPCGlobal的EPCCode,此類數(shù)據(jù)多以比較簡(jiǎn)單的元組形式出現(xiàn)(OID,RID,T),表示某個(gè)時(shí)刻某個(gè)閱讀器讀到標(biāo)簽數(shù)據(jù)。
(2)地址/唯一名稱數(shù)據(jù):物聯(lián)網(wǎng)中用來(lái)標(biāo)識(shí)一個(gè)物體的有可能是IP地址,如IPv4和IPv6,還有可能使用類似于DNS的層次命名結(jié)構(gòu)如EPCGlobal的ONS。在底層,有的物品還可能采用簡(jiǎn)單的唯一標(biāo)識(shí)符的方式,比如UUIDs(Universally Unique Identifiers )和GUIDs (Globally Unique Identifiers)。
(3)描述性數(shù)據(jù):物聯(lián)網(wǎng)中的大部分?jǐn)?shù)據(jù)來(lái)源于此,是描述物品的基本信息、狀態(tài)過(guò)程信息和體系信息的數(shù)據(jù)或者元數(shù)據(jù),只有知道這些數(shù)據(jù)才能最大限度的使用物聯(lián)網(wǎng)提供的服務(wù)和便利。
(4)位置和環(huán)境數(shù)據(jù):這些數(shù)據(jù)有的來(lái)自GPS,有的來(lái)自本地定位系統(tǒng),如蜂窩基站、Wi-Fi訪問點(diǎn)和電視塔。
(5)傳感器數(shù)據(jù):這是數(shù)據(jù)進(jìn)入物聯(lián)網(wǎng)的渠道之一,通過(guò)組建無(wú)線傳感網(wǎng)絡(luò)用來(lái)監(jiān)測(cè)氣候、溫度、濕度等,是一些多維的時(shí)間序列數(shù)據(jù)。
(6)歷史數(shù)據(jù):對(duì)這些數(shù)據(jù)的訪問頻率不同,必須對(duì)數(shù)據(jù)分類,制定相應(yīng)保存數(shù)據(jù)和數(shù)據(jù)歸檔的策略。
(7)物理模型:為了提升物聯(lián)網(wǎng)的功能,要包含一些常用的物理模型比如力學(xué)的、光學(xué)的、聲學(xué)的,電磁學(xué)的,以便于對(duì)物理場(chǎng)景的建模和仿真。
(8)設(shè)備的狀態(tài)和命令數(shù)據(jù):物聯(lián)網(wǎng)可用于遙控設(shè)備,所以物聯(lián)網(wǎng)記錄了大量的命令數(shù)據(jù)以及設(shè)備的實(shí)時(shí)反饋信息,以便于將來(lái)的追蹤和分析。
1.3 數(shù)據(jù)流轉(zhuǎn)過(guò)程
物聯(lián)網(wǎng)中數(shù)據(jù)的流轉(zhuǎn)過(guò)程如下:
(1) 利用射頻識(shí)別、二維碼、傳感器等感知、捕獲、測(cè)量技術(shù)隨時(shí)隨地對(duì)物品進(jìn)行信息采集和獲取;
(2) 將物品信息轉(zhuǎn)換為適合網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)格式,如EPCGlobal采用PML文件格式傳輸數(shù)據(jù)。
(3) 將物品的信息通過(guò)網(wǎng)絡(luò)傳輸?shù)叫畔⑻幚碇行?,該中心要具有海量感知信息的?jì)算與處理能力,采用云計(jì)算平臺(tái)實(shí)現(xiàn)信息存儲(chǔ)資源和計(jì)算能力的分布式共享,為海量信息的高效利用提供支撐。
(4) 服務(wù)和應(yīng)用是物聯(lián)網(wǎng)的最終價(jià)值體現(xiàn),各種應(yīng)用通過(guò)訪問處理中心獲取物品的詳細(xì)信息。
2 物聯(lián)網(wǎng)數(shù)據(jù)管理
工業(yè)界和學(xué)術(shù)界雖然都把對(duì)物聯(lián)網(wǎng)的研究提到一個(gè)很高的程度,但是要想讓物聯(lián)網(wǎng)真正發(fā)揮作用,就要充分利用它的海量數(shù)據(jù),從中發(fā)現(xiàn)潛在的價(jià)值。因此基于云計(jì)算平臺(tái)的信息處理中心對(duì)數(shù)據(jù)的有效管理是物聯(lián)網(wǎng)得以應(yīng)用的關(guān)鍵。
通過(guò)上述物聯(lián)網(wǎng)數(shù)據(jù)分析可知,物聯(lián)網(wǎng)中存在著結(jié)構(gòu)化數(shù)據(jù)如關(guān)系數(shù)據(jù)庫(kù),半結(jié)構(gòu)化數(shù)據(jù)如XML數(shù)據(jù),流數(shù)據(jù)如時(shí)間序列數(shù)據(jù),還有一些文檔、圖片、聲音、視頻等數(shù)據(jù),而這些數(shù)據(jù)之間又可能存在著千絲萬(wàn)縷的聯(lián)系,采用什么樣的數(shù)據(jù)模型來(lái)有效的進(jìn)行數(shù)據(jù)的表示、操作和約束,采用什么樣的存儲(chǔ)和索引技術(shù),采用什么樣的查詢分析方法是物聯(lián)網(wǎng)數(shù)據(jù)管理應(yīng)解決的問題,同時(shí)還要解決諸如數(shù)據(jù)保護(hù)、數(shù)據(jù)隱私、數(shù)據(jù)安全性、數(shù)據(jù)歸檔等問題。
2.1 現(xiàn)有數(shù)據(jù)管理技術(shù)分析
現(xiàn)有成熟的數(shù)據(jù)管理技術(shù)是關(guān)系數(shù)據(jù)庫(kù),用來(lái)管理結(jié)構(gòu)化的數(shù)據(jù)。各種企業(yè)應(yīng)用系統(tǒng)和辦公系統(tǒng)都采取這種方式,常見數(shù)據(jù)庫(kù)如SQL SERVER、ORACLE、MY SQL、DB2等,這是一種基于二維表的數(shù)據(jù)結(jié)構(gòu),數(shù)據(jù)操作基于嚴(yán)格的數(shù)據(jù)操縱語(yǔ)言SQL,通過(guò)保持事務(wù)的ACID特性、加鎖機(jī)制、時(shí)間戳、兩階段鎖協(xié)議和并發(fā)控制等來(lái)保證數(shù)據(jù)的一致性和相容性。關(guān)系數(shù)據(jù)庫(kù)是一種模式優(yōu)先的管理方式,也就是說(shuō)數(shù)據(jù)間的聯(lián)系是經(jīng)過(guò)需求分析已經(jīng)確定好了的,而且數(shù)據(jù)類型和長(zhǎng)度也是在數(shù)據(jù)庫(kù)中預(yù)先定義好的。關(guān)系數(shù)據(jù)庫(kù)中數(shù)據(jù)源比較單一,就是一系列的二維表,而且在整個(gè)數(shù)據(jù)管理過(guò)程中關(guān)系模式變動(dòng)很少。雖然隨著數(shù)據(jù)量的增大和數(shù)據(jù)異地存儲(chǔ)的需要,又出現(xiàn)了分布式數(shù)據(jù)庫(kù)。但是其核心還是關(guān)系型的。
而物聯(lián)網(wǎng)中的數(shù)據(jù)源形式多樣,沒有統(tǒng)一的模式,數(shù)據(jù)存在著千絲萬(wàn)縷的聯(lián)系,且聯(lián)系是松散的、滯后的,而人們使用數(shù)據(jù)多以服務(wù)的形式來(lái)調(diào)用,而事務(wù)的ACID特性不適用于Web事務(wù)處理,因?yàn)閱蝹€(gè)的Web服務(wù)本質(zhì)上來(lái)說(shuō)是自治的并且只負(fù)責(zé)自身的一致性,這就會(huì)和用戶的全局事務(wù)產(chǎn)生沖突,例如預(yù)定一次旅游,不僅要預(yù)定酒店還要預(yù)定機(jī)票,用戶只關(guān)心預(yù)定旅游是否成功,但是預(yù)定機(jī)票和酒店是兩套獨(dú)立的系統(tǒng),很有可能其中一項(xiàng)不成功,所以兩階段提交過(guò)程是不可行的。所以不能采用傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)技術(shù)來(lái)管理物聯(lián)網(wǎng)數(shù)據(jù)。
XML是管理半結(jié)構(gòu)化數(shù)據(jù)的常用技術(shù),具有自描述性,是針對(duì)異構(gòu)數(shù)據(jù)的交換提出的,常用來(lái)實(shí)現(xiàn)模式滯后的數(shù)據(jù)集成。XML采用層次性的數(shù)據(jù)模型,通過(guò)XQuery進(jìn)行數(shù)據(jù)查詢。但是它多用于描述數(shù)據(jù),如關(guān)于數(shù)據(jù)的數(shù)據(jù)-元數(shù)據(jù)就是一個(gè)很好的例子,而且XML采用樹狀結(jié)構(gòu)在操作實(shí)現(xiàn)方面也不足,重要的是不能處理語(yǔ)義信息。
面對(duì)數(shù)據(jù)管理呈現(xiàn)的特點(diǎn):海量、共享、多樣性、不確定。工業(yè)界和學(xué)術(shù)界進(jìn)行了新的嘗試。
在云計(jì)算的數(shù)據(jù)管理技術(shù)中最著名的是谷歌提出的BigTable[8],這是一種為了管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng),這些數(shù)據(jù)可以擴(kuò)展到非常大的規(guī)模,例如在數(shù)千臺(tái)商用服務(wù)器上的達(dá)到PB ( Petabytes)規(guī)模的數(shù)據(jù),通過(guò)采用列存儲(chǔ)和用三級(jí)的層次化的方式來(lái)存儲(chǔ)位置信息以提高存取效率和獲得高擴(kuò)展性。這種數(shù)據(jù)管理技術(shù)雖然已經(jīng)投入使用,但是對(duì)類似數(shù)據(jù)庫(kù)中的Join操作效率太低,表內(nèi)數(shù)據(jù)需要切分存儲(chǔ),數(shù)據(jù)類型限定為string類型過(guò)于簡(jiǎn)單。
數(shù)據(jù)管理面臨的挑戰(zhàn)又產(chǎn)生了一種新的數(shù)據(jù)管理技術(shù)-數(shù)據(jù)空間。數(shù)據(jù)空間[9]是一種從數(shù)據(jù)到模式的管理方式,它不依賴嚴(yán)格的數(shù)據(jù)模式,數(shù)據(jù)模式可以是松散的、滯后的,數(shù)據(jù)模式是在數(shù)據(jù)的基礎(chǔ)上,根據(jù)主體需求逐步演化出來(lái)的。它由主體、數(shù)據(jù)集和服務(wù)構(gòu)成,其中主體是數(shù)據(jù)空間的擁有者,數(shù)據(jù)集是與主體相關(guān)的所有可控?cái)?shù)據(jù)的集合,它包含對(duì)象以及對(duì)象間的聯(lián)系,數(shù)據(jù)集隨著時(shí)間的推移和業(yè)務(wù)的擴(kuò)展越來(lái)越大,主體通過(guò)服務(wù)對(duì)數(shù)據(jù)空間進(jìn)行管理,例如數(shù)據(jù)分類、查詢、更新、索引等。但是對(duì)于數(shù)據(jù)空間的研究還處在起步階段,實(shí)現(xiàn)的原型系統(tǒng)還是圍繞個(gè)人數(shù)據(jù)空間管理如文件系統(tǒng)和桌面搜索。
2.2 物聯(lián)網(wǎng)數(shù)據(jù)管理框架
基于上述物聯(lián)網(wǎng)數(shù)據(jù)的分析,結(jié)合現(xiàn)有數(shù)據(jù)管理技術(shù),本文提出一個(gè)基于云計(jì)算平臺(tái)的物聯(lián)網(wǎng)數(shù)據(jù)管理框架,然后從數(shù)據(jù)模型、數(shù)據(jù)預(yù)處理與集成、數(shù)據(jù)查詢、存儲(chǔ)索引等幾個(gè)方面,對(duì)物聯(lián)網(wǎng)數(shù)據(jù)管理的相
關(guān)技術(shù)進(jìn)行了研究,提出了如圖1所示的物聯(lián)網(wǎng)數(shù)據(jù)管理框架。該框架主要包括數(shù)據(jù)預(yù)處理與集成、分布式的數(shù)據(jù)中心,其中數(shù)據(jù)中心要解決數(shù)據(jù)模型、數(shù)據(jù)存儲(chǔ)與索引、查詢分析處理等問題。
圖1 物聯(lián)網(wǎng)數(shù)據(jù)管理框架
2.3 數(shù)據(jù)預(yù)處理與集成
這是物聯(lián)網(wǎng)數(shù)據(jù)管理應(yīng)用不可缺少的組成部分。它包含3方面的內(nèi)容:
(1)數(shù)據(jù)清洗,這是物聯(lián)網(wǎng)數(shù)據(jù)管理需要考慮的重要問題,要對(duì)不準(zhǔn)確、不精確的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換等處理,包括處理缺失值,刪除重復(fù)數(shù)據(jù)等,同時(shí)要考慮物聯(lián)網(wǎng)數(shù)據(jù)采集的特殊性,如采用基于對(duì)監(jiān)控對(duì)象動(dòng)態(tài)聚簇建模和高效的關(guān)聯(lián)度維護(hù)來(lái)估算真實(shí)的小組,在此基礎(chǔ)上進(jìn)行有效的清洗[7];
(2)將準(zhǔn)確數(shù)據(jù)轉(zhuǎn)化為不精確的數(shù)據(jù)或者將細(xì)粒度數(shù)據(jù)轉(zhuǎn)換為粗粒度數(shù)據(jù),從而達(dá)到安全和隱私保護(hù)等特殊目的,如采用(k,δ)-匿名模型[8];
(3)針對(duì)物聯(lián)網(wǎng)多類型的數(shù)據(jù)源,對(duì)不同的數(shù)據(jù)格式采用不同的數(shù)據(jù)抽取技術(shù),從特定數(shù)據(jù)項(xiàng)中抽取特征信息按照物聯(lián)網(wǎng)數(shù)據(jù)模型要求進(jìn)行形式化表示,并通過(guò)模式匹配確定數(shù)據(jù)對(duì)象在數(shù)據(jù)中心中是否已經(jīng)存在,以便決定下一步工作,從而完成數(shù)據(jù)集成工作。
面向服務(wù)(SOA)是最近發(fā)展起來(lái)的一種架構(gòu)模型,它具有較高的可靠性和自恢復(fù)能力。它的數(shù)據(jù)交換基于XML,目前Web Service是實(shí)現(xiàn)SOA的最佳途徑,以服務(wù)的形式向外界提供靈活多樣的功能。通過(guò)服務(wù)描述語(yǔ)言(WSDL),提供對(duì)服務(wù)接口的抽象描述,通過(guò)建立在SOAP規(guī)范基礎(chǔ)上的消息傳遞機(jī)制實(shí)現(xiàn)服務(wù)間或服務(wù)與應(yīng)用間的信息傳遞。
物聯(lián)網(wǎng)的支撐設(shè)備包括高性能計(jì)算平臺(tái)、海量存儲(chǔ)以及管理系統(tǒng)及數(shù)據(jù)庫(kù)等,數(shù)據(jù)預(yù)處理與集成可采用面向服務(wù)的架構(gòu),通過(guò)自行創(chuàng)建一組高內(nèi)聚低耦合的服務(wù)或者調(diào)用云計(jì)算平臺(tái)提供的服務(wù)來(lái)完成特定的功能。面向服務(wù)架構(gòu)以及云計(jì)算基礎(chǔ)設(shè)施,必定促進(jìn)物聯(lián)網(wǎng)數(shù)據(jù)的集成。
2.4 數(shù)據(jù)模型
定義與場(chǎng)景相匹配的模型是數(shù)據(jù)管理的首要任務(wù),數(shù)據(jù)模型包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)操作和數(shù)據(jù)約束,是數(shù)據(jù)管理技術(shù)的基礎(chǔ)和核心,它應(yīng)該能夠概括物聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn),提供高效的數(shù)據(jù)服務(wù)。
物聯(lián)網(wǎng)數(shù)據(jù)存在著不確定性,可能世界(Possible World)模型是描述不確定性數(shù)據(jù)的通用模型,該模型包含若干個(gè)可能世界實(shí)例,所有可能世界實(shí)例的發(fā)生概率之和等于1。針對(duì)于具體的應(yīng)用發(fā)展出了各種相應(yīng)的模型,如針對(duì)關(guān)系型數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、流數(shù)據(jù)和多維數(shù)據(jù)的模型。物聯(lián)網(wǎng)中存在著類型多樣的數(shù)據(jù),不可能用統(tǒng)一的模型來(lái)表,只能分而治之,將不同類型的數(shù)據(jù)源作為可能實(shí)例,然后再進(jìn)行綜合。物聯(lián)網(wǎng)實(shí)現(xiàn)了人與人、人與物、物與物之間的互聯(lián),以人與物為主體,每個(gè)主體有自己的基本信息如標(biāo)識(shí)、組成、位置、遙感數(shù)據(jù)等,還有與主體相關(guān)的過(guò)程處理等信息,主體與主體之間還存在著聯(lián)系,可以把這些信息建立起一系列資源視圖,形成以主體為節(jié)點(diǎn),以主體間聯(lián)系為邊的圖,從而實(shí)現(xiàn)對(duì)各種數(shù)據(jù)類型的數(shù)據(jù)源(如文檔、關(guān)系數(shù)據(jù)庫(kù)、XML文檔、數(shù)據(jù)流等)的統(tǒng)一表示,當(dāng)對(duì)物聯(lián)網(wǎng)數(shù)據(jù)發(fā)出請(qǐng)求時(shí),轉(zhuǎn)化為對(duì)每種類型數(shù)據(jù)的操作和約束。
2.5 數(shù)據(jù)存儲(chǔ)與索引
有效的存儲(chǔ)和索引技術(shù)能夠大幅提高數(shù)據(jù)管理效率。數(shù)據(jù)中心不僅要存儲(chǔ)內(nèi)容數(shù)據(jù)還要存儲(chǔ)元數(shù)據(jù)信息。根據(jù)物聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn),采用分布式的方式來(lái)存儲(chǔ)數(shù)據(jù),主要還是采用現(xiàn)有的數(shù)據(jù)存儲(chǔ)技術(shù),比如關(guān)系數(shù)據(jù)庫(kù)、概要數(shù)據(jù)結(jié)構(gòu)、文檔樹等,不同類型的數(shù)據(jù)存儲(chǔ)在不同的地方,關(guān)鍵是如何獲得這些位置信息??梢圆捎梅謱咏Y(jié)構(gòu),第一級(jí)為根,包含所有存儲(chǔ)元數(shù)據(jù)的位置信息,第二級(jí)為元數(shù)據(jù)層,每個(gè)元數(shù)據(jù)單元包含著用戶數(shù)據(jù)的位置信息。第三層是具體的用戶數(shù)據(jù)。數(shù)據(jù)分布時(shí),要全面考慮數(shù)據(jù)傳輸次數(shù)、數(shù)據(jù)量大小、數(shù)據(jù)間依賴關(guān)系以及數(shù)據(jù)中心間網(wǎng)絡(luò)帶寬等因素。同時(shí)為了提高數(shù)據(jù)的可靠性,要用冗余的方式來(lái)存儲(chǔ)數(shù)據(jù),即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本,同時(shí)要保持?jǐn)?shù)據(jù)的同步性。
2.6 查詢分析處理
查詢分析處理是數(shù)據(jù)管理的最終目標(biāo),也是物聯(lián)網(wǎng)價(jià)值的最終體現(xiàn)。查詢分析不僅僅基于關(guān)鍵字的查詢和數(shù)據(jù)模式的結(jié)構(gòu)化查詢,要能通過(guò)數(shù)據(jù)世系、聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘等達(dá)到應(yīng)用的目地。世系是數(shù)據(jù)管理的重要內(nèi)容,可用于追蹤不同數(shù)據(jù)源間和同一數(shù)據(jù)源內(nèi)部數(shù)據(jù)的產(chǎn)生和演化過(guò)程,物聯(lián)網(wǎng)數(shù)據(jù)的冗余性、不一致性可非常嚴(yán)重,追蹤數(shù)據(jù)的世系可以用來(lái)考察數(shù)據(jù)質(zhì)量的評(píng)價(jià)、數(shù)據(jù)核查以及數(shù)據(jù)引用等。聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘一直是近些年的研究熱點(diǎn),針對(duì)關(guān)系數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的分析和挖掘已經(jīng)取得了很大進(jìn)展,有一定的借鑒性,但是在實(shí)施分析處理和數(shù)據(jù)挖掘時(shí)要充分考慮數(shù)據(jù)的特點(diǎn)以及具體的應(yīng)用。
3 結(jié) 語(yǔ)
目前在國(guó)內(nèi)外物聯(lián)網(wǎng)的研究和開發(fā)都是熱點(diǎn),各個(gè)國(guó)家都將物聯(lián)網(wǎng)作為戰(zhàn)略性的產(chǎn)業(yè)予以重點(diǎn)關(guān)注和推進(jìn)。只有將物聯(lián)網(wǎng)的數(shù)據(jù)有效地管理起來(lái),才能真正發(fā)揮它的作用。本文闡述了物聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn)和組成,分析了物聯(lián)網(wǎng)數(shù)據(jù)管理面臨的問題,提出了物聯(lián)網(wǎng)數(shù)據(jù)管理框架。但是物聯(lián)網(wǎng)數(shù)據(jù)管理還面臨著重大的挑戰(zhàn)。雖然物聯(lián)網(wǎng)數(shù)據(jù)模型可以采用可能世界模型,但是可能世界實(shí)例呈指數(shù)增長(zhǎng),遍歷所有可能世界實(shí)例需要耗費(fèi)不可估量的時(shí)空開銷;另外物聯(lián)網(wǎng)數(shù)據(jù)的存儲(chǔ)和處理雖然可借助于云平臺(tái),在云基礎(chǔ)架構(gòu)中,物理資源共享也帶來(lái)了新的數(shù)據(jù)安全和隱私危機(jī);數(shù)據(jù)世系研究雖然取得了很大進(jìn)展,但是針對(duì)物聯(lián)網(wǎng)數(shù)據(jù)的海量性和不確定性使世系關(guān)系更復(fù)雜。
參考文獻(xiàn)
[1] FUNK Mathias, VAN DER PUTTEN Piet, CORPORAAL Henk. Analytics for the Internet of Things [C]// Proceedings of the 27th International Conference on Human Factors in Computing Systems. Boston, MA, USA: [s.n.], 2009: 340-369.
[2]沈蘇彬,范曲立,宗平,等.物聯(lián)網(wǎng)的體系結(jié)構(gòu)與相關(guān)技術(shù)研究[J].南京郵電大學(xué)學(xué)報(bào):自然科學(xué)版,2009 (6):3-13.
[3]王曉靜,張晉.物聯(lián)網(wǎng)研究綜述[J].遼寧大學(xué)學(xué)報(bào):自然科學(xué)版,2010 (1):42-44.
[4]孫其博,劉杰,黎羴,等. 物聯(lián)網(wǎng):概念、架構(gòu)與關(guān)鍵技術(shù)研究綜述[J].北京郵電大學(xué)學(xué)報(bào):自然科學(xué)版,2010(3):5-13.
[5]劉強(qiáng),崔莉,陳海明.物聯(lián)網(wǎng)關(guān)鍵技術(shù)與應(yīng)用[J].計(jì)算機(jī)科學(xué),2010 (6):1-5.
[6] JEFFERY K G. The Internet of Things: the death of traditional database? [J]. IETE Technical Review, 2009, 26(5): 313-319.
[7]谷峪,于戈,胡小龍,等.基于監(jiān)控對(duì)象動(dòng)態(tài)聚簇的高效 RFID 數(shù)據(jù)清洗模型[J].軟件學(xué)報(bào),2010(4):64?75.
[8] CHANG F, DEAN J, GHEMAWAT S, et al. Big table: a distributed storage system for structured data [J]. ACM Transactions on Computer Systems, 2008, 26(2): 1-26.
[9]李玉坤,孟小峰,張相於. 數(shù)據(jù)空間技術(shù)研究[J].軟件學(xué)報(bào),2008 (8):158-171.
點(diǎn)擊下頁(yè)還有更多>>>物聯(lián)網(wǎng)數(shù)據(jù)管理研究論文