大數(shù)據(jù)學(xué)術(shù)分析論文范文
大數(shù)據(jù)學(xué)術(shù)分析論文范文
大數(shù)據(jù)隨著技術(shù)發(fā)展而蓬勃發(fā)展起來(lái)，迫切需要一種技術(shù)實(shí)現(xiàn)大數(shù)據(jù)精準(zhǔn)開(kāi)發(fā)應(yīng)用。這是學(xué)習(xí)啦小編為大家整理的大數(shù)據(jù)學(xué)術(shù)論文，供大家參考!
大數(shù)據(jù)學(xué)術(shù)論文篇一：《試談大數(shù)據(jù)技術(shù)》
摘 要：大數(shù)據(jù)是繼物聯(lián)網(wǎng)、云計(jì)算技術(shù)后世界又一熱議的信息技術(shù)，這種密集型數(shù)據(jù)爆炸現(xiàn)象的出現(xiàn)，標(biāo)志著“大數(shù)據(jù)”時(shí)代的到來(lái)。文章介紹了大數(shù)據(jù)的概念，分析闡述了大數(shù)據(jù)相關(guān)技術(shù)。
關(guān)鍵詞：大數(shù)據(jù) 數(shù)據(jù)處理 相關(guān)技術(shù)
“大數(shù)據(jù)”是從英語(yǔ)“Big Data”一詞翻譯而來(lái)的，是當(dāng)前IT界熱議和追逐的對(duì)象，是繼物聯(lián)網(wǎng)、云計(jì)算技術(shù)后世界又一熱議的信息技術(shù)，發(fā)展迅速。截至2011年年底，全球互聯(lián)網(wǎng)總數(shù)據(jù)存儲(chǔ)量已達(dá)100億TB以上，并且以59%以上的年增長(zhǎng)率遞增。麥肯錫公司在2011年的報(bào)告(Bigdata：the Next FrontierforInnovation)中，對(duì)這種密集型數(shù)據(jù)爆炸的現(xiàn)象稱為“大數(shù)據(jù)”時(shí)代的到來(lái)。大數(shù)據(jù)領(lǐng)域出現(xiàn)的許多新技術(shù)，是大數(shù)據(jù)采集、存儲(chǔ)、處理和呈現(xiàn)的有力武器。
1 大數(shù)據(jù)概念
大數(shù)據(jù)概念的前身是海量數(shù)據(jù)，但兩者有很大的區(qū)別。海量數(shù)據(jù)主要強(qiáng)調(diào)了數(shù)據(jù)量的規(guī)模，對(duì)其特性并沒(méi)有特別關(guān)注。而大數(shù)據(jù)對(duì)傳播速率、體積、特征等數(shù)據(jù)的各種特性進(jìn)行了描述。目前對(duì)大數(shù)據(jù)最廣泛的定義是：大數(shù)據(jù)是無(wú)法在一定時(shí)間內(nèi)用通常的軟件工具進(jìn)行收集、分析、管理的大量數(shù)據(jù)的集合。大數(shù)據(jù)的特點(diǎn)一般用“4V”概括，即：Volume：數(shù)據(jù)量大，目前大數(shù)據(jù)的最小單位一般被認(rèn)為是10～20TB的量級(jí);Variety：數(shù)據(jù)類型多，包括了結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù);value：數(shù)據(jù)的價(jià)值密度很低;velocity：數(shù)據(jù)產(chǎn)生和處理的速度非?？?。
2 大數(shù)據(jù)相關(guān)技術(shù)
2.1 大數(shù)據(jù)處理通用技術(shù)架構(gòu)
大數(shù)據(jù)的基本處理流程與傳統(tǒng)數(shù)據(jù)處理流程的主要區(qū)別在于：由于大數(shù)據(jù)要處理大量、非結(jié)構(gòu)化的數(shù)據(jù)，所以在各個(gè)處理環(huán)節(jié)中都可以采用并行處理。目前，MapReduce等分布式處理方式已經(jīng)成為大數(shù)據(jù)處理各環(huán)節(jié)的通用處理方法。
MapReduce分布式方法最先由谷歌設(shè)計(jì)并實(shí)現(xiàn)，包括分布式文件系統(tǒng)GFS、MapReduce分布式編程環(huán)境以及分布式大規(guī)模數(shù)據(jù)庫(kù)管理系統(tǒng)Bigrable。MapReduce是一套軟件框架，包括Map和Reduce兩個(gè)階段，可以進(jìn)行海量數(shù)據(jù)分割、任務(wù)分解與結(jié)果匯總，從而完成海量數(shù)據(jù)的并行處理。MapReduce的工作原理是先分后合的數(shù)據(jù)處理方式。Map即“分解”，把海量數(shù)據(jù)分割成若干部分，分給多臺(tái)處理器并行處理;Reduce即“合并”，把各臺(tái)處理器處理后的結(jié)果進(jìn)行匯總操作，以得到最終結(jié)果。用戶只需要提供自己的Map函數(shù)以及Reduce函數(shù)就可以在集群上進(jìn)行大規(guī)模的分布式數(shù)據(jù)處理。MapReduce將處理任務(wù)分配到不同的處理節(jié)點(diǎn)，因此具有更強(qiáng)的并行處理能力。
2.2 大數(shù)據(jù)采集
大數(shù)據(jù)的采集是指利用數(shù)據(jù)庫(kù)等方式接收發(fā)自客戶端(Web、App或者傳感器形式等)的數(shù)據(jù)。大數(shù)據(jù)采集的主要特點(diǎn)是并發(fā)訪問(wèn)量大，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬(wàn)的用戶來(lái)進(jìn)行訪問(wèn)和操作，比如火車票售票網(wǎng)站的并發(fā)訪問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn)，這時(shí)傳統(tǒng)的數(shù)據(jù)采集工具很容易失效。大數(shù)據(jù)采集方法主要包括：系統(tǒng)日志采集、網(wǎng)絡(luò)數(shù)據(jù)采集、數(shù)據(jù)庫(kù)采集、其他數(shù)據(jù)采集等四種。
2.3 大數(shù)據(jù)分享
目前數(shù)據(jù)分享主要通過(guò)數(shù)據(jù)集市和開(kāi)放數(shù)據(jù)平臺(tái)等方法實(shí)現(xiàn)。開(kāi)放數(shù)據(jù)平臺(tái)可以提供涵蓋本地服務(wù)、娛樂(lè)、教育和醫(yī)療等方方面面的數(shù)據(jù)集合，用戶不但可以通過(guò)API訪問(wèn)，還可以很方便地通過(guò)SDK集成到移動(dòng)應(yīng)用當(dāng)中。在線數(shù)據(jù)集市除了提供下載數(shù)據(jù)的功能外，還為用戶提供上傳和交流數(shù)據(jù)的場(chǎng)所。數(shù)據(jù)平臺(tái)和數(shù)據(jù)集市不但吸引有數(shù)據(jù)需求用戶，還能夠吸引很多數(shù)據(jù)開(kāi)發(fā)者在平臺(tái)上進(jìn)行開(kāi)發(fā)。
2.4 大數(shù)據(jù)預(yù)處理
數(shù)據(jù)預(yù)處理就是對(duì)采集的數(shù)據(jù)進(jìn)行清洗、填補(bǔ)、平滑、合并、規(guī)格化以及檢查一致性等處理，并對(duì)數(shù)據(jù)的多種屬性進(jìn)行初步組織，從而為數(shù)據(jù)的存儲(chǔ)、分析和挖掘做好準(zhǔn)備。通常數(shù)據(jù)預(yù)處理包含三個(gè)部分：數(shù)據(jù)清理、數(shù)據(jù)集成和變換和數(shù)據(jù)規(guī)約。
2.5 大數(shù)據(jù)存儲(chǔ)及管理
大數(shù)據(jù)需要行之有效的存儲(chǔ)和管理，否則人們不能處理和利用數(shù)據(jù)，更不能從數(shù)據(jù)中得到有用的信息。目前，大數(shù)據(jù)的存儲(chǔ)和管理技術(shù)主要分三類：分布式文件系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)(NoSOL)。
2.6 大數(shù)據(jù)分析及挖掘
大數(shù)據(jù)的分析和挖掘是一種決策支持過(guò)程，它主要基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、數(shù)據(jù)挖掘、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)等技術(shù)，高度自動(dòng)化地分析大數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，從而在大數(shù)據(jù)中提取有用信息。大數(shù)據(jù)的分析和挖掘與傳統(tǒng)的數(shù)據(jù)挖掘比較有兩個(gè)特點(diǎn)：一是通常采用并行處理的方式;二是大數(shù)據(jù)分析對(duì)實(shí)時(shí)處理的要求很高，流處理等實(shí)時(shí)處理技術(shù)受到人們歡迎。常用的方法有：機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識(shí)別、統(tǒng)計(jì)分析、并行處理。
2.7 大數(shù)據(jù)檢索
①數(shù)據(jù)庫(kù)實(shí)時(shí)檢索：在數(shù)據(jù)倉(cāng)庫(kù)或者NoSOL等大數(shù)據(jù)存儲(chǔ)平臺(tái)上，或者多個(gè)不同結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)平臺(tái)之間快速、實(shí)時(shí)地查詢和檢索不同結(jié)構(gòu)的數(shù)據(jù)。②實(shí)時(shí)搜索引擎：對(duì)互聯(lián)網(wǎng)上的大量數(shù)據(jù)和信息進(jìn)行即時(shí)、快速搜索，實(shí)現(xiàn)即搜即得的效果。目前各大搜索引擎都在致力于實(shí)時(shí)搜索的實(shí)現(xiàn)。
2.8 大數(shù)據(jù)可視化
可以提供更為清晰直觀的數(shù)據(jù)感官，將錯(cuò)綜復(fù)雜的數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系，通過(guò)圖片、映射關(guān)系或表格，以簡(jiǎn)單、友好、易用的圖形化、智能化的形式呈現(xiàn)給用戶供其分析使用，可通過(guò)數(shù)據(jù)訪問(wèn)接口或商業(yè)智能門戶實(shí)現(xiàn)，通過(guò)直觀的方式表達(dá)出來(lái)?？梢暬c可視分析通過(guò)交互可視界面來(lái)進(jìn)行分析、推理和決策;從海量、動(dòng)態(tài)、不確定甚至相互沖突的數(shù)據(jù)中整合信息，獲取對(duì)復(fù)雜情景的更深層的理解;可供人們檢驗(yàn)已有預(yù)測(cè)，探索未知信息，同時(shí)提供快速、可檢驗(yàn)、易理解.的評(píng)估和更有效的交流手段?？梢暬侨藗兝斫鈴?fù)雜現(xiàn)象，診釋復(fù)雜數(shù)據(jù)的重要手段和途徑。
2.9 大數(shù)據(jù)應(yīng)用
?、僖曨l搜索;②內(nèi)容分析;③理賠分析;④社交網(wǎng)絡(luò)分析;⑤社會(huì)分析;⑥社交媒體監(jiān)控。
2.10 大數(shù)據(jù)安全
大數(shù)據(jù)技術(shù)的發(fā)展，使得人們能夠從這些數(shù)據(jù)中觀察和分析社會(huì)動(dòng)態(tài)、人群的動(dòng)作和行為、人群活動(dòng)規(guī)律以及企業(yè)的商業(yè)秘密。海量數(shù)據(jù)本身，以及數(shù)據(jù)中蘊(yùn)藏的信息涉及到國(guó)家、社會(huì)、企業(yè)和人們的隱私，這對(duì)大數(shù)據(jù)時(shí)代的信息安全提出巨大挑戰(zhàn)。因此，大數(shù)據(jù)時(shí)代需要發(fā)展信息安全技術(shù)，確保關(guān)系到人們生活方方面面的數(shù)據(jù)和信息不會(huì)被泄漏。
目前除了傳統(tǒng)的信息安全方法外，大數(shù)據(jù)領(lǐng)域還有安全基礎(chǔ)設(shè)施、安全數(shù)據(jù)倉(cāng)庫(kù)等。此外，一些數(shù)據(jù)庫(kù)安全管理軟件能夠?qū)Σ煌僮飨到y(tǒng)上運(yùn)行的異構(gòu)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行實(shí)時(shí)監(jiān)控，一些大型安全數(shù)據(jù)庫(kù)能夠?qū)εc商務(wù)數(shù)據(jù)結(jié)合在一起的數(shù)據(jù)進(jìn)行預(yù)防性的分析，以便識(shí)別釣魚攻擊，防止詐騙和阻止黑客入侵。
大數(shù)據(jù)學(xué)術(shù)論文篇二：《試論大數(shù)據(jù)技術(shù)研究》
摘 要： 大數(shù)據(jù)技術(shù)是繼物聯(lián)網(wǎng)、云計(jì)算技術(shù)之后IT業(yè)界又一次技術(shù)浪潮。為了全面深入地理解大數(shù)據(jù)技術(shù)的內(nèi)涵，從大數(shù)據(jù)的定義及4V特征、關(guān)鍵技術(shù)及主要應(yīng)用領(lǐng)域等四個(gè)方面進(jìn)行闡述。介紹了大數(shù)據(jù)的基本概念、特征，總結(jié)了大數(shù)據(jù)的熱門應(yīng)用領(lǐng)域并用典型案例進(jìn)行佐證，重點(diǎn)剖析了云計(jì)算、Hadoop、數(shù)據(jù)備份等三大核心技術(shù)及關(guān)鍵策略，最后對(duì)大數(shù)據(jù)應(yīng)用中滋生的信息安全隱患提出了相應(yīng)的對(duì)策。
關(guān)鍵詞： 大數(shù)據(jù); 4V特征; Hadoop; 云計(jì)算
0 引言
物聯(lián)網(wǎng)、云計(jì)算等新興技術(shù)的迅速發(fā)展開(kāi)啟了大數(shù)據(jù)時(shí)代的帷幕。大數(shù)據(jù)技術(shù)是指從各種各樣的海量數(shù)據(jù)中，快速獲取有價(jià)值信息的技術(shù)，大數(shù)據(jù)的核心問(wèn)題就是大數(shù)據(jù)技術(shù)。目前所說(shuō)的“大數(shù)據(jù)”不僅指數(shù)據(jù)本身的規(guī)模大，還包括采集數(shù)據(jù)的工具、平臺(tái)和數(shù)據(jù)分析系統(tǒng)復(fù)雜程度大。大數(shù)據(jù)的研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，解決實(shí)際生產(chǎn)、生活中的各種問(wèn)題，從而推動(dòng)信息技術(shù)健康地可持續(xù)發(fā)展。
1 大數(shù)據(jù)的定義及主要特征
與其他新興學(xué)科一樣，目前大數(shù)據(jù)沒(méi)有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)和定義。一般認(rèn)為：大數(shù)據(jù)是由大量異構(gòu)數(shù)據(jù)組成的數(shù)據(jù)集合，可以應(yīng)用合理的數(shù)學(xué)算法或工具從中找出有價(jià)值的信息，并為人們帶來(lái)經(jīng)濟(jì)及社會(huì)效益的一門新興學(xué)科。大數(shù)據(jù)又被稱為海量數(shù)據(jù)、大資料、巨量數(shù)據(jù)等，指的是所涉及的數(shù)據(jù)量規(guī)模巨大，以至于無(wú)法在合理時(shí)間內(nèi)通過(guò)人工攫取、管理、處理并整理成為人類所能解讀的信息。這些數(shù)據(jù)來(lái)自方方面面，比如社交網(wǎng)絡(luò)、傳感器采集、安防監(jiān)控視頻、購(gòu)物交易記錄等。盡管尚無(wú)統(tǒng)一定義，但這些無(wú)比龐大的數(shù)據(jù)被稱為大數(shù)據(jù)。大數(shù)據(jù)具有如下4V特性[1]：
?、?體量Volume，是指數(shù)據(jù)存儲(chǔ)量大，計(jì)算量大;
⑵ 多樣Variety，是指大數(shù)據(jù)的異構(gòu)和多樣性，比如數(shù)據(jù)來(lái)源豐富，數(shù)據(jù)格式包括多種不同形式，如網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等;
⑶ 價(jià)值Value，是指大數(shù)據(jù)價(jià)值密度相對(duì)較低，信息海量，但是要挖掘出真正有價(jià)值的數(shù)據(jù)難度較大，浪里淘沙卻又彌足珍貴;
?、?速度Velocity，是指數(shù)據(jù)增長(zhǎng)速度快，處理速度要求快。
2 大數(shù)據(jù)技術(shù)的應(yīng)用領(lǐng)域
通過(guò)對(duì)海量數(shù)據(jù)進(jìn)行采集、分析與處理，挖掘出潛藏在數(shù)據(jù)海洋里的稀疏但卻彌足珍貴的信息，大數(shù)據(jù)技術(shù)正在對(duì)經(jīng)濟(jì)建設(shè)、醫(yī)療教育、科學(xué)研究等領(lǐng)域產(chǎn)生著革命性的影響，其所帶來(lái)的巨大使用價(jià)值正逐漸被各行各業(yè)的人們所感知。
2.1 金融領(lǐng)域
大數(shù)據(jù)的火熱應(yīng)用突出體現(xiàn)在金融業(yè)，各大互聯(lián)網(wǎng)企業(yè)(谷歌、阿里巴巴等)紛紛掘金大數(shù)據(jù)，開(kāi)創(chuàng)了新的互聯(lián)網(wǎng)金融模式。目前阿里巴巴的互聯(lián)網(wǎng)金融做得如火如荼：基金、小額信貸、余額寶和理財(cái)保險(xiǎn)產(chǎn)品等等，阿里巴巴之所以能夠做火金融服務(wù)，其主要原因就在于阿里的大數(shù)據(jù)，阿里巴巴的電商平臺(tái)存儲(chǔ)了大量微小企業(yè)客戶及數(shù)以億計(jì)的個(gè)人用戶行為信息、交易記錄、身份數(shù)據(jù)等，擁有最好、最全的數(shù)據(jù)以及最完整的產(chǎn)業(yè)鏈，做P2P及個(gè)人小額信貸，具有最大優(yōu)勢(shì)[2]。相反，傳統(tǒng)商業(yè)銀行早期就已推出的小額信貸業(yè)務(wù)，開(kāi)展得并不十分順利。
2.2 市場(chǎng)營(yíng)銷
今天的數(shù)字化營(yíng)銷與傳統(tǒng)市場(chǎng)營(yíng)銷最大的區(qū)別就在于精準(zhǔn)定位及個(gè)性化。如今企業(yè)與客戶的交流渠道發(fā)生了革命性的變化，從過(guò)去的電話及郵件，發(fā)展到今天的博客、論壇、社交媒體賬戶等，從這些五花八門的渠道里跟蹤客戶，將他們的每一次點(diǎn)擊、加好友、收藏、轉(zhuǎn)發(fā)、分享等行為納入到企業(yè)的銷售漏斗中并轉(zhuǎn)化成一項(xiàng)巨大的潛在價(jià)值，就是所謂的360度客戶視角。例如谷歌的銷售策略主要著眼于在線的免費(fèi)軟件，用戶使用這些軟件時(shí)，無(wú)形中就把個(gè)人的喜好、消費(fèi)習(xí)慣等重要信息提交給了谷歌，因此谷歌的產(chǎn)品線越豐富，他們對(duì)用戶的理解就越深入，其廣告定位就越精準(zhǔn)，廣告所攫取的價(jià)值就越高，這是正向的循環(huán)。 2.3 公眾服務(wù)
大數(shù)據(jù)的另一大應(yīng)用領(lǐng)域是公眾服務(wù)。如今數(shù)據(jù)挖掘已經(jīng)能夠預(yù)測(cè)海嘯、地震、疾病暴發(fā)，理解交通模型并改善醫(yī)療和教育等。例如，可采用神經(jīng)網(wǎng)絡(luò)和基于地震時(shí)間序列的支持向量機(jī)方法來(lái)預(yù)測(cè)地震的大概方位、時(shí)間、震級(jí)大小等重要信息，為通用地震模擬程序提供關(guān)鍵的數(shù)據(jù)，從而對(duì)地震進(jìn)行早期預(yù)警，以使防震抗災(zāi)部門可以提前做好應(yīng)對(duì)措施，避免大量的人員傷亡及財(cái)產(chǎn)損失;再如，將各個(gè)省市的城鎮(zhèn)醫(yī)療系統(tǒng)、新農(nóng)村合作醫(yī)療系統(tǒng)等全部整合起來(lái)，建立通用的電子病歷等基礎(chǔ)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)醫(yī)院之間對(duì)病患信息的共享，提高患者就醫(yī)效率[3];電力管理系統(tǒng)通過(guò)記錄人們的用電行為信息(做飯、照明、取暖等)，大數(shù)據(jù)智能電網(wǎng)就能實(shí)現(xiàn)優(yōu)化電的生產(chǎn)、分配及電網(wǎng)安全檢測(cè)與控制，包括大災(zāi)難預(yù)警與處理、供電與電力調(diào)度決策支持和更準(zhǔn)確的用電量預(yù)測(cè)等，并通過(guò)數(shù)據(jù)挖掘技術(shù)找出可行的節(jié)能降耗措施，以實(shí)現(xiàn)更科學(xué)的電力需求分配管理。
2.4 安防領(lǐng)域
安防領(lǐng)域中最重要的就是視頻監(jiān)控系統(tǒng)，從早期看得見(jiàn)到現(xiàn)在看得遠(yuǎn)、看得清，視頻監(jiān)控是典型的數(shù)據(jù)依賴型業(yè)務(wù)，依賴數(shù)據(jù)說(shuō)話。尤其是高清、超高清監(jiān)控時(shí)代的到來(lái)，會(huì)產(chǎn)生巨量的視頻數(shù)據(jù)。這些巨量視頻監(jiān)控?cái)?shù)據(jù)中，多數(shù)是冗余無(wú)用的，只有少數(shù)是關(guān)鍵數(shù)據(jù)，如何剔除這些無(wú)用數(shù)據(jù)，一直是人們研究問(wèn)題的焦點(diǎn)。在大數(shù)據(jù)技術(shù)的支撐下，通過(guò)對(duì)巨量視頻數(shù)據(jù)的分析與處理，可實(shí)現(xiàn)模糊查詢、精準(zhǔn)定位、快速檢索等，能夠?qū)Ω咔灞O(jiān)控視頻畫質(zhì)進(jìn)行細(xì)節(jié)分析，智能挖掘出類似行為及特征的數(shù)據(jù)，從而為業(yè)務(wù)分析和事件決策判斷提供精準(zhǔn)依據(jù)。
3 大數(shù)據(jù)處理關(guān)鍵技術(shù)
3.1 數(shù)據(jù)備份技術(shù)
在大數(shù)據(jù)時(shí)代，如何做好數(shù)據(jù)的安全備份至關(guān)重要。數(shù)據(jù)備份是數(shù)據(jù)容災(zāi)的前提，具體是指當(dāng)出現(xiàn)某種突發(fā)狀況導(dǎo)致存儲(chǔ)系統(tǒng)中的文件、數(shù)據(jù)、片段丟失或者嚴(yán)重?fù)p壞時(shí)，系統(tǒng)可準(zhǔn)確而快速地將數(shù)據(jù)進(jìn)行恢復(fù)的技術(shù)。數(shù)據(jù)容災(zāi)備份是為防止偶發(fā)事件而采取的一種數(shù)據(jù)保護(hù)手段，其核心工作是數(shù)據(jù)恢復(fù)，根本目的是數(shù)據(jù)資源再利用。
3.2 Hadoop
大數(shù)據(jù)時(shí)代對(duì)于數(shù)據(jù)分析、管理等都提出了更高層次的要求，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)和數(shù)據(jù)分析處理技術(shù)已經(jīng)不能滿足大數(shù)據(jù)橫向擴(kuò)展的需求。為了給大數(shù)據(jù)處理、分析提供一個(gè)性能更好、可靠性更高的平臺(tái)，Apache基金會(huì)開(kāi)發(fā)了一個(gè)開(kāi)源平臺(tái)Hadoop[4]，該平臺(tái)用Java語(yǔ)言編寫，可移植性強(qiáng)，現(xiàn)在Hadoop已經(jīng)發(fā)展為一個(gè)包括HDFS(分布式文件系統(tǒng) )、HBase(分布式數(shù)據(jù)庫(kù))等功能模塊在內(nèi)的完整生態(tài)系統(tǒng)，成為目前主流的大數(shù)據(jù)應(yīng)用平臺(tái)。
3.3 云計(jì)算
如果把各種各樣的大數(shù)據(jù)應(yīng)用比作在公路上行駛的各種汽車，那么支撐這些汽車快速運(yùn)行的高速公路就是云計(jì)算，云計(jì)算是大數(shù)據(jù)分析處理技術(shù)的核心。正是由于云計(jì)算在海量信息存儲(chǔ)、分析及管理方面的技術(shù)支持，大數(shù)據(jù)才有了如此廣闊的用武之地。谷歌的各種大數(shù)據(jù)處理技術(shù)和應(yīng)用平臺(tái)都是基于云計(jì)算，最典型的就是以UFS(UIT云存儲(chǔ)系統(tǒng))、MapReduce(批處理技術(shù))、BigTable(分布式數(shù)據(jù)庫(kù))為代表的大數(shù)據(jù)處理技術(shù)以及在此基礎(chǔ)上產(chǎn)生的開(kāi)源數(shù)據(jù)處理平臺(tái)Hadoop[5]。
4 大數(shù)據(jù)應(yīng)用帶來(lái)的信息安全隱患及應(yīng)對(duì)策略
大數(shù)據(jù)時(shí)代，海量數(shù)據(jù)通常存儲(chǔ)在大規(guī)模分布式的網(wǎng)絡(luò)節(jié)點(diǎn)中，管理相對(duì)分散，而且系統(tǒng)也無(wú)法控制用戶進(jìn)行數(shù)據(jù)交易的場(chǎng)所，因此很難辨別用戶的身份(合法及非法用戶)，容易導(dǎo)致不合法用戶篡改或竊取信息;此外，大數(shù)據(jù)存儲(chǔ)系統(tǒng)中包含了海量的個(gè)人用戶隱私數(shù)據(jù)及各種行為的記錄信息，如何在大數(shù)據(jù)的挖掘利用中確定一個(gè)信息保護(hù)和開(kāi)放的尺度， 是大數(shù)據(jù)面臨的又一難題。為了合理利用大數(shù)據(jù)并有效規(guī)避風(fēng)險(xiǎn)，我們提出以下四點(diǎn)建議：
⑴ 國(guó)家出臺(tái)相關(guān)政策，加強(qiáng)頂層設(shè)計(jì)，保障數(shù)據(jù)存儲(chǔ)安全;
?、?增強(qiáng)網(wǎng)絡(luò)安全防護(hù)能力，抵御網(wǎng)絡(luò)犯罪，確保網(wǎng)絡(luò)信息安全;
?、?提高警惕積極探索，加大個(gè)人隱私數(shù)據(jù)保護(hù)力度;
?、?深化云計(jì)算安全領(lǐng)域研究，保障云端數(shù)據(jù)安全。
5 結(jié)束語(yǔ)
在當(dāng)今信息知識(shí)爆炸的時(shí)代，大數(shù)據(jù)技術(shù)已經(jīng)被廣泛應(yīng)用于商業(yè)金融、電力醫(yī)療、教育科研等領(lǐng)域。隨著數(shù)據(jù)挖掘技術(shù)的不斷進(jìn)步，相關(guān)信息行業(yè)競(jìng)相從規(guī)模龐大、結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)海洋中攫取更多有價(jià)值的數(shù)據(jù)信息用于分析、解決現(xiàn)實(shí)生活中的各種實(shí)際問(wèn)題，從而實(shí)現(xiàn)信息技術(shù)的快速健康發(fā)展。本文梳理了大數(shù)據(jù)的基本概念及4V特征，總結(jié)歸納了大數(shù)據(jù)技術(shù)的四大熱門應(yīng)用領(lǐng)域及三大核心處理技術(shù)，分析了大數(shù)據(jù)技術(shù)帶來(lái)的諸如信息竊取及篡改、個(gè)人隱私數(shù)據(jù)泄露等信息安全隱患，并提出了相應(yīng)的解決措施及建議。當(dāng)然，目前大數(shù)據(jù)技術(shù)的研究尚處在起步階段，還有許多深層次的問(wèn)題亟待解決，如大數(shù)據(jù)的存儲(chǔ)管理是通過(guò)硬件的簡(jiǎn)單升級(jí)還是通過(guò)系統(tǒng)的重新設(shè)計(jì)來(lái)解決，大數(shù)據(jù)4V特征中起關(guān)鍵作用的是什么，大數(shù)據(jù)技術(shù)的應(yīng)用前景是什么，等等。就目前來(lái)看，未來(lái)大數(shù)據(jù)技術(shù)的研究之路還很長(zhǎng)，需要我們用更加敏銳的洞察力來(lái)分析和研究。
參考文獻(xiàn)：
[1] BARWICK H. The "four Vs" of big data. Implementing Information Infrastructure Symposium[EB/OL]. [2012-10-02].
[2] 韋雪瓊，楊嘩，史超.大數(shù)據(jù)發(fā)展下的金融市場(chǎng)新生態(tài)[Jl.時(shí)代金融，2012.7：173-174
[3] 張敬誼，佘盼，肖筱華.基于云計(jì)算的區(qū)域醫(yī)療信息化服務(wù)平臺(tái)的研究[J].計(jì)算機(jī)科學(xué)，2013.40(10)：360-365
[4] Hadoop [EB/OL].[2012-10-02].h
[5] 吳朱華.云計(jì)算核心技術(shù)剖析[M].人民郵電出版社，2011.
大數(shù)據(jù)學(xué)術(shù)論文篇三：《淺談企業(yè)大數(shù)據(jù)與大數(shù)據(jù)企業(yè)》
每個(gè)企業(yè)都可能擁有大數(shù)據(jù)，但是并非每個(gè)企業(yè)都能夠成為大數(shù)據(jù)企業(yè)。
大數(shù)據(jù)因其體量之“大”而得名，然而體量并非大數(shù)據(jù)的唯一特征，甚至也不是大數(shù)據(jù)最為重要的特征。巨大的體量凸顯的是技術(shù)需求。而對(duì)于管理者而言，刻意追求巨大體量的數(shù)據(jù)并不具有多少現(xiàn)實(shí)意義，大數(shù)據(jù)更重要的特征在于其多樣化的來(lái)源和形態(tài)、持續(xù)快速的產(chǎn)生和演變，以及對(duì)深度分析能力的高度依賴。因此，企業(yè)對(duì)大數(shù)據(jù)的駕馭和掌控，其核心并不在于擁有多大規(guī)模的數(shù)據(jù)，而在于是否能夠?qū)?lái)自于企業(yè)內(nèi)外部多樣化信息源的涌流數(shù)據(jù)進(jìn)行敏捷持續(xù)的捕捉和整合，并通過(guò)深度分析開(kāi)發(fā)其商務(wù)價(jià)值。
一家中等規(guī)模的百貨商場(chǎng)，通過(guò)視頻監(jiān)控記錄下商場(chǎng)各個(gè)區(qū)域的客流人數(shù)，從而評(píng)估每天各個(gè)時(shí)段客流的在店時(shí)長(zhǎng)，進(jìn)而結(jié)合銷售記錄數(shù)據(jù)估算出客流中帶有明確購(gòu)買目標(biāo)的“搜索型”顧客和無(wú)明確購(gòu)買目標(biāo)的“瀏覽型”顧客的比例，從而為之設(shè)計(jì)針對(duì)性的營(yíng)銷手段和服務(wù)措施。這一實(shí)踐中所涉及的數(shù)據(jù)量，從技術(shù)視角上看并不算龐大，但該商場(chǎng)對(duì)多源數(shù)據(jù)的整合和開(kāi)發(fā)，不失為基于大數(shù)據(jù)管理的一種典型體現(xiàn)。
從這個(gè)意義上來(lái)說(shuō)，在管理視角上，大數(shù)據(jù)既不是一種技術(shù)，也不是一種應(yīng)用系統(tǒng)，而更應(yīng)該是一種立足于企業(yè)內(nèi)外部數(shù)據(jù)融合以提升管理效率、開(kāi)拓價(jià)值創(chuàng)造模式的管理思維。建立這種面向大數(shù)據(jù)的管理思維，其基礎(chǔ)是業(yè)務(wù)流程信息資源的高度集成化，以及信息創(chuàng)造和傳播形式的高度社會(huì)化。
所以，企業(yè)大數(shù)據(jù)的一個(gè)重要焦點(diǎn)，在于業(yè)務(wù)流程信息與社會(huì)化媒體信息的全方位融合。以ERP為代表的企業(yè)系統(tǒng)應(yīng)用推動(dòng)業(yè)務(wù)流程信息資源從分割走向集成，日漸興起的企業(yè)內(nèi)外部社交媒體則推動(dòng)信息的創(chuàng)造和傳播形式從通道式/平臺(tái)式走向社交式，二者的融合將成為企業(yè)大數(shù)據(jù)的核心特征。由此看來(lái)，未來(lái)的“大數(shù)據(jù)企業(yè)”，則代表著建立在這種融合基礎(chǔ)上的新型組織形態(tài)和價(jià)值創(chuàng)造模式。
駕馭企業(yè)內(nèi)部大數(shù)據(jù)
企業(yè)內(nèi)部數(shù)據(jù)包括兩個(gè)主要維度：一是與業(yè)務(wù)功能及流程緊密相關(guān)的數(shù)據(jù)，如庫(kù)存信息、物料需求信息、生產(chǎn)計(jì)劃信息、采購(gòu)信息等，可統(tǒng)稱為業(yè)務(wù)流程信息;二是企業(yè)內(nèi)員工及各種管理系統(tǒng)在其日常工作及活動(dòng)中所創(chuàng)造、記錄、交換和積累的信息，例如員工間的交流記錄、工作心得、經(jīng)驗(yàn)分享、活動(dòng)新聞等，可統(tǒng)稱為知識(shí)及溝通信息，知識(shí)及溝通信息高度松散且非結(jié)構(gòu)化，但可能蘊(yùn)藏著企業(yè)的重大潛在價(jià)值。
這兩個(gè)數(shù)據(jù)維度的發(fā)展和融合，催生出了企業(yè)內(nèi)部大數(shù)據(jù)。如圖1所示，在傳統(tǒng)的企業(yè)組織中，業(yè)務(wù)流程信息分散地存在于一個(gè)個(gè)孤立的業(yè)務(wù)系統(tǒng)中。在過(guò)去二十余年的企業(yè)信息化進(jìn)程之中，一個(gè)主要的方向是業(yè)務(wù)流程信息從分割走向集成。從庫(kù)存管理系統(tǒng)、物料需求計(jì)劃 (MRP) 發(fā)展到企業(yè)資源計(jì)劃 (ERP)，分散的業(yè)務(wù)信息被集成于企業(yè)系統(tǒng)之中，從而實(shí)現(xiàn)面向業(yè)務(wù)流程的信息共享和溝通，并在此基礎(chǔ)上借助跨部門的協(xié)同實(shí)現(xiàn)業(yè)務(wù)流程的優(yōu)化和決策能力的提升。
另一方面，近年來(lái)逐步興起的企業(yè)內(nèi)社交媒體應(yīng)用，推動(dòng)著企業(yè)內(nèi)部數(shù)據(jù)環(huán)境在知識(shí)及溝通信息維度上的重大變革。在傳統(tǒng)企業(yè)組織中，知識(shí)及溝通信息借助于通道式或平臺(tái)式的媒體產(chǎn)生和傳播。在通道式的媒體上(例如email)，所有的人都可以發(fā)信息，但信息的發(fā)送對(duì)象是明確的、有限的;在平臺(tái)式的媒體上(例如企業(yè)內(nèi)的新聞網(wǎng)站)，信息是開(kāi)放的，但只有專門的人員才能發(fā)布信息。在企業(yè)內(nèi)社交媒體中，這兩種形式被整合在了一起：所有人都可以發(fā)布和分享信息，而且這些信息是開(kāi)放的、可定制、可再分享的。在這樣的應(yīng)用環(huán)境中，跨部門、跨層級(jí)的社交聯(lián)系成為可能，并使得企業(yè)能夠更為敏銳地應(yīng)對(duì)變化的環(huán)境，以即興式的團(tuán)隊(duì)組織來(lái)捕捉發(fā)展機(jī)遇。這種轉(zhuǎn)變帶來(lái)了三方面的價(jià)值：企業(yè)知識(shí)的有效共享和管理;企業(yè)文化建設(shè)，增強(qiáng)員工的歸屬感;對(duì)企業(yè)內(nèi)協(xié)同創(chuàng)新的有效支持和促進(jìn)。
進(jìn)一步而言，當(dāng)集成化的業(yè)務(wù)信息與社交化的知識(shí)溝通信息相融合，便帶來(lái)了企業(yè)內(nèi)部大數(shù)據(jù)。在集成化企業(yè)系統(tǒng)、內(nèi)部社交媒體以及深度數(shù)據(jù)分析技術(shù)的共同支撐下，杰克・韋爾奇所暢想的“無(wú)邊界組織”在新興環(huán)境下成為可能，并被賦予了新的內(nèi)涵。部門邊界、層級(jí)邊界被緊密的業(yè)務(wù)聯(lián)系和廣泛的社交聯(lián)系所弱化，結(jié)構(gòu)化的業(yè)務(wù)流程信息與非結(jié)構(gòu)化的知識(shí)及管理活動(dòng)信息被多維度融合的深度數(shù)據(jù)分析能力連接在一起，從而使企業(yè)真正具有駕馭內(nèi)部大數(shù)據(jù)的能力。
從另一種角度上看來(lái)，業(yè)務(wù)資源整合使得企業(yè)信息資源的管理從分散走向集中，社交媒體的發(fā)展使得企業(yè)內(nèi)的信息創(chuàng)造和傳播從集中走向分散，二者相輔相成，使得優(yōu)化控制與靈活創(chuàng)新的并存成為可能(見(jiàn)圖2)?；跇I(yè)務(wù)流程與社交媒體的融合而展開(kāi)的深度數(shù)據(jù)分析，將為企業(yè)的決策優(yōu)化、協(xié)同創(chuàng)新以及靈活應(yīng)變開(kāi)辟?gòu)V闊的空間。
駕馭企業(yè)外部大數(shù)據(jù)
在企業(yè)外部的視角上，數(shù)據(jù)資源也包括兩個(gè)維度：一是與上下游交易直接相關(guān)的供應(yīng)鏈信息，如交易報(bào)價(jià)信息、訂單信息、上下游企業(yè)庫(kù)存及生產(chǎn)能力信息等;二是市場(chǎng)及社會(huì)環(huán)境信息，如原材料價(jià)格走勢(shì)、市場(chǎng)需求及消費(fèi)者偏好信息、顧客服務(wù)及滿意度信息等。
企業(yè)外部大數(shù)據(jù)的基本特征，也正是在這兩個(gè)維度的發(fā)展之中呈現(xiàn)出來(lái)的。如圖 3所示，在傳統(tǒng)的商務(wù)活動(dòng)形式下，上下游企業(yè)的業(yè)務(wù)系統(tǒng)相互獨(dú)立，交易伙伴借助電話、傳真、電子郵件等手段以實(shí)現(xiàn)上下游信息交換，企業(yè)通過(guò)市場(chǎng)調(diào)研等方式了解消費(fèi)者，獲取市場(chǎng)及社會(huì)環(huán)境信息。組織間信息系統(tǒng)的發(fā)展帶來(lái)了供應(yīng)鏈信息的集成。通過(guò)將合作伙伴的信息系統(tǒng)進(jìn)行對(duì)接，或是借助于電子市場(chǎng)平臺(tái)實(shí)現(xiàn)企業(yè)信息系統(tǒng)的相互連接，上下游企業(yè)的業(yè)務(wù)信息能夠通過(guò)標(biāo)準(zhǔn)化的接口自動(dòng)交換，從而使得企業(yè)能夠在較為充分地掌握上下游信息的基礎(chǔ)上進(jìn)行業(yè)務(wù)決策，實(shí)現(xiàn)交易伙伴之間的協(xié)同優(yōu)化。 在市場(chǎng)及社會(huì)環(huán)境信息的維度上，信息的創(chuàng)造和傳播形態(tài)同樣經(jīng)歷了從通道式/平臺(tái)式媒體向社交媒體的轉(zhuǎn)變。公眾社交媒體的巨大影響力為社會(huì)化商務(wù)注入了強(qiáng)大的生命力。初期的社會(huì)化商務(wù)包括作為對(duì)外溝通渠道的企業(yè)郵箱、博客、微博或即時(shí)通訊等，其主要目的在于提升企業(yè)形象、提供客戶服務(wù)。隨之發(fā)展而來(lái)的社會(huì)化營(yíng)銷，則注重在社交網(wǎng)絡(luò)中通過(guò)與顧客及其他商務(wù)伙伴的溝通和互動(dòng)，進(jìn)而通過(guò)實(shí)時(shí)化、精確化的市場(chǎng)洞察以獲取商業(yè)機(jī)會(huì)、開(kāi)拓市場(chǎng)、把握創(chuàng)新機(jī)遇。此外，基于社交媒體的眾包、眾籌與眾創(chuàng)，也日益成為社會(huì)化商務(wù)的重要組成部分。
供應(yīng)鏈信息集成與社會(huì)化商務(wù)信息的融合，構(gòu)成企業(yè)外部大數(shù)據(jù)的核心特征。來(lái)自于社交媒體信息源的市場(chǎng)環(huán)境信息與來(lái)自于組織間信息系統(tǒng)的供應(yīng)鏈信息相結(jié)合，借助于深度數(shù)據(jù)分析技術(shù)實(shí)現(xiàn)面向企業(yè)商務(wù)網(wǎng)絡(luò)的預(yù)測(cè)與優(yōu)化，并支撐起實(shí)時(shí)化、精確化、個(gè)性化的消費(fèi)者洞察與敏捷響應(yīng)，在此基礎(chǔ)上為基于網(wǎng)絡(luò)協(xié)同及社會(huì)化商務(wù)的模式創(chuàng)新提供了豐富的可能性。從而，對(duì)外部大數(shù)據(jù)的管理和駕馭，也將成為現(xiàn)代企業(yè)在網(wǎng)絡(luò)化的商務(wù)生態(tài)系統(tǒng)中占據(jù)主導(dǎo)地位并獲取經(jīng)營(yíng)優(yōu)勢(shì)的關(guān)鍵途徑。
成為“大數(shù)據(jù)企業(yè)”
基于以上分析，企業(yè)內(nèi)部大數(shù)據(jù)的焦點(diǎn)，在于業(yè)務(wù)流程信息與知識(shí)及溝通信息的融合;企業(yè)外部大數(shù)據(jù)的焦點(diǎn)，在于供應(yīng)鏈信息與市場(chǎng)及社會(huì)環(huán)境信息的融合。進(jìn)而，大數(shù)據(jù)時(shí)代企業(yè)組織的基本內(nèi)涵，在于內(nèi)部大數(shù)據(jù)與外部大數(shù)據(jù)的全方位融合。如圖 4所示，大數(shù)據(jù)企業(yè)立足于內(nèi)外部業(yè)務(wù)與社交媒體數(shù)據(jù)的集成交匯。
業(yè)務(wù)流程數(shù)據(jù)主要來(lái)源于以ERP為代表的企業(yè)系統(tǒng)，涵蓋了產(chǎn)品、物料、采購(gòu)、生產(chǎn)、銷售、財(cái)務(wù)等與企業(yè)生產(chǎn)及服務(wù)提供過(guò)程緊密相關(guān)的數(shù)據(jù);商務(wù)交易數(shù)據(jù)來(lái)源于以供應(yīng)鏈管理系統(tǒng) (SCM)、客戶關(guān)系管理系統(tǒng) (CRM)、電子化交易系統(tǒng)為代表的組織間信息系統(tǒng)，涵蓋了供應(yīng)商、客戶、訂單、物流等與外部交易活動(dòng)緊密相關(guān)的信息;內(nèi)部社交媒體數(shù)據(jù)包括了企業(yè)員工在內(nèi)部博客、微博、Wiki、內(nèi)容分享平臺(tái)、群體化即時(shí)通訊工具等應(yīng)用中創(chuàng)造和傳播的信息，以及企業(yè)在辦公自動(dòng)化系統(tǒng)等交流協(xié)作平臺(tái)上所記錄積累的數(shù)據(jù)，涵蓋并反映了員工的知識(shí)、建言、創(chuàng)意、心態(tài)、氛圍等形式多樣、內(nèi)容廣泛的信息;外部社交媒體數(shù)據(jù)主要來(lái)源于公眾社交媒體，包括企業(yè)博客、企業(yè)微博/微信服務(wù)號(hào)、品牌社區(qū)等各種形式，所涵蓋的信息內(nèi)容包括市場(chǎng)環(huán)境、需求信號(hào)、全生命周期顧客行為、個(gè)性化偏好、營(yíng)銷互動(dòng)記錄等。
在這四大類型的數(shù)據(jù)之間，致力于大數(shù)據(jù)管理的企業(yè)可以有兩種不同的發(fā)展策略。其一是以社交媒體與業(yè)務(wù)數(shù)據(jù)的融合為主導(dǎo)，以期通過(guò)敏捷響應(yīng)快速發(fā)現(xiàn)并應(yīng)對(duì)內(nèi)外部環(huán)境中的變化和機(jī)遇。在這種策略下，面向高速數(shù)據(jù)流的實(shí)時(shí)數(shù)據(jù)采集和分析方法，將成為大數(shù)據(jù)管理的主要支撐手段。
第二種策略是以內(nèi)外部數(shù)據(jù)融合為主導(dǎo)，以期通過(guò)全面匯集內(nèi)外部信息，對(duì)中長(zhǎng)期發(fā)展趨勢(shì)作出準(zhǔn)確的預(yù)判，從而實(shí)現(xiàn)高度優(yōu)化的業(yè)務(wù)決策，并通過(guò)對(duì)信息環(huán)境的掌控，獲取企業(yè)網(wǎng)絡(luò)生態(tài)系統(tǒng)中的領(lǐng)導(dǎo)地位。在這種策略下，大規(guī)模多源異構(gòu)數(shù)據(jù)的采集、清洗和整合方法，將成為大數(shù)據(jù)管理的核心支撐。
如何挖掘企業(yè)大數(shù)據(jù)的價(jià)值
企業(yè)大數(shù)據(jù)的價(jià)值開(kāi)發(fā)高度依賴于深度數(shù)據(jù)分析能力。從內(nèi)外部融合的視角上看來(lái)，企業(yè)大數(shù)據(jù)分析包括三個(gè)基本維度，即內(nèi)容、關(guān)系和時(shí)空。
內(nèi)容維度指的是數(shù)據(jù)本身所承載的信息內(nèi)容。例如，G公司是一家大型電信服務(wù)商，其內(nèi)部建設(shè)實(shí)施了一套“班組博客”系統(tǒng)。在這個(gè)內(nèi)部社交媒體平臺(tái)上，公司中的3000多個(gè)工作團(tuán)隊(duì)都開(kāi)設(shè)了自己的博客，用于發(fā)布和交流工作經(jīng)驗(yàn)、生活體驗(yàn)等方面的內(nèi)容。經(jīng)過(guò)數(shù)年的發(fā)展，整個(gè)博客系統(tǒng)中積累了博文700多萬(wàn)篇，評(píng)論超過(guò)1500萬(wàn)條，并保持著每月15萬(wàn)篇以上的博文發(fā)表數(shù)量，年閱讀量超過(guò)1000萬(wàn)篇次。對(duì)于這一平臺(tái)所積累的大量數(shù)據(jù)的價(jià)值開(kāi)發(fā)，首先體現(xiàn)在對(duì)其信息內(nèi)容的提煉上。平臺(tái)上與工作相關(guān)的博文內(nèi)容，如客服案例、經(jīng)驗(yàn)分享等，經(jīng)自動(dòng)篩選分類、主題識(shí)別、關(guān)鍵詞索引之后，被構(gòu)建成企業(yè)知識(shí)庫(kù)，為業(yè)務(wù)及管理工作提供快速有效的知識(shí)支撐，同時(shí)成為員工培訓(xùn)和自學(xué)的有力工具。而大量與工作無(wú)關(guān)的博文和評(píng)論內(nèi)容，包括生活常識(shí)、娛樂(lè)信息、心情表達(dá)、心靈雞湯等，在智能化的分類整理之后，也成為了該公司的一個(gè)獨(dú)特的文化情景，支撐著企業(yè)中活躍的氛圍，強(qiáng)化了員工的文化認(rèn)同。
關(guān)系維度指的是數(shù)據(jù)及其所指代的對(duì)象之間的聯(lián)系。在G公司的班組博客中，員工的發(fā)表、閱讀、評(píng)論、回復(fù)、關(guān)注等行為詳盡地反映了其相互之間密集而持續(xù)的聯(lián)系，而這些聯(lián)系毫無(wú)遺漏地被記錄在平臺(tái)的數(shù)據(jù)庫(kù)之中。通過(guò)對(duì)這些關(guān)系結(jié)構(gòu)的深度分析和挖掘，G公司獲得了對(duì)員工及團(tuán)隊(duì)的影響力、凝聚力、創(chuàng)造力的更為準(zhǔn)確而深入的評(píng)估手段。進(jìn)一步而言，博客平臺(tái)的行為記錄數(shù)據(jù)與業(yè)務(wù)系統(tǒng)中的事務(wù)處理記錄數(shù)據(jù)，以及員工及團(tuán)隊(duì)的績(jī)效表現(xiàn)數(shù)據(jù)，也能夠被有效地關(guān)聯(lián)起來(lái)，從而使得管理者擁有強(qiáng)有力的工具，幫助其發(fā)現(xiàn)和理解員工的行為特質(zhì)、工作表現(xiàn)、業(yè)務(wù)能力之間的潛在關(guān)聯(lián)，進(jìn)而實(shí)現(xiàn)良性優(yōu)化的人員配置和人才培養(yǎng)。
時(shí)空維度指的是數(shù)據(jù)生成及傳播的位置以及數(shù)據(jù)隨時(shí)間演變的模式。對(duì)G公司而言，其數(shù)以千計(jì)的業(yè)務(wù)場(chǎng)所分散在眾多城市的不同地點(diǎn)，因此，數(shù)據(jù)中的位置信息對(duì)于虛擬化的團(tuán)隊(duì)協(xié)同而言具有直接的意義。此外，位置信息也包括了數(shù)據(jù)在組織功能結(jié)構(gòu)和層級(jí)結(jié)構(gòu)中所處的位置。同時(shí)，在G公司的班組博客中，對(duì)特點(diǎn)話題時(shí)間演變規(guī)律的分析，也為管理者提供了有效的參考。其中對(duì)企業(yè)重要活動(dòng)、運(yùn)營(yíng)理念相關(guān)信息在班組博客中的傳播演變模式的跟蹤，有效地揭示了員工對(duì)管理理念的認(rèn)知、態(tài)度和接受過(guò)程。
更深入的價(jià)值開(kāi)發(fā)來(lái)自于上述三個(gè)維度的交叉綜合。例如，內(nèi)容維度與關(guān)系維度的結(jié)合，使得G公司能夠識(shí)別員工的興趣偏好、社交特質(zhì)、工作性質(zhì)以及工作表現(xiàn)之間的匹配關(guān)系，也能夠更為準(zhǔn)確地發(fā)現(xiàn)那些分散在不同的員工手中、但具有重要潛在影響力的經(jīng)驗(yàn)、創(chuàng)意以及機(jī)遇信號(hào)。內(nèi)容維度、關(guān)系維度與時(shí)空維度的結(jié)合，使得企業(yè)能夠更為深入地理解不同的員工特質(zhì)、知識(shí)技能、團(tuán)隊(duì)特性、熱點(diǎn)偏好在整個(gè)組織中的分布，以及這些結(jié)構(gòu)隨時(shí)間演變的過(guò)程和趨勢(shì)，從而更為有效地調(diào)度和配置這些資源。 這些維度上的分析需求，主要需要三方面的數(shù)據(jù)分析技術(shù)予以支撐。第一類是全局視圖技術(shù)。對(duì)于管理者而言，對(duì)大數(shù)據(jù)內(nèi)容全局狀況的把握，往往是開(kāi)發(fā)大數(shù)據(jù)價(jià)值的一個(gè)基本需求。然而大數(shù)據(jù)的體量和結(jié)構(gòu)復(fù)雜性往往遠(yuǎn)遠(yuǎn)超出人類認(rèn)知的信息承載能力。因此，有效的技術(shù)應(yīng)當(dāng)能夠在大量數(shù)據(jù)中提取出一個(gè)足夠小的集合以呈現(xiàn)給管理者，并使得這個(gè)小集合能夠充分地代表數(shù)據(jù)全局。例如，在G公司的博客平臺(tái)上，一種“代表性博文提取”技術(shù)能夠在每天所出現(xiàn)的數(shù)以千計(jì)的博文中自動(dòng)選擇出10篇。這10篇博文在很大程度上全面代表了當(dāng)天所出現(xiàn)的數(shù)千篇文章，既充分反映熱點(diǎn)，也不能忽略冷門信號(hào)，從而使得管理者能夠通過(guò)閱讀這些文章來(lái)了解全局。第二類支撐技術(shù)是關(guān)聯(lián)發(fā)現(xiàn)技術(shù)，其目標(biāo)在于敏銳識(shí)別數(shù)據(jù)間的聯(lián)系。例如，當(dāng)G公司試圖整合博客平臺(tái)、業(yè)務(wù)系統(tǒng)、人力資源系統(tǒng)中的數(shù)據(jù)以全方位分析員工、團(tuán)隊(duì)特質(zhì)以及績(jī)效信息時(shí)，大量的數(shù)據(jù)屬性之間所構(gòu)成的復(fù)雜潛在關(guān)聯(lián)網(wǎng)絡(luò)，就需要強(qiáng)有力的關(guān)聯(lián)發(fā)現(xiàn)技術(shù)來(lái)加以處理。第三類支撐技術(shù)是動(dòng)態(tài)跟蹤技術(shù)，即實(shí)時(shí)化的流數(shù)據(jù)分析處理、快速增量數(shù)據(jù)分析。三方面技術(shù)都處于快速發(fā)展之中，但尚未全面成熟，有待于學(xué)界和業(yè)界的持續(xù)努力和探索。
結(jié)束語(yǔ)
從一定意義上說(shuō)來(lái)，業(yè)務(wù)資源集成與社交媒體相融合的過(guò)程，是一個(gè)“信息去中心化”的過(guò)程。信息資源的創(chuàng)造和管理，從以往以經(jīng)營(yíng)和運(yùn)作為核心的中心化模式，轉(zhuǎn)化為以分散創(chuàng)造、自由傳播、靈活匯聚為特征的眾創(chuàng)模式。另一方面，內(nèi)外部數(shù)據(jù)融合的過(guò)程，是一個(gè)“信息去邊界化”的過(guò)程。企業(yè)部門之間的信息交換、企業(yè)之間的信息交換以及企業(yè)與市場(chǎng)環(huán)境的信息，以日益多樣化、實(shí)時(shí)化的方式實(shí)現(xiàn)。
這樣的轉(zhuǎn)變對(duì)于企業(yè)組織及其員工而言，其影響將會(huì)是多方面的。正面的影響可能包括創(chuàng)新意識(shí)與創(chuàng)新行為的出現(xiàn)、員工能力和技能的發(fā)展、溝通滿意度的提升、員工關(guān)系資本的建立和積累、員工對(duì)組織的認(rèn)同和歸屬感的增加;而負(fù)面的影響則可能包括員工注意力分散、過(guò)度爭(zhēng)論，以及負(fù)面情緒的傳播等。所以，建設(shè)“大數(shù)據(jù)企業(yè)”的過(guò)程，也將會(huì)是一個(gè)伴隨著困難與風(fēng)險(xiǎn)的過(guò)程。在此過(guò)程中，需要管理者有效地把握創(chuàng)新發(fā)展的長(zhǎng)期收益與短期業(yè)績(jī)之間的平衡，在推進(jìn)大數(shù)據(jù)融合的同時(shí)防范和控制其中的組織風(fēng)險(xiǎn)，并審慎地思考和重新定義組織內(nèi)外部邊界。
換言之，對(duì)企業(yè)而言，大數(shù)據(jù)實(shí)質(zhì)上是一種管理思維，其支點(diǎn)在于業(yè)務(wù)信息資源與社交媒體的融合，以及內(nèi)外部數(shù)據(jù)的融合，在這樣的支點(diǎn)上反思企業(yè)的組織形態(tài)、運(yùn)作范式和價(jià)值創(chuàng)造模式，是“大數(shù)據(jù)企業(yè)”的真正內(nèi)涵所在。
猜你喜歡：
1.淺談大數(shù)據(jù)技術(shù)對(duì)高校教學(xué)改革的啟示