大數(shù)據(jù)管理論文(2)
大數(shù)據(jù)管理論文篇二
大數(shù)據(jù)與政府數(shù)據(jù)管理
摘要：21世紀是數(shù)據(jù)信息大發(fā)展的時代，2011年5月，在“云計劃相遇大數(shù)據(jù)”為主題的EMC World 2011會議中，EMC拋出了大數(shù)據(jù)的概念。本文從詳細介紹大數(shù)據(jù)入手，分析了政府數(shù)據(jù)管理中不利于大數(shù)據(jù)應用的問題，并提出了一定的解決辦法，以期推進我國政府管理的大數(shù)據(jù)建設。
關鍵詞：政府數(shù)據(jù)管理 大數(shù)據(jù) 信息化建設
1.大數(shù)據(jù)的概念
目前，國內(nèi)外沒有統(tǒng)一的大數(shù)據(jù)概念，一般是指大小已經(jīng)超出了傳統(tǒng)意義，一般的軟件工具難以捕捉、存儲、管理和分析的數(shù)據(jù)。“大數(shù)據(jù)”之“大”并不僅僅在于其“容量之大”，而是指在大規(guī)模數(shù)據(jù)的基礎上可以做的事情，而這些事情在小規(guī)模數(shù)據(jù)的基礎上是無法實現(xiàn)的。大數(shù)據(jù)通過對海量數(shù)據(jù)進行整理、分析，獲得有巨大價值的產(chǎn)品，或深刻的洞見，最終形成變革之力。
大數(shù)據(jù)擁有四大特征：
第一，大量(Volume)。2012年、2013年產(chǎn)生數(shù)據(jù)量總和是人類有歷史以來到2011年產(chǎn)生數(shù)據(jù)量的總和，兩年的數(shù)據(jù)量等于一萬年的總和，這個數(shù)據(jù)規(guī)模為1.8ZB。這表明互聯(lián)網(wǎng)時代的社交網(wǎng)絡、電子商務與移動通信把人類帶入了一個以“PB”乃至“EB”為單位的新時代。
第二，多樣(Variety)。大數(shù)據(jù)有網(wǎng)絡數(shù)據(jù)、企事業(yè)單位數(shù)據(jù)、政府數(shù)據(jù)，有網(wǎng)絡數(shù)據(jù)自媒體數(shù)據(jù)(比如社交網(wǎng)絡、博客、微博等)，有日志數(shù)據(jù)(比如搜索引擎，大家上網(wǎng)等等都會留下很多足跡)，還有富媒體數(shù)據(jù)(視頻、音頻等等)，相對于以往便于存儲的以文本為主的結構化數(shù)據(jù)，非結構化數(shù)據(jù)越來越多，這些多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高要求。
第三，價值(Value)。被稱為“大數(shù)據(jù)時代預言家”的牛津大學網(wǎng)絡學院互聯(lián)網(wǎng)研究所治理與管理專業(yè)教授維克托・邁爾-舍恩伯格說：“大數(shù)據(jù)的核心就是預測，不是要教機器像人一樣思考，而是要把數(shù)學計算運用到海量數(shù)據(jù)上，來預測事情發(fā)生的可能性”。預測，作為大數(shù)據(jù)的核心力量，早已被多次證明。2009年，Google曾用大數(shù)據(jù)分析5000萬條美國人頻繁檢索的詞匯，將之和美國疾病中心在2003-2008年間季節(jié)性流感傳播時期的數(shù)據(jù)進行比較，準確預測當年的流感趨勢，甚至可以具體到特定的地區(qū)和州。
第四，高速(Velocity)。1秒定律，這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。根據(jù)IDC的“數(shù)字宇宙”的報告，預計到2020年，全球數(shù)據(jù)使用量將達到35.2ZB。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。
簡單地說，大量化、多樣化、快速化以及價值密度低就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。
2.政府數(shù)據(jù)管理三部曲
黨的報告首次提出“四化同步”戰(zhàn)略，將信息化提升到國家戰(zhàn)略高度，如果地方政府、各部門采取“鴕鳥政策 ”，不去了解虛擬世界，不會運用移動互聯(lián)網(wǎng)信息技術，不懂得大數(shù)據(jù)概念。這樣既不符合中央要求，也不符合時代的要求，只能讓我們在時代發(fā)展中步步落伍。
哈佛大學商學院達文波特說：大數(shù)據(jù)及其分析，將會在未來10年改變幾乎每一個行業(yè)的業(yè)務功能。任何一個組織，如果早一點著手大數(shù)據(jù)的工作，就可以獲得明顯的競爭優(yōu)勢。數(shù)據(jù)被視為科學的度量，知識的來源;沒有數(shù)據(jù)，無論是學術研究，還是政策的制定，都將寸步難行。那么作為政府部門該如何進行數(shù)據(jù)管理呢?
2.1數(shù)據(jù)收集
我國是一個人口大國，也是互聯(lián)網(wǎng)大國、手機大國，但很可惜，卻是一個大數(shù)據(jù)小國?！?ldquo;大數(shù)據(jù)”》的作者徐子沛認為，這是因為我們收集數(shù)據(jù)的意識比較差。在技術層面，我們與美國等國家差距并不大。但由于缺乏“大數(shù)據(jù)”意識，很多數(shù)據(jù)得不到收集和存儲，也就無法有效利用。政府部門在運用大數(shù)據(jù)時首要任務就是建立收集網(wǎng)絡，收集大數(shù)據(jù)。根據(jù)麥肯錫的數(shù)據(jù)，我國2010年新增的數(shù)據(jù)量約為250拍，不及日本的400拍、歐洲的2000拍，與美國的3500拍更是相去甚遠。
我國才剛剛開始試水大數(shù)據(jù)戰(zhàn)略，可借鑒國外收集、管理、利用數(shù)據(jù)的先進經(jīng)驗，改進政府的決策，提高工作效率。而美國在這方面已經(jīng)形成了一套完整的規(guī)范，值得學習。
比如美國的交通安全管理局作為美國聯(lián)邦政府最早大規(guī)模收集數(shù)據(jù)部門之一，在1966年起就開始在全國范圍內(nèi)收集交通事故記錄雖然一起交通事故的數(shù)據(jù)可能是無序的，一年的數(shù)據(jù)、一個地區(qū)的數(shù)據(jù)也無章可循，但隨著跨年度、跨地區(qū)的數(shù)據(jù)的累積和增多，群體的行為規(guī)律就會浮出水面，可以通過挖掘這些數(shù)據(jù)，制定合理政策，避免交通事故的發(fā)生率。
數(shù)據(jù)源主要是收集三種類型的數(shù)據(jù)：
業(yè)務管理數(shù)據(jù)：以基層上報、被動接收下級部門和各類社會組織數(shù)據(jù)。我國衛(wèi)生部在2006年制定了第一套最小標準數(shù)據(jù)集。而美國現(xiàn)在的很多行業(yè)都有著這樣的統(tǒng)一“最小數(shù)據(jù)集”，2011年美國已擁有1萬多個這樣的系統(tǒng)。
民意社情數(shù)據(jù)：投入人力、財力主動收集單個公民或組織數(shù)據(jù)。我國國家統(tǒng)計局于2006年正式成立了社情民意調(diào)查中心，并于2013年11月，與百度、阿里巴巴、卓創(chuàng)資訊等11家企業(yè)簽訂了大數(shù)據(jù)戰(zhàn)略合作框架協(xié)議。2014年初，與卓創(chuàng)資訊聯(lián)合發(fā)布流通領域重要生產(chǎn)資料價格，這被視為擁抱大數(shù)據(jù)的重要舉措。
物理環(huán)境數(shù)據(jù)：以傳感器自動采集自然環(huán)境、動植物、物體數(shù)據(jù)。對此數(shù)據(jù)的采集，我國更是落后，直到2010年物聯(lián)網(wǎng)的技術開始在鐵道部、交通部得到應用。
2.2 數(shù)據(jù)分析
進入大數(shù)據(jù)時代之后，個人的社會行為很多都被數(shù)字化，如個人網(wǎng)上瀏覽記錄、消費記錄，通話記錄等等，這些數(shù)據(jù)足以勾畫出一個人的主要社會活動圖像，并由這些活動圖像對個人的行為特征進行分析。大數(shù)據(jù)的意義不在于龐大的數(shù)據(jù)信息，而在于對其中有意義的數(shù)據(jù)進行專業(yè)化處理，只有通過分析才能獲取很多智能的、深入的、有價值的信息。例如，生活在美國明尼蘇達州的一位父親與15歲的女兒購物后?；丶野l(fā)現(xiàn)商品中被加入了很多針對嬰兒孕婦商品的廣告，怒氣沖沖地跑到超市投訴。兩周后，父親向經(jīng)理道歉，這時他才知道自己女兒已經(jīng)懷孕近兩個月。而超市就是通過數(shù)據(jù)分析公司根據(jù)她女兒近期所有購物數(shù)據(jù)預測出該顧客懷孕，這就是大數(shù)據(jù)洞察人的方式。 分析的首要前提是讓看起來不相關的數(shù)據(jù)真正地關聯(lián)起來。其次，讓這些不會說話的“盲數(shù)據(jù)”活起來。只有這樣才可以及時掌握社會經(jīng)濟發(fā)展、公共服務職能運行狀況，才能為政府科學決策和提升執(zhí)政能力提供很好的支撐保障。比如城市化的進展給我們帶來了現(xiàn)代化生活的同時，也帶來了諸如環(huán)境的污染、交通的堵塞、能耗的增加等等很多問題。在過去因為城市的設置過于復雜，要解決這些問題很難。但是今天，傳感器技術的發(fā)展和云計算的成熟，產(chǎn)生了大量的大數(shù)據(jù)，社交媒體數(shù)據(jù)、氣象數(shù)據(jù)、交通數(shù)據(jù)、地圖數(shù)據(jù)等等，如果我們使用得當?shù)脑挘@些大數(shù)據(jù)就能引導我們發(fā)現(xiàn)問題，并進一步解決問題。比如空氣質(zhì)量問題，我們就可以通過收集空氣質(zhì)量監(jiān)測站的關于氣象條件的數(shù)據(jù)加上交通數(shù)據(jù)、人口、餐廳、公園等等數(shù)據(jù)，建立一個地方的數(shù)據(jù)庫和這個地方空氣質(zhì)量的模型，這樣我們就可以算出這個地方任何一個角落的空氣質(zhì)量。我們就知道我們什么時候可以出來散步，什么時候小孩子可以出來玩，同時這也是進一步解決空氣污染的前奏。
我國經(jīng)過20多年的電子政務建設，政府的管理信息系統(tǒng)及數(shù)據(jù)的采集處理幾乎覆蓋各業(yè)務部門和主要公共服務，政府掌握著大量的、關鍵的數(shù)據(jù)，那些沉睡在檔案袋、文件夾中的數(shù)據(jù)，有著無比巨大的價值，能產(chǎn)生驚人的效用。比如，某導航公司將上海公開的2萬多條地理位置信息用于地圖編制與更新，服務了上億用戶。
但是，這些數(shù)據(jù)應用是極少一部分，政府掌握的絕大多數(shù)數(shù)據(jù)處于休眠狀態(tài)，如何讓這些“盲數(shù)據(jù)”發(fā)揮出活力，是“大數(shù)據(jù)”時代我國政府面臨的關鍵問題。而我國現(xiàn)有的政府部門的數(shù)據(jù)猶如一個個信息孤島，數(shù)據(jù)缺乏統(tǒng)一的格式，數(shù)據(jù)交換缺乏統(tǒng)一的標準和平臺。不用說跨部門之間的信息交換，即便是同一部委，不同業(yè)務部門的數(shù)據(jù)交換也存在障礙。盡管我國為了提升電子政務發(fā)展水平，實施了“十二金”工程，但數(shù)據(jù)孤島在我國當前政府部門的信息化系統(tǒng)之間是一種普遍現(xiàn)象，這從國際上公認衡量各國信息化發(fā)展水平的全球電子政務發(fā)展指數(shù)(EGDI)上面也能體現(xiàn)。近十年，我國EGDI排名先升后降，從2003年第74位升至2005年第57位，2012年跌至第78位。
不過互聯(lián)網(wǎng)和移動互聯(lián)的普及，已經(jīng)在形成一種態(tài)勢倒逼政府的科學決策，更是對政府執(zhí)政能力的考驗。我們不能確定這股數(shù)據(jù)浪潮究竟何時會給政府的數(shù)據(jù)應用帶來根本性的改變，但我們已經(jīng)看見這種趨勢已經(jīng)在漸漸形成。對于政府部門而言，為了迎接以數(shù)據(jù)分析為支撐的科學決策的到來，我國先后制定了多項政策，《“十二五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》中，“智能海量數(shù)據(jù)處理相關軟件研發(fā)和產(chǎn)業(yè)化”(大數(shù)據(jù)技術)被列為重點發(fā)展技術方向之一。此外，我國發(fā)展大數(shù)據(jù)的產(chǎn)業(yè)環(huán)境也日漸成熟。2013年8月14日，國務院發(fā)布《關于促進信息消費擴大內(nèi)需的若干意見》(以下簡稱意見)，賦予信息消費拉動經(jīng)濟增長的重要使命。隨后緊接著推出的“寬帶中國”戰(zhàn)略，更是為大數(shù)據(jù)發(fā)展提供了良好的基礎網(wǎng)絡環(huán)境。當然在管理上，在人才上，在法律上，在產(chǎn)業(yè)支撐環(huán)境方面等等，我國政府還有太多的課要補，從認識到“大數(shù)據(jù)能產(chǎn)生價值”，到實現(xiàn)了“從大數(shù)據(jù)中找到價值”，再到“有效使用大數(shù)據(jù)產(chǎn)生的價值”，這是一條漫長的道路。
2.3數(shù)據(jù)發(fā)布
2007年4月耶魯大學法學院教授丹尼爾・埃斯蒂，曾分析過信息開放對美國政府改革的重要性：
“盡管信息時代的技術進步已經(jīng)徹底改變了商業(yè)領域和體育運動領域的決策過程，但聯(lián)邦政府對這些技術的應用還僅僅處在一個開始的階段。要實施‘數(shù)據(jù)驅動的決策方法’，不僅要使用新的技術、還要改變目前的決策過程。一旦打破這些障礙，將從中獲益：政府將更有效率、更加開放、更加負責，引導政府前進的將是‘基于實證的事實’，而不是‘意識形態(tài)’，也不是利益集團在決策過程中施加的影響。”
2.3.1政府部門通過對數(shù)據(jù)的發(fā)布接受社會監(jiān)督。美國著名的大法官路易斯.布蘭代斯有一句名言：“陽光是最好的防腐劑。” 面對公共信息，奧巴馬在簽署第二份總統(tǒng)備忘錄《信息自由法》時強調(diào)，“當我們有所懷疑的時候，公開是第一選擇。我們不能因為公開可能導致我們的官員陷于難堪的境地，或者會暴露我們的錯誤和失敗，或者因為莫名的擔心和害怕，而把信息打上‘保密’的標簽”?？梢哉f這份備忘錄的簽署，不僅在美國聯(lián)邦政府的各部門刮起了“透明和開放”的旋風，而且波及全世界很多國家。政府數(shù)據(jù)的發(fā)布在一定程度上可以制約權力濫用，如果把政府公權力的行使由個別人、少數(shù)人知情變?yōu)槎鄶?shù)人知情，就能規(guī)范行政行為，消除暗箱操作，把腐敗的發(fā)生率降到最低。唯有此才能做到“權為民所用、情為民所系、利為民所謀”。近年來，我國教育部實現(xiàn)網(wǎng)上招生錄取，錄取信息網(wǎng)上查閱。政府部門“三公”經(jīng)費的公開等等，都有效防止了腐敗現(xiàn)象的發(fā)生。
2.3.2鼓勵民間介入。在網(wǎng)上發(fā)布數(shù)據(jù)，將會吸引一大批對這個問題感興趣的各界人士參與到政策制定的過程中來，將會使所有的問題都無所遁形，更多的問題將被發(fā)現(xiàn)，更多的細節(jié)將被討論，更好的方案將會被激發(fā)。據(jù)介紹，美國聯(lián)邦政府建立了“Data.Gov”網(wǎng)站，開放一些公共數(shù)據(jù)并鼓勵挖掘。截至2011年12月，該網(wǎng)站共有3721項原始數(shù)據(jù)、386429項地理數(shù)據(jù)、1570個數(shù)據(jù)可視化應用。人們可以從這些數(shù)據(jù)中找出空氣質(zhì)量與工廠數(shù)量、胖子數(shù)量與快餐店多寡等關聯(lián)。這對經(jīng)濟、環(huán)保等領域的研究有著非凡的意義。
2.3.3推動政策復制。通過發(fā)布這些數(shù)據(jù)，一項具體政策的執(zhí)行效果能夠被量化，各省之間很方便進行“事實對比”，新的政策如果有效，很容易在全國范圍內(nèi)被接受、復制并推廣，形成一種良性的“政策競爭”氛圍?！?ldquo;大數(shù)據(jù)”》有一個這樣的案例，1980年開始，美國個別州開始實施駕駛人員必須佩戴安全帶的規(guī)定，但隨后收集到的數(shù)據(jù)卻表明，實施同樣規(guī)定的州，死亡率的下降幅度卻各不相同。這個數(shù)據(jù)之差引發(fā)了聯(lián)邦政府對全國的執(zhí)行情況進行檢查和對比。后來發(fā)現(xiàn)，效果明顯的州，警察有權力隨時截停車輛、檢查司乘人員是否佩戴了安全帶，而效果不明顯的州，僅僅規(guī)定警察只能在以其他理由截停車輛時順便檢查車上的人員是否佩戴了安全帶。這個發(fā)現(xiàn)，后來引發(fā)了多個州執(zhí)法方式的改變。
2.3.4提高管理能力。通過數(shù)據(jù)整合和運用提高管理能力，是目前世界各國的通用做法。在西班牙首都馬德里，整合警察、消防、醫(yī)療系統(tǒng)，使救援時間大同度縮短;在新加坡，智能交通綜合信息管理平臺在預測交通流速和流量方面有高達85%的準確率。在美國，加州大學的人類學和數(shù)學家共同建立了犯罪活動預測平臺。在不增加警力的情況下，洛杉磯的財產(chǎn)犯案率和盜竊案件分別下降了12%和16%。
中國工程院信息與電子學部主任、中國計算機學會理事長李國杰院士的課題組，提出我國政府開放數(shù)據(jù)的六項原則：
開放原則：政府信息資源以共享為原則，不共享為例外。注意開放與保護隱私的平衡。
保障安全原則：根據(jù)安全等級確定數(shù)據(jù)共享的范圍。
價值導向原則：開放的政務數(shù)據(jù)資源應具有經(jīng)濟價值和社會價值，共享的目的是促進數(shù)據(jù)資源的利用。
質(zhì)量保障原則：內(nèi)容完整可信，數(shù)據(jù)格式方便使用，內(nèi)容及時更新。
責權利統(tǒng)一原則：政務數(shù)據(jù)擁有部門承擔數(shù)據(jù)開放的責任，依法明確可開放數(shù)據(jù)的范圍。用戶對下載后數(shù)據(jù)的使用行為負責。
數(shù)字連續(xù)性原則：被開放的政務數(shù)據(jù)資源應維護其數(shù)字連續(xù)性，可檢索、可呈現(xiàn)、可理解、可被發(fā)現(xiàn)，保證可持續(xù)再用。
在某市《政府信息資源共享管理辦法》中，寫到“行政機關未經(jīng)提供信息的行政機關同意，不得擅自向社會發(fā)布和公開所獲取的共享信息”。如果是無條件開放的數(shù)據(jù)，為什么不能再公開。對于“無附加條件共享”的政府數(shù)據(jù)，應實行“非限制即共享的原則”。盡管有識之士已經(jīng)意識到大數(shù)據(jù)的競爭力和戰(zhàn)略性，但數(shù)據(jù)財富尚未形成全民意識，我國應迎頭趕上“大數(shù)據(jù)”這一時代潮流。
參考文獻：
[1]麥肯錫全球研究所.大數(shù)據(jù)：創(chuàng)新、競爭和提高生產(chǎn)率的下一個新領域[R].美國：麥肯錫咨詢公司，2011
[2]李國杰.大數(shù)據(jù)時代的國家治理體系和治理能力[J]， 大數(shù)據(jù)文摘2014(2)28
[3]涂子沛.大數(shù)據(jù)：正在到來的數(shù)據(jù)革命[M].桂林：廣西師范大學出版社，2012
看了“大數(shù)據(jù)管理論文”的人還看：
1.大數(shù)據(jù)時代下的人口信息管理及應用探析論文
2.基于大數(shù)據(jù)時代下的高校信息管理研究論文