- 大時代數(shù)據(jù)發(fā)展的七個挑戰(zhàn)
- 本站編輯:xghl發(fā)布日期:2015-12-10 08:51 瀏覽次數(shù):
目前大數(shù)據(jù)的發(fā)展依然存在諸多挑戰(zhàn),包括七大方面的挑戰(zhàn):業(yè)務部門沒有清晰的大數(shù)據(jù)需求導致數(shù)據(jù)資產(chǎn)逐漸流失;企業(yè)內部數(shù)據(jù)孤島嚴重,導致數(shù)據(jù)價值不能充分挖掘;數(shù)據(jù)可用性低,數(shù)據(jù)質量差,導致數(shù)據(jù)無法利用;數(shù)據(jù)相關管理技術和架構落后,導致不具備大數(shù)據(jù)處理能力;數(shù)據(jù)安全能力和防范意識差,導致數(shù)據(jù)泄露;大數(shù)據(jù)人才缺乏導致大數(shù)據(jù)工作難以開展;大數(shù)據(jù)越開放越有價值,但缺乏大數(shù)據(jù)相關的政策法規(guī),導致數(shù)據(jù)開放和隱私之間難以平衡,也難以更好的開放。
挑戰(zhàn)一:業(yè)務部門沒有清晰的大數(shù)據(jù)需求
很多企業(yè)業(yè)務部門不了解大數(shù)據(jù),也不了解大數(shù)據(jù)的應用場景和價值,因此難以提出大數(shù)據(jù)的準確需求。由于業(yè)務部門需求不清晰,大數(shù)據(jù)部門又是非盈利部門,企業(yè)決策層擔心投入比較多的成本,導致了很多企業(yè)在搭建大數(shù)據(jù)部門時猶豫不決,或者很多企業(yè)都處于觀望嘗試的態(tài)度,從根本上影響了企業(yè)在大數(shù)據(jù)方向的發(fā)展,也阻礙了企業(yè)積累和挖掘自身的數(shù)據(jù)資產(chǎn),甚至由于數(shù)據(jù)沒有應用場景,刪除很多有價值歷史數(shù)據(jù),導致企業(yè)數(shù)據(jù)資產(chǎn)流失。因此,這方面需要大數(shù)據(jù)從業(yè)者和專家一起,推動和分享大數(shù)據(jù)應用場景,讓更多的業(yè)務人員了解大數(shù)據(jù)的價值。
挑戰(zhàn)二:企業(yè)內部數(shù)據(jù)孤島嚴重
企業(yè)啟動大數(shù)據(jù)最重要的挑戰(zhàn)是數(shù)據(jù)的碎片化。在很多企業(yè)中尤其是大型的企業(yè),數(shù)據(jù)常常散落在不同部門,而且這些數(shù)據(jù)存在不同的數(shù)據(jù)倉庫中,不同部門的數(shù)據(jù)技術也有可能不一樣,這導致企業(yè)內部自己的數(shù)據(jù)都沒法打通。如果不打通這些數(shù)據(jù),大數(shù)據(jù)的價值則非常難挖掘。大數(shù)據(jù)需要不同數(shù)據(jù)的關聯(lián)和整合才能更好的發(fā)揮理解客戶和理解業(yè)務的優(yōu)勢。如何將不同部門的數(shù)據(jù)打通,并且實現(xiàn)技術和工具共享,才能更好的發(fā)揮企業(yè)大數(shù)據(jù)的價值。
挑戰(zhàn)三:數(shù)據(jù)可用性低,數(shù)據(jù)質量差
很多中型以及大型企業(yè),每時每刻也都在產(chǎn)生大量的數(shù)據(jù),但很多企業(yè)在大數(shù)據(jù)的預處理階段很不重視,導致數(shù)據(jù)處理很不規(guī)范。大數(shù)據(jù)預處理階段需要抽取數(shù)據(jù)把數(shù)據(jù)轉化為方便處理的數(shù)據(jù)類型,對數(shù)據(jù)進行清洗和去噪,以提取有效的數(shù)據(jù)等操作。甚至很多企業(yè)在數(shù)據(jù)的上報就出現(xiàn)很多不規(guī)范不合理的情況。以上種種原因,導致企業(yè)的數(shù)據(jù)的可用性差,數(shù)據(jù)質量差,數(shù)據(jù)不準確。而大數(shù)據(jù)的意義不僅僅是要收集規(guī)模龐大的數(shù)據(jù)信息,還有對收集到的數(shù)據(jù)進行很好的預處理處理,才有可能讓數(shù)據(jù)分析和數(shù)據(jù)挖掘人員從可用性高的大數(shù)據(jù)中提取有價值的信息。Sybase的數(shù)據(jù)表明,高質量的數(shù)據(jù)的數(shù)據(jù)應用可以顯著提升企業(yè)的商業(yè)表現(xiàn),數(shù)據(jù)可用性提高10%,企業(yè)的業(yè)績至少提升在10%以上。
挑戰(zhàn)四:數(shù)據(jù)相關管理技術和架構
技術架構的挑戰(zhàn)包含以下幾方面:(1)傳統(tǒng)的數(shù)據(jù)庫部署不能處理TB級別的數(shù)據(jù),快速增長的數(shù)據(jù)量超越了傳統(tǒng)數(shù)據(jù)庫的管理能力。如何構建分布式的數(shù)據(jù)倉庫,并可以方便擴展大量的服務器成為很多傳統(tǒng)企業(yè)的挑戰(zhàn);(2)很多企業(yè)采用傳統(tǒng)的數(shù)據(jù)庫技術,在設計的開始就沒有考慮數(shù)據(jù)類別的多樣性,尤其是對結構化數(shù)據(jù)、半結構化和非結構化數(shù)據(jù)的兼容;(3)傳統(tǒng)企業(yè)的數(shù)據(jù)庫,對數(shù)據(jù)處理時間要求不高,這些數(shù)據(jù)的統(tǒng)計結果往往滯后一天或兩天才能統(tǒng)計出來。但大數(shù)據(jù)需要實時處理數(shù)據(jù),進行分鐘級甚至是秒級計算。傳統(tǒng)的數(shù)據(jù)庫架構師缺乏實時數(shù)據(jù)處理的能力;(4)海量的數(shù)據(jù)需要很好的網(wǎng)絡架構,需要強大的數(shù)據(jù)中心來支撐,數(shù)據(jù)中心的運維工作也將成為挑戰(zhàn)。如何在保證數(shù)據(jù)穩(wěn)定、支持高并發(fā)的同時,減少服務器的低負載情況,成為海量數(shù)據(jù)中心運維的一個重點工作。
挑戰(zhàn)五:數(shù)據(jù)安全
網(wǎng)絡化生活使得犯罪分子更容易獲得關于人的信息,也有了更多不易被追蹤和防范的犯罪手段,可能會出現(xiàn)更高明的騙局。如何保證用戶的信息安全成為大數(shù)據(jù)時代非常重要的課題。在線數(shù)據(jù)越來越多,黑客犯罪的動機比以往都來的強烈,一些知名網(wǎng)站密碼泄露、系統(tǒng)漏洞導致用戶資料被盜等個人敏感信息泄露事件已經(jīng)警醒我們,要加強大數(shù)據(jù)網(wǎng)絡安全的建設。另外,大數(shù)據(jù)的不斷增加,對數(shù)據(jù)存儲的物理安全性要求會越來越高,從而對數(shù)據(jù)的多副本與容災機制也提出更高的要求。目前很多傳統(tǒng)企業(yè)的數(shù)據(jù)安全令人擔憂。
挑戰(zhàn)六:大數(shù)據(jù)人才缺乏
大數(shù)據(jù)建設的每個環(huán)節(jié)都需要依靠專業(yè)人員完成,因此,必須培養(yǎng)和造就一支掌握大數(shù)據(jù)技術、懂管理、有大數(shù)據(jù)應用經(jīng)驗的大數(shù)據(jù)建設專業(yè)隊伍。目前大數(shù)據(jù)相關人才的欠缺將阻礙大數(shù)據(jù)市場發(fā)展。據(jù)Gartner預測,到2015年,全球將新增440萬個與大數(shù)據(jù)相關的工作崗位,且會有25%的組織設立首席數(shù)據(jù)官職位。大數(shù)據(jù)的相關職位需要的是復合型人才,能夠對數(shù)學、統(tǒng)計學、數(shù)據(jù)分析、機器學習和自然語言處理等多方面知識綜合掌控。未來,大數(shù)據(jù)將會出現(xiàn)約100萬的人才缺口,在各個行業(yè)大數(shù)據(jù)中高端人才都會成為最炙手可熱的人才,涵蓋了大數(shù)據(jù)的數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)分析師、數(shù)據(jù)架構師、大數(shù)據(jù)后臺開發(fā)工程師、算法工程師等多個方向。因此需要高校和企業(yè)共同努力去培養(yǎng)和挖掘。目前最大的問題是很多高校缺乏大數(shù)據(jù),所以擁有大數(shù)據(jù)的企業(yè)應該與學校聯(lián)合培養(yǎng)人才。
挑戰(zhàn)七:數(shù)據(jù)開放與隱私的權衡
在大數(shù)據(jù)應用日益重要的今天,數(shù)據(jù)資源的開放共享已經(jīng)成為在數(shù)據(jù)大戰(zhàn)中保持優(yōu)勢的關鍵。商業(yè)數(shù)據(jù)和個人數(shù)據(jù)的共享應用,不僅能促進相關產(chǎn)業(yè)的發(fā)展,也能給我們的生活帶來巨大的便利。由于政府、企業(yè)和行業(yè)信息化系統(tǒng)建設往往缺少統(tǒng)一規(guī)劃,系統(tǒng)之間缺乏統(tǒng)一的標準,形成了眾多“信息孤島”,而且受行政壟斷和商業(yè)利益所限,數(shù)據(jù)開放程度較低,這給數(shù)據(jù)利用造成極大障礙。另外一個制約我國數(shù)據(jù)資源開放和共享的一個重要因素是政策法規(guī)不完善,大數(shù)據(jù)挖掘缺乏相應的立法。無法既保證共享又防止濫用。因此,建立一個良性發(fā)展的數(shù)據(jù)共享生態(tài)系統(tǒng),是我國大數(shù)據(jù)發(fā)展需要邁過去的一道砍。同時,開放與隱私如何平衡,也是大數(shù)據(jù)開放過程中面臨的最大難題。如何在推動數(shù)據(jù)全面開放、應用和共享的同時有效地保護公民、企業(yè)隱私,逐步加強隱私立法,將是大數(shù)據(jù)時代的一個重大挑戰(zhàn)。
相關文章推薦
- 如何選擇高速數(shù)據(jù)采集卡
2016-01-11
- 研華USB-4716多功能數(shù)據(jù)采集模塊
2015-06-03
- 數(shù)據(jù)采集卡的使用
2015-04-15
- 數(shù)據(jù)采集卡的選擇
2015-04-28
- 數(shù)據(jù)采集卡的結構原理
2014-11-19
- 數(shù)據(jù)采集卡的數(shù)據(jù)采集
2014-06-27
- 工控機數(shù)據(jù)采集任務
2015-04-21
- PCI-1710HG多功能板卡的主要特性
2015-04-21