大數(shù)據技術方案必備四個條件
在技術層面上,大數(shù)據處理技術種類繁多,包括數(shù)據倉庫技術、Hadoop、NoSql、流式處理技術等。其中Hadoop作為一個開源的能夠對大量數(shù)據進行分布式處理的軟件框架,近來不斷受到業(yè)界追捧,類似谷歌、亞馬遜等世界領先的互聯(lián)網公司也公布了基于Hadoop的成功案例,一些聲音甚至表示,Hadoop就等于大數(shù)據。
據了解,中國聯(lián)通在內的國內運營商和一些大型企業(yè)也開啟了Hadoop的大數(shù)據探索之路。其中已經先期開展的應用就是通過采用英特爾硬件平臺及英特爾Hadoop相結合的大數(shù)據技術,構建上網記錄集中查詢與分析支撐系統(tǒng),用以解決用戶上網記錄無法查詢的難題。
但是也應該看到,這種技術不僅是IT設備投入,人力成本以及對操作人員的技術水平都有相當嚴格的要求,目前自行開發(fā)Hadoop平臺的都是具備一定開發(fā)能力的互聯(lián)網企業(yè),但運營商在這方面并不擅長。
據上海移動介紹,目前業(yè)界在大數(shù)據業(yè)務支撐系統(tǒng)上已經有了很多的研究,中國移動也在積極進行研究探索,技術上的難點包括如何整合運營商內部已有“煙囪式”的各類經營分析系統(tǒng),建設一個開放接口的共享數(shù)據平臺;如何解決海量數(shù)據的采集、存儲和安全問題等。
上海聯(lián)通認為,在未來大數(shù)據技術方案應該具備四個條件:
一是具備數(shù)據分析速度優(yōu)勢。在查詢效率上比傳統(tǒng)系統(tǒng)要有大幅提高。
二是具備大規(guī)模擴展能力。數(shù)據的橫向、縱向的擴展能力提升,包括跨服務器數(shù)據的處理能力優(yōu)勢。
三是具備開放架構優(yōu)勢。一方面是對Hadoop的支持與集成,另一方面則是提供各個平臺間,甚至是與第三方平臺間的自由的傳輸數(shù)據和存儲。
四是具備完善的自我學習能力。實現(xiàn)海量數(shù)據挖掘后不需要人工干預的策略自我歸集。
運營商做什么
互聯(lián)網服務對傳統(tǒng)電信運營商業(yè)務構成的沖擊,反而可以加速運營商的轉型,并催生運營商新的機遇和市場空間。大數(shù)據和云計算恰恰就是在這種產業(yè)變化的情況下催生出的新業(yè)務,對于運營商來說,這兩個領域擁有比傳統(tǒng)基礎電信業(yè)務更大的市場空間。
對于大數(shù)據市場的開發(fā),上海聯(lián)通認為運營企業(yè)應該遵循由簡到難的四步走策略:
首先,開展針對用戶消費數(shù)據的分析評估,以幫助運營商改善自身服務質量。
其次,結合用戶上網情況及互聯(lián)網網頁內容,為精準行銷提供用戶行為偏好分析;為聯(lián)通自身的業(yè)務發(fā)展提供大趨勢及業(yè)務競品分析能力和策略指引。
第三,在專門行業(yè)應用領域入手,開展專業(yè)化大數(shù)據產品的設計的開發(fā),積累推廣經驗。
最后,開展第三方資源整合和跨界合作,構建智慧的大數(shù)據體系,加大開放合作力度,與產業(yè)鏈各個環(huán)節(jié)開展合作,加快對大數(shù)據經營商業(yè)模式的探索,不斷釋放其管道中龐大數(shù)據的潛在力量,為客戶創(chuàng)造更大的價值。
據上海聯(lián)通介紹,中國聯(lián)通目前正在著手對大數(shù)據業(yè)務進行研究,并已經成立了云數(shù)據運營中心,計劃依靠該部門逐步嘗試開展大數(shù)據業(yè)務的運營工作,并計劃將該運營中心公司化,獨立運營。
2012年中國聯(lián)通成功將大數(shù)據和Hadoop技術引入到‘移動通信用戶上網記錄集中查詢與分析支撐系統(tǒng)’,并已經部署了4.5PB的存儲空間。系統(tǒng)已經具備了每天處理700億條上網記錄的能力。
上海電信則主要從大數(shù)據基礎設施建設,數(shù)據挖掘和開放等兩個層次發(fā)展大數(shù)據相關業(yè)務。
在基礎設施方面,上海電信除建設城市光網等基礎設施外,更加關注數(shù)據存儲和數(shù)據分析計算設施的建設,包括IDC服務器托管和云產品。這為大數(shù)據市場的發(fā)展提供了基礎設施的資源。
上海電信表示:上海電信將充分發(fā)揮IDC運營主力軍作用,按照規(guī)劃引導、集約建設、資源共享、規(guī)范管理、適度超前的原則,加大建設投入,著力增強信息網絡綜合承載能力、設施資源綜合利用能力和信息通信集聚輻射能力,將IDC打造成豐富的信息承載平臺、完善的客戶服務平臺和全面的價值共享平臺。
上海電信將進一步完善IDC資源布局,在未來3-5年內重點建設幾大基地化數(shù)據中心,實現(xiàn)IDC業(yè)務在地理位置上的分區(qū)覆蓋,并滿足重要客戶數(shù)據同城異地的備份要求;繼續(xù)加強基礎設施規(guī)劃和建設管理,促進機制完善和模式創(chuàng)新,同時注重節(jié)能環(huán)保和服務提升;推進“新一代數(shù)據中心設計規(guī)范”的制定,在符合國際和國家相關行業(yè)標準的基礎上,結合上海的本地優(yōu)勢,建設規(guī)范設計、綠色運營、智能管理的新一代數(shù)據中心。
今年,上海電信信網部通過體制調整,建立了云產品拓展中心和云平臺運營中心。
通過整合信網部現(xiàn)有的業(yè)務拓展資源、人力配置資源和運維管理資源,主推云計算專業(yè)化產品,部署規(guī)模化商用云計算數(shù)據中心,為大力拓展高性能計算、存儲、災備等增值業(yè)務做好基礎支撐,滿足服務本市及周邊地區(qū)經濟社會發(fā)展的需求。
其次,以自主發(fā)展、應用示范為重點,以建設國家云計算試點城市為契機,繼續(xù)實施“云海計劃”,集聚國內外大型互聯(lián)網企業(yè),在金融、健康、文化等領域,探索建立云計算商業(yè)模式,打造亞太云計算中心。
第三,以市場化為導向,重點建設“金融云”、“中小企業(yè)云”、“健康云”等,向企業(yè)和個人提供服務。同時進一步重視行業(yè)解決方案,這包括兩個方面的行動。
一是在云計算服務器、云安全、云管理平臺、桌面虛擬化等關鍵技術領域實現(xiàn)突破,形成具有競爭力的云計算關鍵技術服務和整體解決方案。
二是深入智慧城市應用,進一步加強物聯(lián)網公共平臺建設和推廣智能車輛監(jiān)控、電子校徽、智能制造、社區(qū)安防等行業(yè)應用。發(fā)揮EVDO網絡優(yōu)勢,做強移動全球眼。聚焦政務、教育、交通等重點行業(yè),積極開發(fā)一系列物聯(lián)網行業(yè)應用,重點切入、有效投入,最終達到規(guī)模效應,結合全球眼視頻監(jiān)控、RFID身份識別等,打造智能安防、環(huán)境監(jiān)測、平安校園、智能交通等產品,構建基于物聯(lián)網的動態(tài)信息交互與服務平臺,助力政務、教育、交通等行業(yè)相關部門,全面提升管理決策水平及服務社會公眾的能力。
上海移動擁有超過2千萬用戶,擁有海量的用戶、業(yè)務數(shù)據。上海移動一直以來以提供優(yōu)質的客戶服務為運營理念,為實現(xiàn)這一目標,上海移動建成了成熟的經營分析系統(tǒng),流量經營系統(tǒng)等。
上海移動積累了多年的業(yè)務、網絡和用戶數(shù)據,建有電信級的數(shù)據中心和成熟的經營分析系統(tǒng),比如在流量經營系統(tǒng)中采集GSM、TD、WLAN三網網絡側運行數(shù)據,結合經營分析側用戶、終端和業(yè)務方面的數(shù)據,對用戶上網內容、終端等進行深度分析,掌握客戶行為等信息,有效支撐網絡和業(yè)務部門的具體工作,不斷提升上海移動的用戶滿意度和業(yè)務價值。
目前,上海移動基于用戶數(shù)據的分析挖掘工作主要用于及時發(fā)現(xiàn)影響客戶感知的網絡運營和客戶服務領域,提升業(yè)務質量和客戶滿意度。同時,上海移動正積極部署通過各類業(yè)務和網絡運營數(shù)據的分析,通過數(shù)據驅動業(yè)務流程,培養(yǎng)用戶習慣。將來,上海移動將進一步精確洞察數(shù)據,從數(shù)據成本中心向數(shù)據運營中心轉變,引入創(chuàng)新業(yè)務模式,挖掘行業(yè)客戶,與合作伙伴開展業(yè)務合作。
上海運營商將保護用戶隱私
運營商所掌握的用戶信息是十分精確的數(shù)據,而且手機、電話號碼也是信息傳遞最為直接的方式,所以,當運營商進行用戶信息拓展的時候,勢必要有一個范疇的定義。運營商所掌握的信息,不僅僅是用戶的身份信息、手機號碼等等,甚至連用戶的所處位置、通話狀態(tài)等等都能夠獲取,這些數(shù)據信息對于每一個人都是敏感的。
上海的通信運營企業(yè)對用戶數(shù)據提供了符合法律法規(guī)高級別的隱私保護,在用戶信息保護工作中建立了非常完善的規(guī)章制度和嚴格的操作流程,并有安全部門負責檢查考核。
在大數(shù)據業(yè)務的開發(fā)中,上海通信運營企業(yè)技術上將會采取更加系統(tǒng)全面的方式對用戶隱私進行保護。
一個重要行動是全面升級客戶資料檔案庫。據了解,目前上海聯(lián)通檔案庫存放標準達到業(yè)界領先水平。
另一個措施就是不斷提高客戶資料管理系統(tǒng)的安全保護能力,加強賬號管理。據悉,目前上海通信運營企業(yè)的網絡安全防護水平達到工業(yè)和信息化部《通信網絡安全防護管理辦法》所規(guī)定的三級以上。
為確保用戶隱私,上海通信運營企業(yè)短信中心系統(tǒng)目前已不留存用戶短息內容等原始信息,對垃圾短信的攔截通過系統(tǒng)設置自動執(zhí)行。