前言:為了準(zhǔn)確描述中國大數(shù)據(jù)市場和技術(shù)發(fā)展趨勢,解析大數(shù)據(jù)發(fā)展的各階段對IT技術(shù)的需求,2013年6月,中橋調(diào)研咨詢(以下簡稱中橋)對中國480家最終用戶的IT管理者和專業(yè)人員,就大數(shù)據(jù)市場和技術(shù)發(fā)展趨勢展開了調(diào)查。中橋首席分析師王叢結(jié)合其在歐美數(shù)據(jù)中心領(lǐng)域十幾年的市場調(diào)研積累,對中國大數(shù)據(jù)市場趨勢的調(diào)查數(shù)據(jù)進(jìn)行解析,以詮釋中國大數(shù)據(jù)市場和技術(shù)趨勢。同時,會通過在線講座(www.webinars-china.com )和中國讀者解讀中國大數(shù)據(jù)市場趨勢,以及大數(shù)據(jù)對IT技術(shù)、架構(gòu)、管理以及格局的影響。中橋結(jié)合中國大數(shù)據(jù)市場的調(diào)研數(shù)據(jù)和分析,將分成四個系列對“中國大數(shù)據(jù)價值和趨勢”進(jìn)行解讀。
在之前的系列1和2中,中橋就大數(shù)據(jù)分析的發(fā)展趨勢以及對IT資源的需求進(jìn)行了解析。接下來,針對大數(shù)據(jù)分析的重要一環(huán)—存儲,中橋?qū)⒔Y(jié)合市場熱門的存儲技術(shù)如閃存、固態(tài)盤等,來從存儲性能、數(shù)據(jù)保護(hù)等角度進(jìn)行分析。
通過前文的相關(guān)數(shù)據(jù)分析,我們已經(jīng)了解到,隨著大數(shù)據(jù)時代應(yīng)用數(shù)量、應(yīng)用數(shù)據(jù)量和使用者數(shù)量的增長,系統(tǒng)對存儲IOPS以及OLTP和OLAP的要求越來越高。傳統(tǒng)存儲也越來越無法滿足業(yè)務(wù)關(guān)鍵應(yīng)用的性能需求,這驅(qū)動了中國企業(yè)未來24個月新存儲的部署。而固態(tài)盤、閃存技術(shù)作為新型存儲,已經(jīng)得到越來越多的企業(yè)的青睞。中橋的調(diào)查數(shù)據(jù)也驗(yàn)證了這一點(diǎn)。企業(yè)采用固態(tài)盤或閃存技術(shù)的主要原因排列如下:提高桌面虛擬化的性能、提高OLAP性能需求、滿足業(yè)務(wù)關(guān)鍵應(yīng)用性能和低延遲要求、提高虛機(jī)密度應(yīng)用性能等。而桌面虛擬化、OLAP高要求、業(yè)務(wù)關(guān)鍵應(yīng)用、低延遲以及高虛擬機(jī)密度也正是大數(shù)據(jù)時代的典型特點(diǎn)。
圖1. 選擇固態(tài)盤或閃存技術(shù)的主要原因(來源:中橋國際調(diào)研咨詢的調(diào)查報(bào)告)
那么對于中國企業(yè)而言,所選擇的新型存儲技術(shù)應(yīng)該以什么樣的指標(biāo)來權(quán)衡,才能確保整個大數(shù)據(jù)分析流程平穩(wěn)、高效運(yùn)行?中橋?qū)ζ髽I(yè)的調(diào)查結(jié)果顯示(圖2),存儲高可擴(kuò)展性、高可用性和并行處理能力是企業(yè)評估大數(shù)據(jù)存儲最重要的三個因素。高可擴(kuò)展性可以確保企業(yè)的IT能夠隨著數(shù)據(jù)量的增長和性能需求進(jìn)行擴(kuò)展,以滿足海量數(shù)據(jù)的存儲和處理需求;高可用性則能夠保證大數(shù)據(jù)分析過程的平穩(wěn)、無間斷運(yùn)行,確保了業(yè)務(wù)連續(xù)性;高并行處理能力則能夠確保在大數(shù)據(jù)處理過程中同時進(jìn)行更多數(shù)據(jù)的處理,高效地完成數(shù)據(jù)分析,從而將分析結(jié)果轉(zhuǎn)化為業(yè)務(wù)決策,加快產(chǎn)品或技術(shù)的面市周期。此外,低延遲、自動分層存儲以及10GbE支持等也是用戶評估大數(shù)據(jù)存儲的重要考核因素。
圖2 . 評估數(shù)據(jù)分析存儲技術(shù)的重要指標(biāo)來源:中橋國際調(diào)研咨詢的調(diào)查報(bào)告
我們再換一個角度來繼續(xù)解讀一下存儲。眾所周知,不同類型的數(shù)據(jù),其生命周期也是不同的,而根據(jù)數(shù)據(jù)類型和生命周期來進(jìn)行存儲資源分配,則能夠有效提高存儲利用率,這對于大數(shù)據(jù)的存儲開支非常關(guān)鍵。此外,數(shù)據(jù)的有效管理也決定著生產(chǎn)應(yīng)用的性能。中橋調(diào)查結(jié)果顯示(圖3),大量中國用戶所采用的數(shù)據(jù)庫面臨著性能壓力(84.4%),且沒能有效地進(jìn)行數(shù)據(jù)的歸檔和清理,其中,24.6%的受訪企業(yè)甚至不進(jìn)行數(shù)據(jù)歸檔和清理,還有高達(dá)34.9%的受訪企業(yè)采取手動方式來進(jìn)行數(shù)據(jù)歸檔和清理。將非活躍數(shù)據(jù)從主存儲資源上清理出來,并根據(jù)數(shù)據(jù)類型和生命周期進(jìn)行分層存儲和歸檔,盡可能提高存儲利用率的同時,還能夠確保生產(chǎn)應(yīng)用性能的穩(wěn)定性,為數(shù)據(jù)分析提供所需的性能,有效降低主存儲開支,延緩存儲采購周期。
圖3. 數(shù)據(jù)的歸檔和清理來源:中橋國際調(diào)研咨詢的調(diào)查報(bào)告
在大數(shù)據(jù)時代,海量數(shù)據(jù)給企業(yè)帶來的不僅僅是系統(tǒng)性能和存儲難題,數(shù)據(jù)保護(hù)也是企業(yè)的一大焦點(diǎn)。中橋調(diào)研結(jié)果顯示(圖4),用戶就面臨的數(shù)據(jù)保護(hù)挑戰(zhàn)排列如下:“數(shù)據(jù)備份影響業(yè)務(wù)性能”(25.1%)、“數(shù)據(jù)保護(hù)網(wǎng)絡(luò)帶寬需求大”(20.7%)、“分級存儲讀寫性能不能滿足要求”(19.3%)。這表明,在大數(shù)據(jù)時代,海量數(shù)據(jù)的備份和保護(hù)以及分級存儲,將對業(yè)務(wù)性能帶來很大影響,包括對網(wǎng)絡(luò)帶寬的影響。這也從側(cè)面再一次表明數(shù)據(jù)的分級存儲對企業(yè)的重要性。
圖4大數(shù)據(jù)數(shù)據(jù)保護(hù)的最大挑戰(zhàn)來源:中橋國際調(diào)研咨詢的調(diào)查報(bào)告
數(shù)據(jù)是大數(shù)據(jù)時代通過IT創(chuàng)造價值的“種子”。在大數(shù)據(jù)分析的四個重要環(huán)節(jié)中——數(shù)據(jù)采集和存儲、數(shù)據(jù)清理和整合、數(shù)據(jù)分析、分析呈現(xiàn)——滿足大數(shù)據(jù)演進(jìn)過程中對容量、性能和業(yè)務(wù)連續(xù)性的需求,提升資源利用率降低存儲開支,不僅能保護(hù)好大數(shù)據(jù)這個“種子”,也是選擇大數(shù)據(jù)存儲的重要考慮因素。