OBSA-HDFS組件全稱(chēng)為HuaweiCloud OBS Adapter for Hadoop Support，利用OBSA-HDFS，客戶(hù)可以在華為云上快速部署存算分離的Hadoop大數(shù)據(jù)平臺(tái)，無(wú)需修改代碼即可完成Spark、MapReduce、Hive、HBase等組件與華為云OBS對(duì)象存儲(chǔ)服務(wù)的對(duì)接，并獲得高性能的HDFS存儲(chǔ)。
當(dāng)然，除了客戶(hù)端組件外，華為云OBS在服務(wù)端的Data Multi-Protocol功能為達(dá)成存算分離提供了技術(shù)保證。傳統(tǒng)的對(duì)象存儲(chǔ)服務(wù)不支持原生的文件協(xié)議，導(dǎo)致大數(shù)據(jù)場(chǎng)景下的rename需要通過(guò)拷貝和刪除兩個(gè)操作組合來(lái)完成，更無(wú)法對(duì)文件目錄進(jìn)行修改，而拷貝操作會(huì)消耗寶貴的IO資源且時(shí)延較高。
華為云OBS的Data Multi-Protocol支持POSIX文件語(yǔ)義，通過(guò)對(duì)元數(shù)據(jù)結(jié)構(gòu)和操作的雙重優(yōu)化，可快速完成文件的rename。經(jīng)過(guò)測(cè)試，在大數(shù)據(jù)場(chǎng)景下，對(duì)100MB文件進(jìn)行rename操作，華為云OBS比傳統(tǒng)對(duì)象存儲(chǔ)性能提升10倍以上。
憑借著數(shù)量級(jí)的性能提升，華為云BigData Pro存算分離大數(shù)據(jù)解決方案使用OBS替代Hadoop的本地HDFS存儲(chǔ)，讓計(jì)算資源和存儲(chǔ)資源完全解耦，獨(dú)立擴(kuò)容，讓大數(shù)據(jù)分析的性?xún)r(jià)比平均提升35%以上。更可以構(gòu)建云上統(tǒng)一數(shù)據(jù)湖，消除數(shù)據(jù)孤島、降低數(shù)據(jù)共享難度、減少數(shù)據(jù)冗余、提升數(shù)據(jù)使用效率。
當(dāng)前，華為云BigData Pro解決方案已經(jīng)服務(wù)于斗魚(yú)、美圖、蘑菇街、貨拉拉和長(zhǎng)虹等行業(yè)知名客戶(hù)。
未來(lái)，我們也將為Hadoop在公有云場(chǎng)景下的效率提升而持續(xù)努力。
Hadoop是Apache基金會(huì)的頂級(jí)項(xiàng)目，也是業(yè)界領(lǐng)先且使用最廣泛的分布式系統(tǒng)框架，用戶(hù)可以輕松地在Hadoop上開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。
HDFS是Hadoop實(shí)現(xiàn)的分布式文件系統(tǒng)（Hadoop Distributed File System），為海量數(shù)據(jù)提供高吞吐量、高擴(kuò)展、高可靠和高容錯(cuò)性的存儲(chǔ)。
從2006年成立以來(lái)，Hadoop改變了企業(yè)對(duì)數(shù)據(jù)的存儲(chǔ)、處理和分析的過(guò)程，形成了一個(gè)極其豐富的技術(shù)生態(tài)圈。
