安全管理能力擴展
安全性在大數(shù)據(jù)生態(tài)系統(tǒng)中是至關(guān)重要的。為此，優(yōu)刻得在USDP v3.1 版本中加強了安全性措施，提供更全面的數(shù)據(jù)保護和管理功能。引入了 LDAP 服務(wù)可視化配置集成功能，可以大幅簡化手動管理和配置 LDAP 服務(wù)的復雜性。通過使用配置向?qū)В脩艨梢暂p松地為集群內(nèi)各大數(shù)據(jù)服務(wù)組件進行配置集成 LDAP 服務(wù)并生效。USDP v3.1 版本還支持了一鍵解除 LDAP 功能，使用戶可以快速、便捷地實現(xiàn)集群生態(tài)統(tǒng)一管控能力。此外，該版本還增加了對 FreeIPA 類型的 KDC 的支持，以適應(yīng)將 FreeIPA 作為身份管理系統(tǒng)的用戶的使用場景。這些安全管理能力的擴展，為企業(yè)提供了更加靈活、可靠的安全解決方案。
數(shù)據(jù)湖架構(gòu)及相關(guān)服務(wù)擴展
為了滿足日益增長的數(shù)據(jù)處理和分析需求，以及對數(shù)據(jù)分析時效性、存儲管理的要求，USDP v3.1 版本中，引入了 Hudi、Iceberg 和 Canal 等組件，進一步豐富了USDP的大數(shù)據(jù)服務(wù)生態(tài)，為用戶提供全面的數(shù)據(jù)管理解決方案。
Hudi 和 Iceberg 提供了強大的數(shù)據(jù)管理和存儲能力，支持增量數(shù)據(jù)更新、事務(wù)性寫入和元數(shù)據(jù)管理，使數(shù)據(jù)操作更高效、更可靠。這些組件可以幫助用戶構(gòu)建湖倉一體的數(shù)據(jù)湖架構(gòu)，實現(xiàn)數(shù)據(jù)的統(tǒng)一存儲和管理，同時提供靈活、可靠的數(shù)據(jù)操作和查詢。
而 Canal 作為一種流式數(shù)據(jù)采集工具，能夠?qū)崟r捕獲數(shù)據(jù)庫的變更，并將數(shù)據(jù)發(fā)送到目標系統(tǒng)，實現(xiàn)實時的數(shù)據(jù)采集和傳輸。
通過引入這些組件，用戶可以在現(xiàn)有的大數(shù)據(jù)集群基礎(chǔ)上，構(gòu)建更加完整和可靠的數(shù)據(jù)湖架構(gòu)。無論是數(shù)據(jù)存儲、數(shù)據(jù)管理，還是數(shù)據(jù)采集和傳輸，都能夠滿足企業(yè)的大數(shù)據(jù)處理和分析需求。
集群資源池管理配置功能
集群資源池管理配置功能為用戶提供了便捷的管理工具，可以對 YARN 和 Impala 的集群資源池進行可視化動態(tài)配置。對于 YARN，用戶可以選擇容量調(diào)度模式，而對于 Impala，用戶可以選擇公平調(diào)度模式。通過這個工具，為用戶提供了更靈活、易優(yōu)化的資源管理方式，使不同的業(yè)務(wù)獲得整個集群計算資源的合理分配，規(guī)避資源爭搶等問題，從容地應(yīng)對復雜的業(yè)務(wù)需求和資源分配挑戰(zhàn)。
集群資源池管理配置功能的應(yīng)用場景非常廣泛。例如，在一個大數(shù)據(jù)集群中，可能有不同的業(yè)務(wù)部門或應(yīng)用，需要使用不同的計算資源，而資源的分配和管理可能面臨挑戰(zhàn)。通過集群資源池管理配置功能，用戶可以根據(jù)實際需求，為各個業(yè)務(wù)部門或應(yīng)用分配合適的資源，確保資源的公平分配和有效利用。這樣一來，不同的業(yè)務(wù)可以更高效地運行，避免資源爭奪導致的性能下降或系統(tǒng)崩潰。同時，管理員也可以更好地監(jiān)控和管理集群中資源的使用情況，及時調(diào)整資源分配策略，提高集群的整體性能和效率。總之，大數(shù)據(jù)集群資源池的管理配置功能為用戶提供了更靈活和優(yōu)化的資源管理方式，幫助他們更好地應(yīng)對復雜的業(yè)務(wù)需求和資源分配挑戰(zhàn)。
監(jiān)控能力擴展
監(jiān)控能力擴展功能為用戶提供了更強大和靈活的監(jiān)控工具，滿足不同業(yè)務(wù)場景下的監(jiān)控需求。新增的自定義監(jiān)控圖表功能，使用戶可以按照業(yè)務(wù)關(guān)注點自主選擇關(guān)鍵的監(jiān)控指標，并以圖表化的方式展示，實現(xiàn)對集群、主機和大數(shù)據(jù)服務(wù)的關(guān)鍵狀態(tài)反饋的快速捕獲。用戶可以根據(jù)自己的需求進行指標匯總、對比等處理，便捷地獲得所關(guān)注的監(jiān)控數(shù)據(jù)圖表化呈現(xiàn)。v3.1 版本中對監(jiān)控能力的擴展，提供了更靈活、個性化的監(jiān)控解決方案，幫助用戶更好地管理和優(yōu)化大數(shù)據(jù)平臺的運行情況和性能。
此外，該功能還支持用戶自定義業(yè)務(wù)監(jiān)控的擴展。用戶可以通過擴展采集端的方式，采集平臺默認未采集的系統(tǒng)或服務(wù)的監(jiān)控指標。借助 USDP 監(jiān)控模塊，用戶可以自定義拓展監(jiān)控，滿足特定業(yè)務(wù)需求。使得用戶能夠更全面地監(jiān)控和評估與業(yè)務(wù)相關(guān)的指標，從而更好地把握系統(tǒng)的運行狀況和性能表現(xiàn)。
這些監(jiān)控能力的擴展功能適用于各種應(yīng)用場景。例如，在大規(guī)模數(shù)據(jù)處理的場景下，用戶可以自定義監(jiān)控圖表，以展示關(guān)鍵指標的趨勢和變化，幫助監(jiān)控任務(wù)的執(zhí)行和資源利用；在復雜的服務(wù)架構(gòu)中，用戶可以自定義業(yè)務(wù)監(jiān)控，以追蹤特定服務(wù)的性能和可用性。
運維審計能力擴展
運維審計能力的擴展功能為管理員提供了更強大和全面的審計工具，用于監(jiān)控和記錄平臺、集群和大數(shù)據(jù)服務(wù)的關(guān)鍵狀態(tài)變化。新增的記錄和展示功能，使管理員能夠快速發(fā)現(xiàn)已發(fā)生的異常情況，并及時介入診斷和處理這些異常事件，確保系統(tǒng)的穩(wěn)定和安全。
新增的操作日志審計功能能夠幫助管理員追溯操作行為，通過篩選器快速檢索所需的操作日志，實現(xiàn)對操作行為的追溯能力。
在大數(shù)據(jù)平臺的日常運維中，管理員可以通過審計功能追蹤和記錄平臺、集群和各大數(shù)據(jù)服務(wù)的關(guān)鍵信息，如硬件資源異常檢測、服務(wù)狀態(tài)異常、集群資源緊缺、錯誤告警等，以便快速識別和解決潛在問題。操作日志審計功能可以幫助管理員跟蹤和審查管理用戶操作行為，提高安全性和合規(guī)性。
另外，在故障排除和系統(tǒng)故障恢復的場景中，運維審計功能可以提供有關(guān)事件發(fā)生的詳細信息，輔助管理員進行診斷和處理，縮短故障恢復時間。
