GTC 2020 秋季站 - 2020年10月5日– NVIDIA今天宣布推出了NVIDIA Maxine平臺(tái)，該平臺(tái)為開發(fā)者提供了一套基于云的、GPU加速AI視頻會(huì)議軟件，以提升流視頻質(zhì)量。當(dāng)前，流視頻是互聯(lián)網(wǎng)上首屈一指的流量來(lái)源。
NVIDIA Maxine是云原生的流視頻AI平臺(tái)，能讓服務(wù)提供商每天對(duì)大約3000多萬(wàn)次的網(wǎng)絡(luò)會(huì)議提供全新AI功能。視頻會(huì)議服務(wù)提供商在云端運(yùn)行基于NVIDIA GPU的平臺(tái)，可以為用戶提供包括凝視校正、超分辨率、噪聲消除、人臉補(bǔ)光等全新AI效果。
由于數(shù)據(jù)處理過(guò)程發(fā)生在在云端，而非本地設(shè)備，因此，終端用戶無(wú)需任何專用硬件就可以盡享這些新功能。
NVIDIA副總裁兼加速計(jì)算業(yè)務(wù)總經(jīng)理Ian Buck表示：“視頻會(huì)議現(xiàn)已經(jīng)成為人們?nèi)粘Ｉ畹囊徊糠郑軌驇椭鷶?shù)百萬(wàn)人工作、學(xué)習(xí)、娛樂(lè)，甚至就醫(yī)。NVIDIA Maxine集成了我們最先進(jìn)的視頻、音頻和對(duì)話式AI功能，給那些幫助我們保持聯(lián)絡(luò)的視頻會(huì)議平臺(tái)帶來(lái)效率突破。”
AI效率突破，降低帶寬需求，改進(jìn)通話質(zhì)量
Maxine平臺(tái)大幅降低了視頻通話所需帶寬。該AI軟件無(wú)需流處理全部屏幕像素，而是分析通話中每個(gè)人的關(guān)鍵面部特征，然后在通話另一邊的視頻中智能地重新激活人臉。這使得流視頻可通過(guò)更少的數(shù)據(jù)在互聯(lián)網(wǎng)上進(jìn)行傳輸。
使用這種在NVIDIA GPU上運(yùn)行的基于AI的新視頻壓縮技術(shù)，開發(fā)者可將視頻帶寬消耗減少到H.264流視頻壓縮標(biāo)準(zhǔn)要求的十分之一。在降低供應(yīng)商成本的同時(shí)，為終端用戶提供了更流暢的視頻會(huì)議體驗(yàn)，使用戶能夠享受更多AI服務(wù)，并減少電腦、平板和手機(jī)上的數(shù)據(jù)流。
AI功能提升了視頻會(huì)議體驗(yàn)
NVIDIA研究人員在Maxine中實(shí)現(xiàn)新的突破，包括了讓視頻會(huì)議的感覺更像面對(duì)面的交談。視頻會(huì)議服務(wù)提供商將能夠利用NVIDIA在GAN（對(duì)抗式生成網(wǎng)絡(luò)）上的研究成果，提供各種各樣的新功能。
例如，人臉校正功能可以自動(dòng)調(diào)整人臉，使人們?cè)谕ㄔ捴锌雌饋?lái)是面對(duì)面的。而凝視校正功能可模擬屏幕上的眼神交流，即使攝像頭未與用戶的屏幕對(duì)齊也能輕松實(shí)現(xiàn)。自今年年初以來(lái)，視頻會(huì)議的數(shù)量增長(zhǎng)了十倍，這些功能可以幫助人們將視線落在屏幕中的視頻上，而不必盯著攝像頭。
開發(fā)者還可以添加一些功能，讓通話參與者選擇自己的動(dòng)畫角色，通過(guò)聲音和情緒實(shí)時(shí)地自動(dòng)控制動(dòng)畫樣式。自動(dòng)幀選項(xiàng)可以讓參與者在即使離開屏幕時(shí)，依舊保持視頻流緊隨揚(yáng)聲器。
通過(guò)使用由NVIDIA Jarvis SDK支持的對(duì)話式AI功能，開發(fā)者可集成虛擬助手，這些虛擬助手采用最先進(jìn)的AI語(yǔ)言模型進(jìn)行語(yǔ)音識(shí)別、語(yǔ)言理解和語(yǔ)音生成。虛擬助手還可以做筆記、設(shè)置動(dòng)作項(xiàng)目并通過(guò)類似人類的聲音回答問(wèn)題。其他的對(duì)話式AI服務(wù)，如翻譯、隱藏字幕和轉(zhuǎn)錄，能幫助確保參與者理解電話中討論的內(nèi)容。
云原生架構(gòu)可節(jié)約成本并實(shí)現(xiàn)大規(guī)模AI應(yīng)用
視頻會(huì)議的需求很難預(yù)測(cè)，數(shù)以百計(jì)甚至千計(jì)的用戶有可能會(huì)試圖撥入同一場(chǎng)會(huì)議。NVIDIA DeepStream可在云端的NVIDIA GPU上利用Kubernetes容器集群中運(yùn)行的AI微服務(wù)，幫助開發(fā)者根據(jù)實(shí)時(shí)需求擴(kuò)展他們的服務(wù)。AI推理能力讓用戶可同時(shí)運(yùn)行多種AI功能，且同時(shí)滿足應(yīng)用程序的時(shí)延要求。
視頻會(huì)議服務(wù)提供商通過(guò)NVIDIA GPU在云端進(jìn)行AI推理應(yīng)用，可利用Maxine為數(shù)十萬(wàn)用戶提供領(lǐng)先的AI能力。Maxine平臺(tái)采用模塊化設(shè)計(jì)，開發(fā)人員可以輕松選擇所需AI功能，并將其集成到視頻會(huì)議解決方案中。
全明星NVIDIA AI開發(fā)者工具套件
Maxine平臺(tái)集成了多種NVIDIA AI SDK和API。除NVIDIA Jarvis外， Maxine平臺(tái)還采用NVIDIA DeepStream高通量音頻和視頻流SDK和NVIDIA TensorRTTM SDK，用于高性能深度學(xué)習(xí)推理。
在Maxine平臺(tái)上使用的NVIDIA SDK，提供AI音頻、視頻和自然語(yǔ)言功能。這些功能是通過(guò)在全球領(lǐng)先的訓(xùn)練、推理和數(shù)據(jù)科學(xué)工作負(fù)載平臺(tái)NVIDIA DGXTM系統(tǒng)上進(jìn)行了數(shù)十萬(wàn)小時(shí)的演練后才開發(fā)出來(lái)的。
供貨
開發(fā)音頻和視頻應(yīng)用程序和服務(wù)的計(jì)算機(jī)視覺AI開發(fā)人員、軟件合伙人、初創(chuàng)企業(yè)和計(jì)算機(jī)制造商，可申請(qǐng)NVIDIA Maxine平臺(tái)的早期試用。
