Vidyo的混音混頻是怎么做的?與傳統(tǒng)的混音混頻有什么區(qū)別?
來源:Vidyo 編輯:小月亮 2021-08-30 13:41:10 加入收藏
Vidyo 視頻會(huì)議的核心是混音混頻。就是假如我們物理上是在不同地方,但是我們要達(dá)到同時(shí)化,要把聲音混音。我要看多人視頻就要混頻。任何一個(gè)視頻會(huì)議解決方案都得要解決混音混頻。
那么傳統(tǒng)會(huì)議都是以中心架構(gòu)MCU這種模式,在中心放一個(gè)很強(qiáng)的服務(wù)器來處理混音混頻。然后在客戶端只是呈現(xiàn)。那么這種架構(gòu)呢,首先對(duì)中心節(jié)點(diǎn)要求比較高,因?yàn)槟阋M(jìn)行編解碼。編解碼實(shí)際是特別消耗資源的。這也就是說傳統(tǒng)的MCU為什么必須用dsp芯片的一個(gè)主要原因。
但是這個(gè)編解碼也帶來了一個(gè)問題啊,視頻會(huì)議的壓縮是有損壓縮,不能還原。所以視頻會(huì)議的圖像處理是有損的,視頻進(jìn)行一次這個(gè)壓縮處理,質(zhì)量會(huì)損失一次。然后他的算法比較復(fù)雜,也會(huì)造成了延遲,這就是我們說的二百毫秒的延遲。所以說MCU這種架構(gòu),它帶來了一個(gè)問題是什么?就是以前會(huì)議量不是很大的,簡(jiǎn)單的還能支持。這種中心架構(gòu)呢,只能夠支持兩級(jí)。大型會(huì)議MCU容量肯定有限的,怎么辦?他就通過多個(gè)設(shè)備之間的節(jié)點(diǎn)接入。但是經(jīng)過一次設(shè)備延遲一二百毫秒,完全不能適用于大型會(huì)議。
那中心不行,那肯定是在客戶端去做混音混頻。所以這就出了一種非MCU架構(gòu)解決方案,這種解決方案就是中心是轉(zhuǎn)發(fā)不進(jìn)行編寫。轉(zhuǎn)發(fā)給客戶端,客戶端去解碼。一種方式是不管客戶端要什么我直接發(fā)送高清的包。另一種是,客戶端要多大的包,比如720p,那中心就做720p的包發(fā)過去。那這種非MCU架構(gòu)解決方案的適應(yīng)性太差。對(duì)終端的要求太高。實(shí)踐上這就是對(duì)傳統(tǒng)視頻解決方案的一個(gè)優(yōu)化。
實(shí)際上Vidyo 使用的SVC可擴(kuò)展編碼,這個(gè)編碼大圖里面是有幾個(gè)編碼小圖中圖互相關(guān)聯(lián)組成的組成。那么當(dāng)你需要多個(gè)視頻流的時(shí)候,你需要看一個(gè)大圖,別人需要看小圖的時(shí)候,我只需要編碼大圖,因?yàn)槲揖幋a大圖里面包含了編碼小圖,和剛才那個(gè)多路是不一樣的,它是一路。但是Vidyo 里面是分層的,分為高可靠性路與低可靠性路。那么它這種解決了傳統(tǒng)視頻的中心全編全解帶來的質(zhì)量損失,延遲。打破了適應(yīng)性,擴(kuò)展性的局限。同時(shí)它對(duì)終端來說,只需要一路網(wǎng)絡(luò)與流量,高品質(zhì)。路由規(guī)模大,網(wǎng)絡(luò)適應(yīng)性強(qiáng)。那么這就是SVC主要的特點(diǎn)。
評(píng)論comment