面對視頻應(yīng)用不斷向高清晰度、高幀率、高壓縮率方向發(fā)展的趨勢，當(dāng)前主流的視頻壓縮標(biāo)準(zhǔn)協(xié)議H.264(AVC)的局限性不斷凸顯，尤其在高清視頻快速發(fā)展下，H.264技術(shù)逐漸暴露了一些局限性。

　　H.264技術(shù)的局限性

　　首先，由于分辨率的大大增加，單個宏塊所表示的圖像內(nèi)容信息大大減少，H.264所采用的4×4或8×8宏塊經(jīng)過整數(shù)變換后，低頻系數(shù)相似程度也大大提高，出現(xiàn)大量冗余，導(dǎo)致H.264編碼對高清視頻的壓縮效率明顯降低;其次，H.264算法宏塊個數(shù)的爆發(fā)式增長，會導(dǎo)致每個編碼宏塊的預(yù)測模式、運(yùn)動矢量、參考幀索引和量化級等宏塊級參數(shù)信息占用更多碼流資源，在有限帶寬中，分配給真正描述圖像內(nèi)容的殘差系數(shù)信息的可用帶寬明顯減少;由于分辨率的提高，表示同一個運(yùn)動的運(yùn)動矢量幅值也將大大增加，H.264中采用基于空間域的運(yùn)動矢量預(yù)測方式，對運(yùn)動矢量差編碼使用的是哥倫布指數(shù)編碼，該編碼方式的特點(diǎn)是數(shù)值越大使用的比特數(shù)越多，因此，隨著運(yùn)動矢量幅值的大幅增加，H264中用來對運(yùn)動矢量進(jìn)行預(yù)測以及編碼的壓縮率也將逐漸降低;最后，H.264的一些關(guān)鍵算法都要求串行編碼，并行度比較低，針對GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的這種串行化處理越來越成為制約運(yùn)算性能的瓶頸。

　　新一代視頻編碼技術(shù)H.265

　　對于視頻會議這種視頻應(yīng)用技術(shù)，對視頻的要求更高，不僅是遠(yuǎn)程通訊技術(shù)，而且是雙向?qū)崟r交互式應(yīng)用。由于用戶群較為高端，因此在低延時視頻編解碼技術(shù)上，視頻會議一直是個先行者。視頻會議從H.261時代開始發(fā)展，歷經(jīng)H.263時代，到目前的H.264時代，視頻會議一直是低延時視頻編解碼最新技術(shù)的首批應(yīng)用者。目前主流的H.264視頻會議系統(tǒng)最新的以H.264 High Profile為主，可以在1Mbps帶寬下達(dá)到1080P 30fps實(shí)時通信，且能夠讓用戶體驗(yàn)到很好的圖像效果，也減少了網(wǎng)絡(luò)傳輸高清的壓力，目前應(yīng)用得較為廣泛。但是隨著數(shù)字化高清的持續(xù)發(fā)展，用戶的需求也越來越高，視頻會議作為視頻編解碼的高端應(yīng)用，當(dāng)然是要繼續(xù)發(fā)展到更高標(biāo)準(zhǔn)更優(yōu)化的視頻編解碼新技術(shù)。

　　2013年初據(jù)國外媒體報道，國際電信聯(lián)盟(ITU)已經(jīng)批準(zhǔn)了下一代新視頻標(biāo)準(zhǔn)，這項(xiàng)新標(biāo)準(zhǔn)將有利于把4K視頻帶入未來的寬帶網(wǎng)絡(luò)之中，與此同時，該新標(biāo)準(zhǔn)還可以在低帶寬的移動網(wǎng)絡(luò)上播放高清網(wǎng)絡(luò)視頻內(nèi)容。這項(xiàng)新標(biāo)準(zhǔn)就是H.265，即高效率視頻編碼(High Efficiency Video Coding)，這一標(biāo)準(zhǔn)旨在把高質(zhì)量的網(wǎng)絡(luò)視頻帶到甚至是低帶寬的網(wǎng)絡(luò)中。

　　這個最新標(biāo)準(zhǔn)H.265技術(shù)，被命名為HEVC。該標(biāo)準(zhǔn)的核心目標(biāo)，是在H.264的基礎(chǔ)上將壓縮效率提高一倍，即在保證相同視頻圖像質(zhì)量的前提下，視頻流碼率減少50%。因此，有望在512K帶寬下實(shí)現(xiàn)1080P 30fps高用戶體驗(yàn)的實(shí)時通信。

　　目前，H.265(HEVC)制定了兩套選項(xiàng)，其中追求高圖像質(zhì)量的叫做High Efficiency，而追求低時延的叫做low-complexity。由于視頻會議的實(shí)時性，視頻會議領(lǐng)域基本上會選用low-complexity選項(xiàng)。

　　由于H.265標(biāo)準(zhǔn)是從H.264標(biāo)準(zhǔn)發(fā)展優(yōu)化而來，新的標(biāo)準(zhǔn)保留原來的某些技術(shù)，同時對一些相關(guān)的技術(shù)加以改進(jìn)。

　　作為視頻編碼的進(jìn)一步發(fā)展，H.265(HEVC)仍然沿用了H.264基礎(chǔ)的預(yù)測加變換的混合編碼框架，包含：

　　同時H.265著力研究新的編碼工具或技術(shù)，在每一個環(huán)節(jié)都做了改進(jìn)，包含碼流改善、編碼質(zhì)量改善、延時和算法復(fù)雜度之間的關(guān)系的改善，并達(dá)到最優(yōu)化設(shè)置。

　　H.265相比H.264的主要技術(shù)優(yōu)勢

　　靈活的編碼結(jié)構(gòu)

　　在H.265中，將宏塊的大小從H.264的16×16擴(kuò)展到了64×64，以便于高分辨率視頻的壓縮。同時，H.265采用了更加靈活的編碼結(jié)構(gòu)來提高編碼效率，包括編碼單元(CodingUnit)、預(yù)測單元(PredictUnit)和變換單元(TransformUnit)。編碼器可以根據(jù)視頻序列分辨率以及區(qū)域的復(fù)雜度等特性設(shè)置編碼單元的大小。

　　靈活的塊結(jié)構(gòu)

　　變換單元TU使用類似于編碼單元CU的四叉樹劃分方法，塊結(jié)構(gòu)RQT(Residual quadtree transform)是正方形TU的四叉樹劃分方法;NSQT(Non-square quadtree)是非正方形TU的四叉樹劃分方法。

　　對于每個CU，在預(yù)測編碼過程中可進(jìn)一步劃分為一個或多個預(yù)測單元PU(Predict Unit)進(jìn)行幀間預(yù)測或幀內(nèi)預(yù)測。幀內(nèi)預(yù)測可使用2N×2N PU劃分，若CU大小為8×8時，還可使用N×N PU劃分;幀間預(yù)測可使用2N×2N、N×2N、2N×N PU劃分，當(dāng)CU大小大于8×8時，還使用另外四種非對稱PU劃分;Skip模式僅使用2N×2N PU劃分。PU劃分示意圖如圖1所示。

　　變換單元TU(Transform Unit)主要是在編碼單元CU和預(yù)測單元PU的基礎(chǔ)上選擇適當(dāng)?shù)臍埐钭儞Q塊的大小。對于幀間編碼來說，它允許變換塊的大小根據(jù)運(yùn)動補(bǔ)償塊的大小進(jìn)行自適應(yīng)的調(diào)整;對于幀內(nèi)編碼來說，它允許變換塊的大小根據(jù)幀內(nèi)預(yù)測殘差的特性進(jìn)行自適應(yīng)的調(diào)整。

　　更先進(jìn)的幀內(nèi)和幀間預(yù)測

　　幀內(nèi)編碼改進(jìn)上使用了多種技術(shù)：

　　Intra_FromLuma模式僅用于色度分量的幀內(nèi)預(yù)測。

　　HEVC使用以下方法獲得更高的幀間預(yù)測效率：

　　高效的運(yùn)動信息預(yù)測編碼方法AMVP，根據(jù)當(dāng)前PU空間域和時域相鄰塊的運(yùn)動矢量構(gòu)造當(dāng)前PU運(yùn)動矢量的預(yù)測候選。選擇能夠最小化當(dāng)前運(yùn)動矢量的編碼代價值的預(yù)測候選，并編碼該預(yù)測候選的索引序號。分?jǐn)?shù)像素插值濾波方法，為提高幀間預(yù)測精度、降低頻譜混疊對幀間預(yù)測的影響，HEVC使用分?jǐn)?shù)像素預(yù)測補(bǔ)償技術(shù)，亮度和色度分量的插值濾波器都采用DCT-IF插值濾波器(DCT-based interpolation filter)。Merge模式，使用Merge模式時，當(dāng)前PU的運(yùn)動信息(包括運(yùn)動矢量和參考圖像索引)與Merge索引信息所標(biāo)識的空間域或時域相鄰塊的運(yùn)動信息相同。HEVC使用基于Merge的Skip模式，稱為Merge-Skip。Merge-Skip模式的候選運(yùn)動信息構(gòu)造和運(yùn)動預(yù)測過程與Merge模式相同，不同之處在于Merge-Skip模式不對預(yù)測差信息進(jìn)行編碼。

　　采樣點(diǎn)自適應(yīng)偏移

　　采樣點(diǎn)自適應(yīng)偏移(Sample Adaptive Offset)在編解碼環(huán)路內(nèi)，位于Deblock之后，通過對重建圖像的分類，對每一類圖像像素值加減一個偏移，達(dá)到減少失真的目的，從而提高壓縮率，減少碼流。采用SAO后，平均可以減少2%~6%的碼流，而編碼器和解碼器的性能消耗僅僅增加了約2%。

　　自適應(yīng)環(huán)路濾波

　　自適應(yīng)環(huán)內(nèi)濾波包括Deblocking filter、SAO和ALF(Adaptive Loop Filter)三種。

　　Deblocking filter，消除圖像的塊效應(yīng)，提高主觀圖像質(zhì)量;SAO，減少重建圖像和原始圖像誤差，提高客觀圖像質(zhì)量;ALF，減少重建圖像和原始圖像誤差，提高客觀圖像質(zhì)量。

　　并行化設(shè)計(jì)思路

　　H.265為了提升編解碼的并行度，提出可以按垂直和水平方向?qū)D像進(jìn)行分割，按LCU為單位組成多個矩形區(qū)域，這些矩形區(qū)域叫做Tile，這些Tile可獨(dú)立編解碼，遵循光柵掃描的順序。

　　當(dāng)前芯片架構(gòu)已經(jīng)從單核性能逐漸往多核并行方向發(fā)展，因此，H.265引入了很多并行運(yùn)算的優(yōu)化思路提升效率。

　　H.265技術(shù)應(yīng)用展望

　　從H.265技術(shù)的優(yōu)勢來看，它將來的應(yīng)用主要是高清領(lǐng)域。

　　隨著視頻通信應(yīng)用產(chǎn)業(yè)鏈的快速發(fā)展，視頻應(yīng)用向高分辨率高幀頻高壓縮比的方向發(fā)展的趨勢愈加明顯。分辨率目前流行的是1080P，后續(xù)將發(fā)展到4K×2K乃至8K×4K。但4K×2K以上分辨率市場還有待培育。

　　幀頻上，視頻幀頻從30fps向60fps、120fps甚至240fps的應(yīng)用場景升級是有可能的。但人的肉眼識別極限為20ms，對應(yīng)幀頻為50fps，也就是高于60fps以上的幀頻一般應(yīng)用是用不到的，更高幀頻的應(yīng)用場景為三維顯示，但三維視頻會議需要依靠裸眼三維電視技術(shù)，該技術(shù)目前還不夠完善，因此，目前的視頻會議將集中在30fps和60fps的應(yīng)用上。而30fps與60fps的區(qū)別非專業(yè)人士是感知不到的，HEVC技術(shù)將首先出現(xiàn)在1080P 30fps的視頻會議應(yīng)用上。在壓縮比進(jìn)一步提升的情況下，市場上將會推出512K、1080P、30fps低延時HEVC產(chǎn)品。

　　中興通訊作為業(yè)界領(lǐng)先的視頻會議廠商，在中國率先發(fā)布支持H.264 High Profile標(biāo)準(zhǔn)的全系列產(chǎn)品。目前，中興通訊緊跟標(biāo)準(zhǔn)，并于2013年6月發(fā)布業(yè)界首款支持H.265(HEVC)的視頻會議終端。該視頻會議終端支持H.265的實(shí)時編解碼，相比于當(dāng)前的H.264產(chǎn)品，視頻壓縮效率提高一倍，即在保證相同視頻圖像質(zhì)量的前提下，視頻流碼率減少50%，這將極大減少用戶的網(wǎng)絡(luò)建設(shè)運(yùn)營成本。