探究:寬動(dòng)態(tài)監(jiān)控?cái)z像機(jī)的優(yōu)點(diǎn)及局限性
來源:數(shù)字音視工程網(wǎng) 編輯:上善如水 2015-03-27 16:56:06 加入收藏
1什么是動(dòng)態(tài)范圍
寬動(dòng)態(tài)范圍攝像機(jī)正迅速成為視頻監(jiān)控的主流。然而,對(duì)于寬動(dòng)態(tài)范圍(WDR)的確切概念仍然存在許多訛傳和誤解。本文將從動(dòng)態(tài)范圍的含義及其如何影響圖像質(zhì)量的角度,討論了寬動(dòng)態(tài)攝像機(jī)的優(yōu)點(diǎn)和局限性。
什么是動(dòng)態(tài)范圍
根據(jù)標(biāo)準(zhǔn)定義,動(dòng)態(tài)范圍是指變量(如光或聲音)的最大值和最小值的比值。在理解和應(yīng)用動(dòng)態(tài)范圍這一概念方面存在的核心困難在于如何進(jìn)行測(cè)量。
設(shè)想這樣一個(gè)任務(wù):用一個(gè)桶測(cè)量降雨量。下大雨時(shí),桶中的水很快就會(huì)溢出,這樣便無法確定降雨量的最大值:測(cè)量結(jié)果會(huì)根據(jù)桶的容量進(jìn)行修剪。下小雨時(shí),在一個(gè)測(cè)量間隔內(nèi),桶內(nèi)可能只滴入一滴雨,在另一個(gè)測(cè)量間隔內(nèi),可能只滴入兩滴雨,最小值無法確定或受噪波干擾。要增加小值讀數(shù)的精度,就需要增加集時(shí)間,但這種做法對(duì)于大值并不適用,會(huì)導(dǎo)致溢出。
這個(gè)簡(jiǎn)單的例子說明測(cè)量結(jié)果實(shí)際上就是信息通道:它可以傳遞、丟失或誤報(bào)關(guān)于變量的信息——到達(dá)上限、到達(dá)下限或同時(shí)到達(dá)兩端。
設(shè)想將視頻攝像機(jī)用作測(cè)量?jī)x器。它可測(cè)量照射在其數(shù)百萬個(gè)光敏元件(即像素陣列)中每個(gè)元件上以二維陣列排列的光量。每個(gè)像素陣列對(duì)一段時(shí)間內(nèi)接收的光子流進(jìn)行積分運(yùn)算,然后將其轉(zhuǎn)化為可讀取的電子信號(hào)。如果來自某場(chǎng)景的光子流很強(qiáng),或者如果積分時(shí)間很長(zhǎng),信號(hào)可能會(huì)達(dá)到限制而飽和(修剪)。結(jié)果導(dǎo)致與場(chǎng)景明亮區(qū)域的細(xì)部相對(duì)應(yīng)所有的亮度變化會(huì)丟失。同樣,如果場(chǎng)景的光子流很弱,或者如果積分時(shí)間很短,信號(hào)會(huì)產(chǎn)生不確定、帶噪波的讀數(shù),場(chǎng)景的所有細(xì)部都會(huì)丟失。
與任何信息渠道一樣,視頻攝像機(jī)的質(zhì)量可通過其傳達(dá)信息(即展示場(chǎng)景的亮度變化)的優(yōu)越程度來判斷。尤其是,攝像機(jī)是否能夠不作修剪即可捕捉場(chǎng)景明亮處的細(xì)微變化?是否能夠捕捉背光處的細(xì)微變化而不任其淹沒在噪波中?同時(shí)在動(dòng)態(tài)范圍的兩端捕捉場(chǎng)景細(xì)部的功能如何?這些問題的答案,既取決于場(chǎng)景自身的動(dòng)態(tài)范圍,也取決于如何對(duì)作為測(cè)量?jī)x器的攝像機(jī)的動(dòng)態(tài)范圍功能進(jìn)行比較。通常,如果場(chǎng)景的動(dòng)態(tài)范圍與攝像機(jī)相同或比攝像機(jī)窄,產(chǎn)生的圖像會(huì)忠實(shí)地傳達(dá)場(chǎng)景背光處和明亮處的細(xì)部,不會(huì)有噪波,也不修剪。如果場(chǎng)景的動(dòng)態(tài)范圍較寬,攝像機(jī)會(huì)因噪波過大而修剪明亮處的細(xì)部,或屏蔽背光處的細(xì)部,也可能會(huì)同時(shí)修剪這兩個(gè)部位。
如何不受攝像機(jī)自身功能的影響,對(duì)場(chǎng)景的動(dòng)態(tài)范圍進(jìn)行單獨(dú)評(píng)估呢?這可通過不同曝光時(shí)間的多個(gè)場(chǎng)景捕捉圖像分段進(jìn)行。超長(zhǎng)曝光可顯示背光處的細(xì)部,然而會(huì)在明亮處達(dá)到飽和。很短的曝光可顯示明亮處的細(xì)部,而將背光部淹沒在噪波基底中。顯示背光處的細(xì)部所需的最長(zhǎng)曝光時(shí)間與顯示明亮處的細(xì)部所需的最短曝光時(shí)間的比值能可靠地評(píng)估場(chǎng)景的動(dòng)態(tài)范圍。
為什么動(dòng)態(tài)范圍受到限制
為什么攝像機(jī)的動(dòng)態(tài)范圍功能受到限制?動(dòng)態(tài)范圍限制源于多種原因,主要是圖像傳感器的感光像素陣列的物理性質(zhì)。設(shè)想兩個(gè)相同的圖像傳感器,只是感光像素陣列的面積大小及其相關(guān)的井位能不同,哪個(gè)傳感器的動(dòng)態(tài)范圍更寬?答案是:具有更大像素陣列的那個(gè)。由于井位能較大,場(chǎng)景范圍上部的光通量很強(qiáng),不會(huì)像較小的像素那么容易達(dá)到飽和。場(chǎng)景范圍底部幾乎沒有光子,較大的感光像素陣列面積可采集較多的光子,并降低小值讀數(shù)的不準(zhǔn)確度(即噪波)。
增大感光像素陣列的尺寸以實(shí)現(xiàn)更寬動(dòng)態(tài)范圍的需要,將感光像素陣列制造得更小以提高空間分辨率的需要,二者之間的沖突始終存在。通常,由于像素陣列尺寸小而名義上較高的空間分辨率受到窄動(dòng)態(tài)范圍的嚴(yán)重拖累,從而導(dǎo)致噪波或修剪,或者兩種后果同時(shí)存在。
噪波屏蔽包含背光處精細(xì)圖像細(xì)部的微小信號(hào)變化,而修剪則消除了明亮處的細(xì)部。成像的時(shí)間因素也促成了動(dòng)態(tài)范圍和空間分辨率之間的沖突——視域范圍內(nèi)的物體可能在移動(dòng),從而導(dǎo)致運(yùn)動(dòng)模糊。運(yùn)動(dòng)模糊是降低空間分辨率的因素,因?yàn)樗鼤?huì)使移動(dòng)物體在多個(gè)相鄰像素之間變得模糊。降低運(yùn)動(dòng)模糊需要更短的積分時(shí)間,但反過來增加了測(cè)量噪波。通過屏蔽細(xì)微的信號(hào)變化,噪波也損害了空間分辨率。簡(jiǎn)而言之,由于小尺寸像素陣列的動(dòng)態(tài)范圍窄,運(yùn)動(dòng)模糊以及試圖降低運(yùn)動(dòng)模糊的措施,導(dǎo)致有效傳感器分辨率可能比標(biāo)清分辨度低。
2這是比值,而不是絕對(duì)范圍
這是比值,而不是絕對(duì)范圍
動(dòng)態(tài)范圍這一概念的一個(gè)重要屬性就是它被定義為一個(gè)比值而不是絕對(duì)值。這意味著,具有相同動(dòng)態(tài)范圍的不同場(chǎng)景可能具有完全不同的平均亮度或絕對(duì)范圍。通過攝像機(jī)的光圈(用于限制照射到圖像傳感器的光量),上移或下移范圍可產(chǎn)生同樣的效果。因此,對(duì)于不同的絕對(duì)范圍和不同的光圈,指定支持特定動(dòng)態(tài)范圍的攝像機(jī)會(huì)產(chǎn)生不同的結(jié)果,這是因?yàn)槠渥陨淼墓δ艽_實(shí)具有絕對(duì)限制,主要由于其像素陣列的物理尺寸。尤其是,對(duì)于一個(gè)具有給定動(dòng)態(tài)范圍但平均亮度較低(或光圈較小)的場(chǎng)景,即使攝像機(jī)完全支持該動(dòng)態(tài)范圍,也可能會(huì)產(chǎn)生更多噪波;而對(duì)于范圍上移(或光圈較大)的場(chǎng)景中,可能會(huì)產(chǎn)生修剪,而且在中端可能會(huì)產(chǎn)生潛在的額外噪波,為寬動(dòng)態(tài)攝像機(jī)所特有。
需要指出的是,光圈大小(用于限制照射到傳感器的光量)也會(huì)影響景深,即在清晰度可接受情況下場(chǎng)景中最近和最遠(yuǎn)物體之間的距離。因此,希望讓更多光線照射到傳感器(這有助于降低圖像噪波和運(yùn)動(dòng)模糊)的需要,與獲得更清晰圖像的需要之間存在著沖突。鮮為人知的是,不僅光圈的大小很重要,其形狀也很重要。從其通過的空間頻率功率譜的角度來說,傳統(tǒng)的圓形光圈并非最佳形狀。圓形光圈的功率譜包含多個(gè)零交點(diǎn),這些零交點(diǎn)基本上能夠從場(chǎng)景中過濾出一些內(nèi)容。有少量傳統(tǒng)形狀的光圈可以產(chǎn)生更好的空間響應(yīng),甚至可以容許更多的光線照射到傳感器上,但是,使用這些光圈需要在圖像處理時(shí)進(jìn)行大量額外的運(yùn)算。
多次曝光法
是否可以采取什么辦法來突破圖像傳感器的那些束縛了攝像機(jī)動(dòng)態(tài)范圍的物理限制?幸運(yùn)的是,答案是肯定的。最常用的方法是多次曝光法:以不同曝光時(shí)間(快門速度)捕捉兩張或更多快照,然后合成為一張單獨(dú)的寬動(dòng)態(tài)范圍圖像。較短的曝光可顯示明亮處的場(chǎng)景細(xì)部而丟失了背光處的細(xì)部;較長(zhǎng)的曝光可顯示背光處的細(xì)部而對(duì)明亮處過度曝光。由此產(chǎn)生的寬動(dòng)態(tài)圖像由來自快速快門和慢速快門圖像的像素組成:快速快門圖像的像素主要來自場(chǎng)景的較亮部分,而慢速快門圖像的像素主要來自較暗部分。大部分寬動(dòng)態(tài)攝像機(jī)使用雙快門法,有一些使用三快門和四快門技術(shù)來實(shí)現(xiàn)更寬的動(dòng)態(tài)范圍。
技術(shù)難點(diǎn)在于:選擇多個(gè)單獨(dú)曝光時(shí)間,并將多張單獨(dú)快照合成一張寬動(dòng)態(tài)圖像。選擇快速快門時(shí)間的總體目標(biāo)是避免明亮處的修剪,而在場(chǎng)景的較亮部分使信噪比達(dá)到最大值。隨著攝影機(jī)調(diào)整快速快門的速度,修剪可通過圖像直方圖由攝影機(jī)內(nèi)置的自動(dòng)曝光算法自動(dòng)確定。同樣,選擇慢速快門速度時(shí),目標(biāo)是防止暗處修剪(修剪會(huì)在背光處產(chǎn)生噪波)。
盡管這種方法看上去簡(jiǎn)單明了,但還需要考慮那些不太明顯的因素。例如,根據(jù)場(chǎng)景本身的情況,由快速快門曝光所捕捉的場(chǎng)景的較亮部分也可能包含了一些不太亮的區(qū)域,但這些區(qū)域不夠暗,在最終的寬動(dòng)態(tài)圖像中,不會(huì)被來自慢速快門圖像的像素取代。同樣,捕捉較暗區(qū)域的慢速快門圖像可能包含一些不太暗的場(chǎng)景片段,這些片段又不夠亮,在合成圖像中不能夠被快速快門的像素所取代。結(jié)果,場(chǎng)景的這些中間區(qū)域可能沒有獲得足夠的曝光——在慢速快門圖像中曝光時(shí)間太長(zhǎng),可能會(huì)導(dǎo)致這些區(qū)域的過度曝光;在快速快門圖像中曝光時(shí)間太短,可能會(huì)在受影響區(qū)域產(chǎn)生過量噪波。這些曝光現(xiàn)象對(duì)最終寬動(dòng)態(tài)圖像的影響體現(xiàn)其自身的信噪比不連續(xù),在動(dòng)態(tài)范圍中部表現(xiàn)為噪波過量區(qū)域。
寬動(dòng)態(tài)成像的局限性
需要指出的是,在一些大規(guī)模生產(chǎn)的寬動(dòng)態(tài)技術(shù)中,由于某些技術(shù)和成本的限制,可供選擇使用的快門比值非常有限。因此,由于選擇不適當(dāng)?shù)目扉T比值而產(chǎn)生的問題難以解決,使得噪波和其他現(xiàn)象很大程度上取決于場(chǎng)景本身。
寬動(dòng)態(tài)成像的另一個(gè)局限性與運(yùn)動(dòng)現(xiàn)象有關(guān)。由于快門速度不同,在兩張(或更多)構(gòu)成合成寬動(dòng)態(tài)圖像的單獨(dú)快照中,捕捉圖像時(shí)場(chǎng)景的移動(dòng)部分會(huì)出現(xiàn)在不同的位置。例如,設(shè)想一個(gè)暗色物體從背景明亮的場(chǎng)景中通過。如果物體是靜止的,在合成寬動(dòng)態(tài)圖像中的暗像素會(huì)來自慢速快門圖像,而周圍輪廓會(huì)來自快速快門圖像。但是,由于物體在移動(dòng),它在快速快門圖像中輪廓與其在慢速快門圖像中的輪廓不匹配。因此,必須做出決定,如何彌補(bǔ)這種不匹配。在運(yùn)動(dòng)伴有運(yùn)動(dòng)模糊的情況下,因?yàn)闀?huì)產(chǎn)生處于物體和背景之間的亮度值,做決定會(huì)變得特別困難。就彩色寬動(dòng)態(tài)成像而言,除非在圖像處理中采取特殊的運(yùn)算措施,運(yùn)動(dòng)現(xiàn)象可能會(huì)在移動(dòng)物體周圍產(chǎn)生明亮的彩色輪廓。此外,出現(xiàn)過量的暫時(shí)噪波時(shí),還會(huì)導(dǎo)致類似運(yùn)動(dòng)的現(xiàn)象,結(jié)果會(huì)產(chǎn)生彩色噪波圖。在寬動(dòng)態(tài)中抑制運(yùn)動(dòng)現(xiàn)象的措施稱為運(yùn)動(dòng)補(bǔ)償。運(yùn)動(dòng)補(bǔ)償可能會(huì)產(chǎn)生視覺現(xiàn)象,特別是在捕捉包含非常明亮的人工照明區(qū)域的寬動(dòng)態(tài)場(chǎng)景時(shí)。主要使用快速快門來捕捉場(chǎng)景的明亮區(qū)域。如果快速快門的時(shí)間比人工照明半周期(在使用60Hz的國家為8.33ms,在使用50Hz的國家為10ms)的時(shí)間短,在快速和慢速快門圖像之間會(huì)產(chǎn)生顯著的局部亮度變化。這些變化可能會(huì)被攝影機(jī)內(nèi)置的運(yùn)動(dòng)補(bǔ)償誤認(rèn)為是合法運(yùn)動(dòng),從而導(dǎo)致視覺現(xiàn)象。在這種情況下,禁用運(yùn)動(dòng)補(bǔ)償可能是一種合理的解決方案。
3在電視監(jiān)控器上顯示寬動(dòng)態(tài)視頻
在電視監(jiān)控器上顯示寬動(dòng)態(tài)視頻
對(duì)于在電視監(jiān)控器上顯示寬動(dòng)態(tài)范圍視頻方面是否有什么需要特殊考慮的問題?答案是肯定的,通常監(jiān)控器無法顯示寬動(dòng)態(tài)范圍視頻圖像,它們受動(dòng)態(tài)范圍的限制,該動(dòng)態(tài)范圍比典型的寬動(dòng)態(tài)攝像機(jī)要窄200-300倍。幸運(yùn)的是,對(duì)此已有解決方案:通過利用人類視覺眾多特性之一來解決這個(gè)問題,該方案更看重局部對(duì)比度的變化,而不看重構(gòu)成整個(gè)場(chǎng)景的大區(qū)域之間的全局變化。要利用這一解決方案,要對(duì)寬動(dòng)態(tài)圖像進(jìn)行非線性圖像處理(即色調(diào)映射),該過程會(huì)重新分配像素亮度值,在保持局部對(duì)比度的同時(shí),降低全局對(duì)比度。設(shè)想一個(gè)典型的寬動(dòng)態(tài)場(chǎng)景,在此場(chǎng)景中,明亮部分與明亮的戶外場(chǎng)景相對(duì)應(yīng),而背光部分與室內(nèi)空間相對(duì)應(yīng)。如果大大縮小戶外區(qū)域的整體亮度范圍,使其更接近于較暗的室內(nèi)區(qū)域的整體亮度范圍,同時(shí)在兩個(gè)區(qū)域保持局部亮度差異,場(chǎng)景的整體外觀會(huì)保持完全可以被人眼所接受,而圖像可以在監(jiān)控器上顯示。
色調(diào)映射和多快門圖像捕捉
需要指出的是,融合了多快門圖像捕捉的色調(diào)映射是一種高度非線性過程,對(duì)于場(chǎng)景相對(duì)微小的變化,也可能會(huì)在寬動(dòng)態(tài)圖像外觀上產(chǎn)生顯著的差異。這使其在
對(duì)不同的寬動(dòng)態(tài)攝像機(jī)的性能進(jìn)行比較時(shí)特別具有挑戰(zhàn)性,而且需要掌握大量的技術(shù)知識(shí)。尤其是,必須注意確保視域(包括其縱橫比)完全一樣,光圈要相同。此外,重要的是始終注意查看所捕捉的整體寬動(dòng)態(tài)圖像,而不是查看捕捉后的修剪片斷,例如,只顯示明亮區(qū)域。這是因?yàn)?,根?jù)寬動(dòng)態(tài)場(chǎng)景其余部分的情況,明亮區(qū)域的外觀在總對(duì)比度、噪波含量和亮度方面可能完全不同。如果完整場(chǎng)景中存在大片暗區(qū)域,通過色調(diào)映射和多曝光圖像捕捉處理之后,與不存在大片暗區(qū)域的場(chǎng)景相比,明亮區(qū)域的外觀在最終對(duì)比度、亮度和噪波方面會(huì)發(fā)生顯著改變。遺憾的是,展示捕捉之后經(jīng)過修剪的寬動(dòng)態(tài)圖像已經(jīng)成為一種普遍的做法,這將導(dǎo)致無法判斷攝像機(jī)性能。
最后要指出的是,在通過多傳感器全景寬動(dòng)態(tài)攝像機(jī)實(shí)現(xiàn)統(tǒng)一的全景圖像外觀時(shí),色調(diào)映射和多曝光圖像捕捉的組合效果特別具有挑戰(zhàn)性。單獨(dú)的圖像傳感器所捕捉的場(chǎng)景相鄰部分在亮度、噪波和對(duì)比度方面可能可能看上去完全不同,這是因?yàn)閷?duì)于不同的傳感器,場(chǎng)景內(nèi)容發(fā)生了輕微的變化。為了得到更一致的全景圖像,往往有必要犧牲一些多傳感器攝像機(jī)通道的動(dòng)態(tài)范圍,或另外執(zhí)行復(fù)雜的后期處理,從而使所產(chǎn)生的多張寬動(dòng)態(tài)圖像的外觀相同。寬動(dòng)態(tài)場(chǎng)景的明亮部分與戶外的明亮場(chǎng)景相對(duì)應(yīng),而背光部分與室內(nèi)空間相對(duì)應(yīng)。如果大大縮小戶外區(qū)域的整體亮度范圍,使其更接近于較暗的室內(nèi)區(qū)域的整體亮度范圍,同時(shí)在兩個(gè)區(qū)域保持局部亮度差異,場(chǎng)景的整體外觀會(huì)保持完全可以被人眼所接受,而圖像可以在監(jiān)控器上顯示了。
比較寬動(dòng)態(tài)攝像機(jī)的性能
需要指出的是,融合了多快門圖像捕捉的色調(diào)映射是一種高度非線性過程,對(duì)于場(chǎng)景相對(duì)微小的變化,也可能會(huì)在寬動(dòng)態(tài)圖像外觀上產(chǎn)生顯著的差異。這使其在對(duì)不同的寬動(dòng)態(tài)攝像機(jī)的性能進(jìn)行比較時(shí)特別具有挑戰(zhàn)性,而且需要掌握大量的技術(shù)知識(shí)。尤其是,必須注意確保視域(包括其縱橫比)完全一樣,光圈要相同。此外,重要的是始終注意查看所捕捉的整體寬動(dòng)態(tài)圖像,而不是查看捕捉后的修剪片斷,例如,只顯示明亮區(qū)域。這是因?yàn)?,根?jù)寬動(dòng)態(tài)場(chǎng)景其余部分的情況,明亮區(qū)域的外觀在總對(duì)比度、噪波含量和亮度方面可能完全不同。如果完整場(chǎng)景中存在大片暗區(qū)域,通過色調(diào)映射和多曝光圖像捕捉處理之后,與不存在大片暗區(qū)域的場(chǎng)景相比,明亮區(qū)域的外觀在最終對(duì)比度、亮度和噪波方面會(huì)發(fā)生顯著改變。遺憾的是,展示捕捉之后經(jīng)過修剪的寬動(dòng)態(tài)圖像已經(jīng)成為一種普遍的做法,這將導(dǎo)致無法判斷攝像機(jī)性能。
全景寬動(dòng)態(tài)
在通過多傳感器全景寬動(dòng)態(tài)攝像機(jī)實(shí)現(xiàn)統(tǒng)一的全景圖像外觀時(shí),色調(diào)映射和多曝光圖像捕捉的組合效果特別具有挑戰(zhàn)性。單獨(dú)的圖像傳感器所捕捉的場(chǎng)景相鄰部分在亮度、噪波和對(duì)比度方面可能看上去完全不同,這是因?yàn)閷?duì)于不同的傳感器,場(chǎng)景內(nèi)容發(fā)生了輕微的變化造成的。為了得到更一致的全景圖像,往往有必要犧牲一些多傳感器攝像機(jī)通道的動(dòng)態(tài)范圍,或另外執(zhí)行復(fù)雜的后期處理,從而使所產(chǎn)生的多張寬動(dòng)態(tài)圖像的外觀相同。
評(píng)論comment