淺談RAID技術在視頻監(jiān)控的應用發(fā)展
來源:數(shù)字音視工程網(wǎng) 編輯:merry2013 2013-07-04 06:39:52 加入收藏
視頻監(jiān)控網(wǎng)絡化步伐已全面展開,大量的監(jiān)控數(shù)據(jù)被保存在安裝硬盤的NVR、IP-SAN中,眾所周知,目前大容量硬盤都屬于精密機械部件,本身故障多發(fā),屬于易耗品。那么直接保存在硬盤中的數(shù)據(jù)必然面臨數(shù)據(jù)丟失的風險。
在傳統(tǒng)的視頻監(jiān)控應用中,比如:小區(qū)、樓宇、園區(qū)監(jiān)控等,對數(shù)據(jù)可靠性要求并不高,其監(jiān)控數(shù)據(jù)的有效利用率一直保持在很低的比例上,一旦不幸運遇到硬盤故障,損失一塊硬盤的數(shù)據(jù)對這些應用來講都是可以承受的,大量的嵌入式錄像設備廠商正是看重這一點,推出使用單盤模式的廉價NVR,免去支持硬盤數(shù)據(jù)冗余帶來的成本提升;由于不做RAID,可以配置同樣廉價的監(jiān)控級硬盤,大大降低錄像產(chǎn)品與方案的整體成本,低成本優(yōu)勢大大提升嵌入式NVR的出貨量。
眾所周知,RAID技術可以消除硬盤故障帶來的數(shù)據(jù)丟失和業(yè)務中斷,但是它也對硬盤本身提出要求,一般要求是企業(yè)級硬盤,這種硬盤的固件對處于RAID工作環(huán)境下的各種狀態(tài)進行調優(yōu),例如:可以對RAID下多塊硬盤一起工作時產(chǎn)生的共振進行很好的磁頭偏移補償、可以固化一個硬盤錯誤處理的最大響應時間,以免錯誤修復時間過長,被RAID誤以為硬盤不響應而踢掉、支持較好的并發(fā)讀寫性能等;這些調優(yōu)都極大的增強了企業(yè)級硬盤在RAID環(huán)境的可用性。
如果是低成本的監(jiān)控級硬盤,由于硬盤固件本身的限制,不能很好的在RAID環(huán)境中工作;例如:沒有針對共振的磁盤校正,RAID環(huán)境下數(shù)據(jù)讀寫出錯機率大增,而監(jiān)控級硬盤并沒有固化錯誤處理的最大響應時間,硬盤忙時一個錯誤處理可長達2~5分鐘,而一般RAID允許的硬盤響應時間為30秒左右,造成RAID掉盤現(xiàn)象增加,甚至連RAID初始化都完成不了;在RAID5工作和重構過程中,在寫數(shù)據(jù)之前需要讀出大量數(shù)據(jù)進行校驗計算,但是監(jiān)控級硬盤的讀性能表現(xiàn)顯然沒有它的寫性能表現(xiàn)好,大量的讀IO隊列經(jīng)常堵塞,而造成多塊硬盤的響應時間嚴重增加,可能導致批量掉盤。
對于視頻監(jiān)控應用來說,只有付得起企業(yè)級硬盤高成本的高端用戶才可以享受得起傳統(tǒng)RAID技術帶來的數(shù)據(jù)可靠性好處,傳統(tǒng)RAID技術與監(jiān)控級硬盤的糟糕兼容表現(xiàn)已經(jīng)成為向大量視頻監(jiān)控中低端用戶普及的阻力。
因此,視頻監(jiān)控應用對傳統(tǒng)RAID技術提出以下挑戰(zhàn):
1、要求可配置低成本的非企業(yè)級硬盤組建RAID組,降低硬盤成本;
2、要求降低大容量硬盤的重建時間,提升重構成功率;
3、要求提升非企業(yè)級硬盤RAID組的可用性;
看到以上需求,中科藍鯨公司對傳統(tǒng)RAID算法進行改造和更新,開發(fā)了新一代SmartRAID技術,該技術思路是縮小硬盤管理的最小單位,將故障范圍縮小在局部,從而提升硬盤RAID組的整體可用性;同時優(yōu)化了RAID對監(jiān)控級硬盤故障的響應時間容忍度,極大提升了非企業(yè)級硬盤(包括監(jiān)控級硬盤)的RAID可用性。
在SmartRAID組建過程中,首先對硬盤進行碎化處理,每塊物理硬盤會被碎化為64份,每塊物理盤相同位置的小數(shù)據(jù)塊會被組建為一個基本的SmartRAID管理單元,多個SmartRAID管理單元可組建為一個大的邏輯卷對外使用;SmartRAID管理單元具備RAID級別的所有屬性,如介質檢測、故障踢盤、替換熱備、重構等;實際運行情況下,當物理硬盤發(fā)生磁道扇區(qū)故障,對故障數(shù)據(jù)塊的掉盤、替換熱備、重建操作都可以在一組SmartRAID內完成,大大減少重構讀取與寫入的IO量,縮短重建完成的整體時間;每塊物理盤的最后4個數(shù)據(jù)塊是作為熱備使用的。如下圖所示:
使用SmartRAID技術后的好處顯而易見,由于對監(jiān)控級硬盤故障的響應時間容忍度提升,使用監(jiān)控級硬盤制作RAID5組的可用性明顯提升,頻繁掉盤現(xiàn)象得到有效解決。
在實際運行表現(xiàn)中,硬盤運行中出現(xiàn)的故障90%都集中在局部錯誤導致的讀寫異常,因電路或機械原因導致的整盤不工作的故障更是少見,因此,當發(fā)生硬盤錯誤,SmartRAID技術能夠很好的發(fā)揮局部重構優(yōu)勢,重構完成只需10來分鐘;即使發(fā)生整盤故障,SmartRAID也能夠和傳統(tǒng)RAID一樣對整塊物理盤進行踢盤、重構。
而且,如果同時發(fā)生兩塊物理硬盤的扇區(qū)錯誤,傳統(tǒng)RAID5組遇到這種情況會崩潰,全部數(shù)據(jù)不可用,但SmartRAID技術能夠很好的將這些故障獨立,分而治之,數(shù)據(jù)不受影響。
從上來看,SmartRAID技術確實能夠較好滿足視頻監(jiān)控應用對RAID數(shù)據(jù)冗余的需求,明顯提升大容量非企業(yè)級硬盤的RAID可用性。
評論comment