安防數(shù)據(jù)存儲新需求催生RAID技術
來源:數(shù)字音視工程網(wǎng) 編輯:merry2013 2015-05-18 06:07:17 加入收藏
近年來,隨著智慧城市和智能交通的快速發(fā)展,金融、交通、政府等傳統(tǒng)領域的安防應用更加深入,以及移動互聯(lián)設備的快速激增,產(chǎn)生了海量的非結(jié)構化音視頻數(shù)據(jù),隨之而帶來的大數(shù)據(jù)下的存儲問題及數(shù)據(jù)安全問題,逐漸成為安防監(jiān)控領域里新的課題。
安防數(shù)據(jù)的存儲伴隨著安防技術和存儲技術共同發(fā)展。先后經(jīng)歷里模擬前端+DVR存儲、模擬前端+DVS/DVR+網(wǎng)絡存儲、網(wǎng)絡前端+NVR、網(wǎng)絡前端+網(wǎng)絡存儲等階段。現(xiàn)在隨著網(wǎng)絡帶寬的提高,使得高清應用越來越普遍,進而對安防存儲系統(tǒng)提出了更高的要求。
一、安防數(shù)據(jù)存儲新需求
當今安防發(fā)展特點可以概括為以下三點:
1)高清化
●高線模擬:600/650/700線模擬攝像機+高分辨率DVR
●數(shù)字高清:SDI/HDSDI,HDCCTV
●高清網(wǎng)絡:130萬/200萬/500萬IPC+HDVR+NVR,4K應用
2)智能化
●從事后追責,被動應用過渡到事先防控、主動防御,進一步解放人力、提高效率
●從技術層面的智能分析進入實戰(zhàn)應用用階段,如周界防范、人員追蹤等,已經(jīng)在公安、交通、金融、司法等行業(yè)開始使用
3)融合應用
從單系統(tǒng)獨立使用進入多系統(tǒng)平臺融合使用階段,主要表現(xiàn)為
●大容量視頻信息匯集、共享
●安防系統(tǒng)內(nèi)部整合,對接上層業(yè)務管理系統(tǒng)
●多系統(tǒng)融合,比如應急聯(lián)動、緊急布控、公安消防等
●安防與IT技術高度融合
二、安防存儲新技術:從底層保護數(shù)據(jù)安全
從以上分析可知,安防系統(tǒng)已經(jīng)步入實戰(zhàn)階段,而智能分析、主動防御、融合應用的實戰(zhàn)操作必須建立在可靠的監(jiān)控數(shù)據(jù)存儲系統(tǒng)上。這里介紹兩種新的RAID技術,該技術可以從底層保證數(shù)據(jù)的安全存儲。
1、VRAID(VedioRAID)技術
RAID技術已經(jīng)很熟悉,屬于磁盤陣列的基礎技術,經(jīng)過不斷發(fā)展,現(xiàn)在已經(jīng)有了從RAID0到RAID7八種基本的RAID級別和類似RAID10、 RAID50的二維RAID不同的RAID級別可以為用戶提供相應的RAID性能和數(shù)據(jù)安全性。但任何一種RAID技術都有故障盤容忍限度,即壞盤數(shù)量達到一定數(shù)量后整個RAID組失效,其中的數(shù)據(jù)全部丟失。例如,傳統(tǒng)RAID5中,一塊硬盤損壞時,RAID通過冗余機制可以保證數(shù)據(jù)不丟失,但當硬盤損壞 2塊以上,很不幸RAID5已經(jīng)不能幫你恢復硬盤數(shù)據(jù),一般來說只好和你的所有數(shù)據(jù)說byebye了!
這里介紹的VRAID技術是一種面向安防應用的新RAID技術(??低?/a>針對視頻應用推出的全新技術)。VRAID技術可以有效的解決傳統(tǒng)RAID中多(2或以上)塊硬盤損壞后,整個RAID組中數(shù)據(jù)完全丟失的問題。即VRAID中壞2塊盤以上(理想情況下只要有1塊可用盤即可),剩余好盤中的數(shù)據(jù)仍然可讀,同時新數(shù)據(jù)可持續(xù)寫入。
技術原理:VRAID的實現(xiàn)是立足于存儲設備底層不同于傳統(tǒng)文件系統(tǒng)的流媒體數(shù)據(jù)管理結(jié)構和RAID優(yōu)化技術來。當 VRAID中多塊盤損壞時,在流媒體數(shù)據(jù)管理結(jié)構下,好盤上各個條帶中的視頻數(shù)據(jù)仍可獨立播放;播放到壞盤條帶時,直接自動跳過并且自然播放下一個可用條帶上的數(shù)據(jù),保證錄像畫面播放流暢。同時新數(shù)據(jù)傳輸過來時,仍然可寫。
2、網(wǎng)絡RAID技術
傳統(tǒng) RAID受限于硬盤數(shù)量,在數(shù)據(jù)容量劇增的年代無法滿足企業(yè)對資源統(tǒng)一靈活調(diào)配的需求。存儲智能高效的發(fā)展趨勢要求底層的數(shù)據(jù)分布架構必須具有高度靈活性和擴展性,隨著硬盤容量的增大,以硬盤為單位對數(shù)據(jù)進行管理也顯得越來越力不從心。一般的磁盤陣列只能在同一個物理節(jié)點內(nèi)部做RAID,且一個硬盤只能位于一個RAID組內(nèi),當發(fā)生控制器宕機或者磁盤損壞,這時所有數(shù)據(jù)就都都丟失了,這是傳統(tǒng)的磁盤陣列RAID可用性方面比較大的劣勢。
網(wǎng)絡RAID是一種Scaleout技術,通過網(wǎng)絡通訊可以在不同的物理節(jié)點之間建立RAID.并且組成RAID的基本單元不再是整個硬盤,而是每個硬盤Chunk塊,一個硬盤可以處于多個RAID組中。當某個物理節(jié)點宕機后,整個系統(tǒng)的數(shù)據(jù)可以通過其他物理節(jié)點恢復出來;單個硬盤故障時,可以由多個磁盤共同參與重構,重構過程可在分鐘級內(nèi)完成。
技術原理:
1)把各個物理節(jié)點的所有硬盤劃分為Chunk塊
2)基于不同物理節(jié)點的硬盤Chunk塊創(chuàng)建RAID
整個RAID是基于Chunk來建立,Chunk來自不同的物理節(jié)點的磁盤。整個RAID組可以由所有物理節(jié)點(一塊或多塊硬盤)共同構建。
第一組RAID:3+1——3個有效數(shù)據(jù),1個校驗數(shù)據(jù)
第二組RAID:3+2——3個有效數(shù)據(jù),2個校驗數(shù)據(jù)
3)單塊硬盤故障及處理
一塊硬盤可以位于多組RAID中,因此當單塊硬盤損壞時,會有多組RAID共同進行重構計算,極限情況下所有硬盤同時參與重構計算,速度比普通RAID時大幅提高,可達分鐘甚至秒級。
4)整個物理節(jié)點故障及處理
假設第三臺設備故障。普通RAID時,整臺設備的數(shù)據(jù)丟失。
在網(wǎng)絡RAID中,對各RAID的影響如下圖。每組RAID中只有部分Chunk數(shù)據(jù)丟失,通過該RAID中的剩余數(shù)據(jù)塊,是可以完全恢復的。
3+1RAID 3+2RAID
網(wǎng)絡RAID雖然稱為RAID,實際是分布式存儲技術??梢越鉀Q普通RAID下重構時間長,多個存儲節(jié)點堆砌應用時的管理負擔大,無法滿足熱點需求,節(jié)點故障時數(shù)據(jù)丟失等問題,消除更大的系統(tǒng)可用性風險。
在網(wǎng)絡RAID中,不再以整盤作為管理單位和校驗單位,磁盤分段(Chunk)管理,化整為零,提供精細化管理、高級別容錯和高性能數(shù)據(jù)恢復,為數(shù)據(jù)存儲提供高可靠性。
在網(wǎng)絡RAID中,一般磁盤錯誤,可以在秒級重構完成;磁盤失效時,大量磁盤參與重構,加速重構過程數(shù)十倍;存儲資源跨節(jié)點分配,管理更簡單,更重要的是整個節(jié)點故障時,可保證數(shù)據(jù)不丟失。高度容錯設計,無論是壞盤還是節(jié)點更換和擴容,均能簡單應對和實施,從而提升整體存儲方案的持續(xù)可用性。
三、安防數(shù)據(jù)存儲未來
安防存儲的發(fā)展必定是底層技術、物理設備、系統(tǒng)架構的協(xié)同發(fā)展,單獨依賴任何一點都無法滿足需求。
對于通常的大中小型監(jiān)控系統(tǒng),無需存儲服務器的視頻流直寫存儲架構+面向安防的VRAID技術可以既可以簡化系統(tǒng)部署,有充分保護用戶的數(shù)據(jù)安全。同時隨著GB/T28181標準的推行,采用標準流媒體協(xié)議的視頻流直寫存儲方案也將越來越受市場青睞。
對于特大型監(jiān)控系統(tǒng)(上萬路視頻前端),要求達到PB級的存儲容量,靠單設備堆疊和普通文件系統(tǒng)是無法提供安全、高效的應用保證的,必須有虛擬化、集群化和離散存儲的解決方案。針對安防應用的視頻云存儲技術采用云計算理念,底層配合網(wǎng)絡RAID技術可以為用戶提供虛擬化、集群化、一體化的便捷云存儲服務。
安防云存儲系統(tǒng)特征:
1)虛擬化技術全面整合存儲容量,按需分配且能夠靈活調(diào)整大小。
2)前端通過視頻流協(xié)議直寫云存儲,節(jié)省用戶投資。
3)視頻流通過離散算法均衡切片,以集群響應方式提供數(shù)據(jù)并發(fā)服務。
4)底層采用網(wǎng)絡RAID技術,多層次保護用戶數(shù)據(jù)安全。
5)全系統(tǒng)集群工作模式,保證各設備間業(yè)務實時負載均衡,提高設備利用率。
6)全域一體化索引技術,全面提升查詢速率,達到秒級響應。
安防云存儲解決了當前安防行業(yè)已經(jīng)開始面臨海量數(shù)據(jù)存儲的管理和應用問題,2012年到2013年,海康威視已經(jīng)有多個平安城市項目實際應用成功,并且通過用戶實際使用取得了非常成功的視頻業(yè)務應用體驗。未來幾年,大中型安防項目建設中,安防云存儲會占據(jù)視頻監(jiān)控存儲方案的主力位置,相信,安防云存儲必然很快發(fā)展成為視頻監(jiān)控存儲市場的主流解決方案,也會是首選的最佳方案。
評論comment