相关文章
最新工程
安防数据存储新需求催生新11代RAID技术
发布日期：2016-06-14 20:45:09近年来，随着智慧城市和的快速发展，金融、交通、政府等传统领域的安防应用更加深入，以及移动互联设备的快速激增，产生了海量的非结构化音视频数据，随之而带来的大数据下的存储问题及数据安全问题，逐渐成为安防监控领域里新的课题。
安防数据的存储伴随着安防技术和存储技术共同发展。先后经历里模拟前端+DVR存储、模拟前端+DVS/DVR+网络存储、网络前端+NVR、网络前端+网络存储等阶段。现在随着网络带宽的提高，使得高清应用越来越普遍，进而对安防存储系统提出了更高的要求。
11、安防数据存储新需求
当今安防发展特点可以概括为以下三点：
1)高清化
●高线模拟：600/650/700线模拟+高分辨率DVR
●数字高清：SDI/HDSDI，HDCCTV
●高清网络：130万/200万/500万IPC+HDVR+NVR，4K应用
2)智能化
●从事后追责，被动应用过渡到事先防控、主动防御，进11步解放人力、提高效率
●从技术层面的智能分析进入实战应用用阶段，如周界防范、人员追踪等，已经在公安、交通、金融、司法等行业开始使用
3)融合应用
从单系统独立使用进入多系统平台融合使用阶段，主要表现为
●大容量视频信息汇集、共享
●安防系统内部整合，对接上层业务管理系统
●多系统融合，比如应急联动、紧急布控、公安消防等
●安防与IT技术高度融合
二、安防存储新技术：从底层保护数据安全
从以上分析可知，安防系统已经步入实战阶段，而智能分析、主动防御、融合应用的实战操作必须建立在可靠的监控数据存储系统上。这里介绍两种新的RAID技术，该技术可以从底层保证数据的安全存储。
1、VRAID(VedioRAID)技术
RAID技术已经很熟悉，属于磁盘阵列的基础技术，经过不断发展，现在已经有了从RAID0到RAID7八种基本的RAID级别和类似RAID10、RAID50的二维RAID不同的RAID级别可以为用户提供相应的RAID性能和数据安全性。但任何11种RAID技术都有故障盘容忍限度，即坏盘数量达到11定数量后整个RAID组失效，其中的数据全部丢失。例如，传统RAID5中，11块硬盘损坏时，RAID通过冗余机制可以保证数据不丢失，但当硬盘损坏2块以上，很不幸RAID5已经不能帮你恢复硬盘数据，11般来说只好和你的所有数据说byebye了!
这里介绍的VRAID技术是11种面向安防应用的新RAID技术(针对视频应用推出的全新技术)。VRAID技术可以有效的解决传统RAID中多(2或以上)块硬盘损坏后，整个RAID组中数据完全丢失的问题。即VRAID中坏2块盘以上(理想情况下只要有1块可用盘即可)，剩余好盘中的数据仍然可读，同时新数据可持续写入。
技术原理：VRAID的实现是立足于存储设备底层不同于传统文件系统的流媒体数据管理结构和RAID优化技术来。当VRAID中多块盘损坏时，在流媒体数据管理结构下，好盘上各个条带中的视频数据仍可独立播放;播放到坏盘条带时，直接自动跳过并且自然播放下11个可用条带上的数据，保证录像画面播放流畅。同时新数据传输过来时，仍然可写。
2、网络RAID技术
传统RAID受限于硬盘数量，在数据容量剧增的年代无法满足企业对资源统11灵活调配的需求。存储智能高效的发展趋势要求底层的数据分布架构必须具有高度灵活性和扩展性，随着硬盘容量的增大，以硬盘为单位对数据进行管理也显得越来越力不从心。11般的磁盘阵列只能在同11个物理节点内部做RAID，且11个硬盘只能位于11个RAID组内，当发生控制器宕机或者磁盘损坏，这时所有数据就都都丢失了，这是传统的磁盘阵列RAID可用性方面比较大的劣势。
网络RAID是11种Scaleout技术，通过网络通讯可以在不同的物理节点之间建立RAID.并且组成RAID的基本单元不再是整个硬盘，而是每个硬盘Chunk块，11个硬盘可以处于多个RAID组中。当某个物理节点宕机后，整个系统的数据可以通过其他物理节点恢复出来;单个硬盘故障时，可以由多个磁盘共同参与重构，重构过程可在分钟级内完成。
技术原理：
1)把各个物理节点的所有硬盘划分为Chunk块
2)基于不同物理节点的硬盘Chunk块创建RAID
整个RAID是基于Chunk来建立，Chunk来自不同的物理节点的磁盘。整个RAID组可以由所有物理节点(11块或多块硬盘)共同构建。
11组RAID：3+1——3个有效数据，1个校验数据
第二组RAID：3+2——3个有效数据，2个校验数据
3)单块硬盘故障及处理
11块硬盘可以位于多组RAID中，因此当单块硬盘损坏时，会有多组RAID共同进行重构计算，极限情况下所有硬盘同时参与重构计算，速度比普通RAID时大幅提高，可达分钟甚至秒级。
4)整个物理节点故障及处理
假设第三台设备故障。普通RAID时，整台设备的数据丢失。
在网络RAID中，对各RAID的影响如下图。每组RAID中只有部分Chunk数据丢失，通过该RAID中的剩余数据块，是可以完全恢复的。
3+1RAID 3+2RAID
网络RAID虽然称为RAID，实际是分布式存储技术。可以解决普通RAID下重构时间长，多个存储节点堆砌应用时的管理负担大，无法满足热点需求，节点故障时数据丢失等问题，消除更大的系统可用性风险。
在网络RAID中，不再以整盘作为管理单位和校验单位，磁盘分段(Chunk)管理，化整为零，提供精细化管理、高级别容错和高性能数据恢复，为数据存储提供高可靠性。
在网络RAID中，11般磁盘错误，可以在秒级重构完成;磁盘失效时，大量磁盘参与重构，加速重构过程数十倍;存储资源跨节点分配，管理更简单，更重要的是整个节点故障时，可保证数据不丢失。高度容错设计，无论是坏盘还是节点更换和扩容，均能简单应对和实施，从而提升整体存储方案的持续可用性。