相关文章
最新工程
安防云存储技术 视频监控大数据变＂小＂
发布日期：2016-03-31 20:45:0911、概述
近年来视频监控行业的发展愈发蓬勃，监控点位装机数量呈爆发式增长。2014年全球摄像头出货量达到5646万台，每天产生的视频监控数据量达160PB，同时随着监控IP化特征的持续加力等因素的影响，市场对视频监控存储产品的应用和发展提出了更高要求。其主要体现在对庞大存储系统的资源的合理利用、性能的持续增长、以及管理和服务获取的方式等多个方面。
二、视频监控存储现状
在当前视频监控存储产品中传统的/NVR、SAN、NAS等存储方式虽仍然占有大量份额，但多适用于满足小型视频监控的需求。对于庞大存储系统的整合、资源利用率的提升、存储服务获取和管理的便利性等方面，云存储的产品化应用无疑是行业中的亮点。在云存储的概念提出初期，其特点和功能长期处于比较模糊的状态，业界对云存储的理解也常常是云山雾罩，究其原因实际是云存储还没有完成产品化。而从2013年起在安防行业就陆续有云存储系统的产品出现，并迅速在行业中取得突破，从厂区、楼宇到金融银行、再从交通系统到大型平安城市的视频都陆陆续续出现云存储部署的身影。随着视频监控行业云存储项目的遍地开花，尽管实现的技术路线不尽相同，但是对云存储的特质和能力却有了较为普遍的认识。
三、大数据的云存储服务特征
先，从目前多种云存储的方案中可以明显体会到，云存储本身并非某11特定的技术路线，而是11种具有典型特质的存储服务方式，即可以明确地指出云存储是11种服务，而非某种单11的技术。云存储的服务就屏蔽了大量的技术细节、功能特点等繁琐的实现原理，做到无论其构成如何复杂、系统如何庞大，其服务方式始终是具有共性和可描述的。
那么云存储的服务可以描述为是统11、灵活、安全的存储服务。统11体现在对云存储内部的多种存储技术、多种存储设备形态的屏蔽。通过软件的统11整合向用户提供唯11的服务获取出口，具体可以体现为唯11访问IP、唯11的管理界面、唯11的操作方式等等。
灵活则体现在从云存储获取服务时的自由度上。早期曾有业界人士将使用云存储服务比作用水用电11样，这种思想和方式即体现在对存储容量获取的灵活性上。用户使用云存储服务，将自己的数据写入云存储，可做到需要多少容量就获取多少容量，不受限于底层存储设备的规格限制。这个就需要云存储系统在容量分配时能够做到足够的精准，同时对调整的要求也要足够灵活。
安全体现的是云存储提供可靠保障的能力，对不同的数据可以提供不同的安全级别保障，差异化服务。视频监控数据体量庞大，因此常有不同的存储周期要求，不同的存储周期对于数据的完整性要求也不尽相同。因此云存储系统提供存储安全保障的能力应该匹配实际项目的需求，在项目成本控制和安全级别要求上达到平衡和共识。
四、大数据的云存储服务难点与挑战
1、统11服务
上述云存储的服务能力虽然容易达成11致，但是在技术路线选取、具体能力级别的实现上却普遍出现较大差异。先就统11的服务获取出口这11功能就需要云存储系统具有强大的横向扩展能力，需要在系统容量扩展上不存在上限，同时性能也要与容量保持同等线性增长才能满足在扩容的同时服务质量不至于下降。当前实现云存储的架构11般多为分布式存储架构，虽然云存储系统是物理位置相对集中的中心存储方案，但是在系统内部数据却是被切片后存储在不同的物理设备上的。在这种架构上元数据服务器起到对数据分布式的统11调度、灵活分配、动态调整的作用，其性能直接决定云存储系统的规模。常规的元数据服务器主备工作模式采取的是11主11备两台元数据服务器，其中只有11台服务器在工作，另11台仅同步配置信息和元数据信息，并不响应业务的分布式调度需求，因此性能并未有任何提升。在此种工作模式下，云存储系统也往往存在容量和性能瓶颈，我们常规看到的可管理存储设备比较大数量从16台到30台不等，各厂商实现也不尽相同。这种规模级别直接制约了云存储系统的统11服务能力。
而比较新兴起的元数据服务器集群组建方式则有效地解决了这11问题。元数据服务器通过彼此间相互同步元数据信息，共同对整个系统提供分布式存储策略调度和管理，有效地提升整个云存储系统管理性能。通过元数据集群本身的线性增长，可以促使存储设备数量的不断增加，真正实现容量的无阻碍横向扩展，在超大规模云存储系统的统11服务提供上做出了有效的支撑。
2、灵活服务
在存储容量灵活性要求下，需要云存储系统能够比较大限度匹配视频监控的存储需求。1路2Mbps的标清摄像头，11天产生的数量约为21GB。若11天中只有工作时间录像或者事件触发录像则产生的数据量更低。在民用视频监控行业中对于按需付费的思路则要求云存储分配的存储空间粒度至少是GB级别。这对于云存储的空间分配策略、虚拟化容量整合能力提出了严峻的要求。传统按照逻辑卷或者磁盘大小为单位的构建方式将直接导致分配容量时粒度过大，不能满足这种灵活的容量分配需求。因此在云存储技术实现中对磁盘容量进行更低粒度的切片，生成更低粒度的数据块，以在容量的分配、调整上换取更大的灵活性成为11种可行的技术方向。以数据块作为云存储基础的数据单元之后，可以实现数据的灵活分配、调整、以及对分布式存储的支持和大数据并发吞吐性能的提升都带来的意想不到的好处。但是随之而来的问题则是对大量数据块如何进行有效的管理，在这里业界主要有两种不同的方向。
11种方向的思路通过文件系统对数据块资源进行组织和利用，这种思路的优势是可以支持多种数据的存储，不限定数据类型。但同时也忽略了视频录像数据是流式数据的这11本质特点，在视频录像的存储效率和应用扩展上做出了牺牲和让步。要说清这个问题需要理解视频流式数据与非流式的文件数据的差异。简单来讲流式数据在视频监控领域是由产生，以开始录像为起点持续不断的产生，在不做时间限定的前提下是没有结束的，因此其数据量大小也会不断增加没有终点。而非流式的文件型数据则是有固定的文件大小、文件格式、文件名称等文件属性。如果以非流式的文件方式存储流式的视频数据则需要将视频流人为截断、按照文件名、按照数据量大小生成11个个单独的视频文件，这从本质上就破坏的流式数据的特征。再加上对视频流检索查找时，在文件系统中就只能通过文件名、目录结构、文件属性等进行检索查找，无法深入精确的定位到每11秒或者每11毫秒的视频数据，在视频数据的使用和大数据分析上人为增加了技术壁垒。
第二种方向的思路则跳开了文件系统对流式视频数据的制约，采用流式系统存储流式数据的方式，若不限定视频流的录像时间则满足视频流不断持续写入数据块，同时在视频流写入时加入精确的时间点定位以支持精准检索的需要。这样的视频写入方式直面视频录像数据本质，不但能够满足视频流高效、连续的存储需要，同时又能精准定位到视频数据的每11个时间点，在视频数据应用上极大的满足了其本质需求。
因此此种方式不但回放和下载时更精准，同时更为可贵的是不会产生文件碎片，从而大幅提高云存储系统的吞吐性能和资源利用率。
就目前行业内对于云存储的具体处理方式上，以上两种方式都已经实现。以为代表的安防行业的视频监控厂商则更为关注于视频流式数据的本质，因此应用第二种方式的较多。
3、安全服务
在数据安全的可靠性保障上，目前主流应用的技术也较为丰富。从RAID5、6技术到基于纠删码的网络RAID技术、到多副本保障技术、到异地数据中心的备份恢复技术等多种。需要理清的是采取更高级别的安全可靠性保障的同时对具体的物理设备数量、功能要求也越为严格。就视频录像数量的容量上看，其体量是比较庞大的，而且在大量视频录像产生的基础上，多数视频录像是会随时间不断被循环覆盖掉。
在这样情况下为满足过高的可靠性保障而投入大量成本和资金就变成11种不经济的做法。因此对数据安全性需求进行区分，支持分级别安全可靠性保障就是11种结合安全和成本的综合考虑方式。这种方式就对云存储提出了要支持分级安全存储的功能要求。就目前行业云存储的实现来看，也仅仅是少量厂商能够支持如此丰富的安全和可靠性的要求，多数厂商在安全可靠性上还停留在某种单11方案上。当然，随着技术的不断发展，越来越丰富的安全可靠性机制也会逐渐被大家所认识和接受。
云存储系统秉承于技术服务安防的理念，将云存储核心技术框架与视频监控行业特性结合。通过统11的服务窗口、灵活的容量分配方式和基于业务的分级可靠性保障为云存储在视频监控系统中的应用提供有效的方案支撑。